Обсудить задачу
Термин · R

RAG (Retrieval-Augmented Generation)

Метод, при котором языковая модель перед ответом находит нужные фрагменты в базе знаний компании и отвечает, опираясь на них.

RAG (Retrieval-Augmented Generation, генерация с дополнением найденными данными) — способ научить большую языковую модель отвечать по вашим документам. Модель не знает внутренних регламентов, условий продуктов и актуальных цен компании. RAG перед каждым ответом находит в базе знаний подходящие фрагменты и передает их модели вместе с вопросом: «ответь, опираясь на эти материалы». Подход описали исследователи Facebook AI в 2020 году, и сегодня на нем построены многие корпоративные ассистенты.

Как это работает

  1. Подготовка. Документы — инструкции, договоры, статьи базы знаний — делят на фрагменты по смыслу, например по разделам.
  2. Индексация. Каждый фрагмент превращается в эмбеддинг — набор чисел, отражающий смысл, — и сохраняется в векторной базе данных.
  3. Поиск. Вопрос пользователя тоже превращается в эмбеддинг, и база находит самые близкие по смыслу фрагменты.
  4. Ответ. Модель получает вопрос и найденные фрагменты и формулирует ответ, указывая источники.

Пример

Сотрудник поддержки спрашивает: «Можно ли вернуть оплату по счету юрлица, если прошло 40 дней?» Система находит пункт регламента о возвратах и раздел договора-оферты, а модель отвечает своими словами со ссылкой на оба документа. Если правила поменяются, достаточно обновить документ в базе — переобучать модель не нужно.

Почему RAG, а не дообучение

  • Актуальность. Новые документы доступны сразу после индексации.
  • Проверяемость. Ответ ссылается на источник, и человек может открыть его и проверить.
  • Меньше выдумок. Модель опирается на найденный текст, а не на «память».
  • Права доступа. Можно искать только в тех документах, которые разрешено видеть конкретному пользователю.

Тонкая настройка нужна для другого: стиля, формата, специфических навыков. Факты надежнее подавать через RAG.

Где кроется качество

  • Нарезка документов. Слишком мелкие фрагменты теряют контекст, слишком крупные размывают поиск.
  • Поиск. Чисто смысловой поиск плохо находит точные артикулы, номера и редкие термины, поэтому его сочетают с обычным поиском по словам (гибридный поиск) и дополнительно переранжируют результаты.
  • Чистота базы. Устаревшие и противоречащие друг другу документы дают противоречивые ответы.
  • Проверка. Нужен набор типовых вопросов с правильными ответами, на котором измеряют качество после каждого изменения.

Большая часть работы в RAG-проекте — не модель, а данные, поиск и интеграция с источниками компании, что близко к задачам анализа и цифровизации процессов.