Корпоративний RAG: джерела, права доступу та якість відповідей
На цій сторінці
Retrieval-augmented generation (RAG) поєднує пошук у документах із мовною моделлю. Корпоративний помічник на цій основі має знаходити актуальну інформацію, посилатися на джерела й дотримуватися прав доступу користувача. Для цього потрібні підготовлені документи та перевірка відповідей на робочих запитаннях команди.
Спочатку завдання, потім модель
Почніть із п’яти-десяти запитань, які люди вже ставлять. Наприклад: «Яка версія нашої політики роботи з постачальниками діє в цьому регіоні?» або «Де знайти затверджену процедуру для цього винятку?». Зафіксуйте, хто запитує, якому джерелу довірятиме та що має робити, якщо актуальної відповіді немає.
Іноді достатньо результату пошуку. Згенерований підсумок корисний, коли потрібно зібрати інформацію з кількох дозволених документів. Рекомендації чи автоматичні дії — це вже інший обсяг робіт із власними правилами прийняття рішень і перевірки.
| Обсяг робіт | Приклад результату | Необхідна перевірка |
|---|---|---|
| Отримати | Знайти чинні правила доставки | Поточні права та версія джерела |
| Рекомендувати | Підготувати внутрішнє завдання | Підтвердження джерелами та перевірка людиною |
| Виконати | Створити погоджене завдання в CRM | Поточні права запису, точне погодження та відновлення |
З розширенням обсягу додаються нові перевірки. Надійна відповідь про правила не надає права змінювати замовлення. У гайді про AI-агентів у CRM та ERP є приклад погодженого створення завдання та сценарії його відмов.
Складіть перелік документів і відповідальних
Визначте сховища, типи файлів, відповідальних за документи, частоту оновлень і правила доступу. Вирішіть, які чернетки, архіви й дублікати слід виключити. Під час завантаження зберігайте URL або ідентифікатор джерела, версію та час оновлення, щоб користувач міг переглянути оригінал.
Перед оцінкою всього масиву перевірте вилучення даних із типових PDF, таблиць і сканів. Звірте рядки, заголовки стовпців та посилання на джерела: значення, відірване від свого заголовка, може змінити зміст відповіді.
Зберігайте зв’язок між джерелом і правами доступу
Користувач не повинен отримувати відповідь із документа, який не має права відкрити. Зберігайте інформацію про дозволи під час завантаження та перевіряйте її під час пошуку, до передачі тексту моделі. Тестуйте зміни ролей, участі в групах і прав на вихідні документи, а також кешовані відповіді. Рекомендації Microsoft щодо доступу на рівні документів описують підходи до пошуку з урахуванням дозволів. Конкретна реалізація залежить від ваших систем ідентифікації та роботи з документами.
Знайдений текст слід вважати недовіреними вхідними даними. Він може містити інструкції, які потрібно цитувати як вміст документа, а не виконувати. Застосунок має розділяти дозволене користувачем завдання й отриманий із джерел матеріал.
Перевірте відкликання доступу й актуальність, включно з кешем
Розгляньмо POLICY-1 — затверджений документ версії 3, який оператор спочатку може читати. Приклад нижче змінює дозвіл або версію джерела, залишаючи в індексі посилання на версію 3. Відповіді з кешу проходять ті самі перевірки перед повторним використанням.
Прокрутіть таблицю горизонтально, щоб порівняти всі колонки.
| Сценарій | Очікуваний результат | Обчислений результат |
|---|---|---|
| Актуальне джерело, читач має доступ | Перевірки джерела пройдено | Перевірки джерела пройдено |
| Доступ відкликано після індексації | Доступ заборонено | Доступ заборонено |
| В індексі версія 3; джерело вже має версію 4 | Потрібне оновлення | Потрібне оновлення |
| Кешована відповідь; доступ відкликано | Доступ заборонено | Доступ заборонено |
| Кешована відповідь; версія джерела змінилася | Потрібне оновлення | Потрібне оновлення |
| Джерело знято з публікації | Джерело недоступне | Джерело недоступне |
За відсутності доступу не повертайте відповідний вміст. Якщо версія змінилася, оновіть джерело й повторіть пошук до формування відповіді. Якщо документ знято з публікації, виключіть його. Кешована відповідь із кількох документів має пройти перевірки для кожного джерела; інакше відкиньте її та сформуйте заново з дозволених актуальних матеріалів. Не можна лише прибрати посилання, залишивши відповідь, отриману з цього джерела.
Модель використовує переданий стан поточних прав і версій; вона не підключається до системи документів, не генерує відповіді й не вимірює якість пошуку. Перевірки корисні лише тоді, коли застосунок отримує актуальні метадані джерела. У робочій системі визначте затримку синхронізації прав, поведінку при збоях та спосіб повторної перевірки перед видачею відповіді. Перевіряйте також повторне використання кешу й контекст наступних повідомлень. Блокування нового пошуку не видаляє текст, уже показаний користувачу.
Для обраного конектора й механізму доступу перевірте затримки синхронізації, поведінку під час збоїв і підтримку для експлуатації. Згадана вище документація Microsoft розрізняє фільтри доступу на рівні застосунку та вбудовані механізми; частина вбудованих можливостей залишається у preview.
Обирайте спосіб пошуку за результатами перевірки
Пошук за ключовими словами добре працює з точними ідентифікаторами й термінами. Семантичний пошук допомагає з різними формулюваннями. Гібридний підхід, фільтри та повторне ранжування можуть покращити результати, але кожен із цих механізмів додає вартість або складність. Порівнюйте їх на реальних запитаннях користувачів, а не припускайте, що одна архітектура завжди найкраща.
До початкового набору запитань додайте очікувані документи-джерела. Спочатку перевірте пошук: сама зміна промпту генерації відповіді не додає відсутніх доказів із джерела.
Залиште окремий набір запитань, який не використовуватимете для налаштування промпту й пошуку. Для кожного порівняння зафіксуйте версії документів, права користувача та налаштування пошуку, а між запусками записуйте зміни. Інакше краща оцінка може пояснюватися простішими запитаннями чи новішими джерелами, а не кращим методом пошуку.
Умовний приклад: для відповіді потрібні два уривки, а серед перших п’яти результатів є один із них. Повнота пошуку на перших п’яти результатах — recall@5 — становить 1/2, або 50%, для цього запитання. Тут стандартне визначення повноти застосовано до фіксованої кількості знайдених уривків; це не оцінка точності відповіді. Для запитань без відповіді в дозволеному корпусі перевіряйте коректну відмову: рахувати повноту без релевантних уривків немає сенсу. Показуйте кількість перевірок і результати за типами запитань, щоб хороше середнє не приховувало проблемний процес.
Дайте змогу перевірити відповідь
Показуйте використані уривки або документи, їхні дати та посилання для відкриття. Система має вміти повідомити, що не може відповісти, коли наявні джерела не підтверджують висновок. Визначте, коли результат обов’язково перевіряє людина, особливо якщо він впливає на клієнта, платіж, здоров’я чи інший відповідальний процес.
Розбирайте помилки разом із відповідальними за документи: вони допоможуть відрізнити збій пошуку від неоднозначності самого джерела. Рекомендації Microsoft щодо RAG охоплюють пошук, посилання на джерела, безпеку та вартість.
Оцініть обмежений пілот до масштабування
Пілот для однієї команди й одного джерела дає змогу перевірити рішення на практиці. До початку встановіть порогові критерії оцінки та призначте відповідального за перевірку. Критичні порушення доступу мають блокувати розширення. Порівняйте підтверджені відповіді, коректні відмови, час і вартість із поточним процесом пошуку. Окремо врахуйте завантаження й оновлення джерел, запити до пошуку та моделі, хостинг, людську перевірку й обов’язкову підтримку. Погодьте ліміти використання, граничний бюджет, сповіщення та відповідального за дозвіл на його збільшення.
Заплануйте зміни після запуску
Документи замінюються, права змінюються, з’являються нові запитання. Визначте, хто оновлює корпус, як швидко зміни потрапляють у пошук, як виявляються застарілі відповіді та хто аналізує повторювані помилки. Відстежуйте використання, не копіюючи зайві конфіденційні дані в аналітику.
Щоб спланувати пілот, надішліть перелік джерел, ролей і запитань користувачів. Інші сценарії застосування — на сторінці рішень зі ШІ.
Досвід у схожих проєктах.
ARC GenAI
Відновлення документів та надання відповідей, пов’язаних із джерелами знань.
Переглянути