RAG w firmie: źródła, uprawnienia i jakość odpowiedzi
Na tej stronie
Retrieval-augmented generation (RAG) łączy wyszukiwanie dokumentów z modelem językowym. Firmowy asystent powinien znajdować aktualne informacje, wskazywać źródła i przestrzegać uprawnień użytkownika. Zaplanuj zbiór dokumentów, kontrolę dostępu i ocenę jakości razem: znalezienie fragmentu nie potwierdza poprawności wygenerowanej odpowiedzi.
Wybierz zadanie przed modelem
Zacznij od pięciu do dziesięciu pytań, które ludzie już zadają. Na przykład: „Która wersja polityki dostawców obowiązuje w tym regionie?” albo „Gdzie jest zatwierdzona procedura dla tego wyjątku?”. Zapisz, kto pyta, któremu źródłu zaufa i co powinien zrobić, gdy żadne aktualne źródło nie odpowiada na pytanie.
Wynik wyszukiwania może wystarczyć. Generowane podsumowanie wnosi wartość, gdy użytkownik potrzebuje informacji połączonych z kilku dozwolonych dokumentów. Rekomendacja lub automatyczne działanie to inny zakres: potrzebuje własnych reguł decyzyjnych i ścieżki przeglądu.
| Zakres | Przykładowy rezultat | Wymagana kontrola |
|---|---|---|
| Wyszukiwanie | Znajdź aktualną politykę dostaw | Bieżący dostęp do źródła i jego wersja |
| Rekomendowanie | Przygotuj wewnętrzne zadanie dalszej obsługi | Dowody źródłowe i ocena człowieka |
| Działanie | Utwórz zatwierdzone zadanie w CRM | Bieżące uprawnienie zapisu, dokładne zatwierdzenie i przywracanie |
Wraz z zakresem przybywa wymaganych kontroli. Wiarygodna odpowiedź o polityce nie uprawnia do zmiany zamówienia. Przewodnik po agentach AI w CRM i ERP pokazuje przykład zatwierdzonego tworzenia zadania i jego ścieżki błędów.
Zinwentaryzuj dokumenty i odpowiedzialność
Wypisz repozytoria, typy plików, osoby odpowiedzialne za dokumenty, częstotliwość aktualizacji i reguły dostępu. Zdecyduj, które szkice, archiwa i duplikaty wykluczyć. Zachowuj adres lub identyfikator źródła, wersję i czas aktualizacji podczas pobierania danych, aby użytkownicy mogli sprawdzić oryginał.
Przed wyceną całego zbioru przetestuj ekstrakcję z typowych PDF-ów, arkuszy i skanów. Sprawdź wiersze tabel, nagłówki kolumn i odwołania do źródeł: wartość oderwana od nagłówka może zmienić znaczenie odpowiedzi.
Zachowaj powiązanie uprawnień ze źródłem
Użytkownik nie może otrzymać odpowiedzi opartej na dokumencie, którego nie może otworzyć. Zapisuj odpowiednie informacje o uprawnieniach podczas pobierania danych i egzekwuj je w wyszukiwaniu, zanim tekst trafi do modelu. Testuj zmiany roli, przynależności do grup i uprawnień dokumentu źródłowego, a także odpowiedzi w pamięci podręcznej. Wytyczne Microsoft dotyczące dostępu na poziomie dokumentów opisują wzorce wyszukiwania uwzględniającego uprawnienia; dokładna implementacja zależy od Twoich systemów tożsamości i dokumentów.
Traktuj pobrany tekst jako niezaufane dane wejściowe. Może zawierać instrukcje, które należy cytować jako treść dokumentu, a nie wykonywać przez asystenta. Aplikacja powinna oddzielać uprawnione zadanie użytkownika od pobranych materiałów.
Testuj cofnięcie dostępu i aktualność, także odpowiedzi w pamięci podręcznej
Rozważ POLICY-1, zatwierdzony dokument w wersji 3, który operator początkowo może czytać. Przykład poniżej zmienia uprawnienie lub wersję źródła, pozostawiając w indeksie odwołanie do wersji 3. Odpowiedzi z pamięci podręcznej przechodzą te same kontrole przed ponownym użyciem.
Przewiń tabelę w poziomie, aby porównać wszystkie kolumny.
| Scenariusz | Wymagany rezultat | Obliczony rezultat |
|---|---|---|
| Aktualne źródło, uprawniony czytelnik | Kontrole źródła zaliczone | Kontrole źródła zaliczone |
| Uprawnienie cofnięte po indeksowaniu | Odmowa dostępu | Odmowa dostępu |
| Zaindeksowano wersję 3; źródło ma teraz wersję 4 | Wymagane odświeżenie | Wymagane odświeżenie |
| Odpowiedź z pamięci podręcznej; cofnięto uprawnienie | Odmowa dostępu | Odmowa dostępu |
| Odpowiedź z pamięci podręcznej; zmieniono wersję źródła | Wymagane odświeżenie | Wymagane odświeżenie |
| Źródło wycofane z publikacji | Źródło niedostępne | Źródło niedostępne |
Przy odmowie dostępu wstrzymaj odpowiednią treść. Jeśli zmieniła się wersja, odśwież źródło i wyszukaj ponownie przed przygotowaniem odpowiedzi. Jeśli źródło zostało wycofane, wyklucz je. Odpowiedź z pamięci podręcznej łącząca kilka dokumentów musi przejść kontrolę każdego źródła; w przeciwnym razie odrzuć ją i zbuduj od nowa z dozwolonych, aktualnych materiałów. Nie usuwaj po prostu cytowania, pozostawiając opartą na nim odpowiedź.
Model korzysta z dostarczonej migawki bieżących uprawnień i wersji; nie łączy się z systemem dokumentów, nie generuje odpowiedzi ani nie mierzy jakości wyszukiwania. Jego kontrole pomagają tylko wtedy, gdy aplikacja otrzymuje aktualne metadane źródła. W rzeczywistym systemie określ opóźnienie synchronizacji uprawnień, zachowanie przy błędach i sposób ponownego sprawdzenia przed dostarczeniem odpowiedzi. Sprawdzaj też ponowne użycie pamięci podręcznej i kontekst dalszej rozmowy. Zablokowanie nowego wyszukiwania nie usuwa tekstu już dostarczonego użytkownikowi.
Dla wybranego konektora i mechanizmu dostępu sprawdź opóźnienia synchronizacji, zachowanie przy awarii i wsparcie produkcyjne. Dokumentacja Microsoft przywołana wyżej rozróżnia filtry dostępu w aplikacji oraz funkcje natywne; część natywnych opcji pozostaje w wersji zapoznawczej.
Wybierz wyszukiwanie na podstawie dowodów
Wyszukiwanie słów kluczowych dobrze obsługuje dokładne identyfikatory i terminologię. Wyszukiwanie semantyczne może pomagać przy innym sformułowaniu pytania. Podejście hybrydowe, filtry i ponowne rankingowanie mogą poprawiać wyniki, ale każde zwiększa koszt lub złożoność. Porównuj je na pytaniach rzeczywiście zadawanych przez użytkowników, zamiast zakładać, że jedna architektura zawsze wygrywa.
Utwórz mały zestaw oceny z oczekiwanymi dokumentami źródłowymi. Zanim ocenisz wygenerowaną odpowiedź, sprawdź, czy znaleziono właściwy dokument. Sama zmiana instrukcji generowania odpowiedzi nie dostarczy brakujących dowodów źródłowych.
Oddzielny zestaw pytań wyłącz z dostrajania instrukcji i wyszukiwania. Ustal wersje dokumentów, uprawnienia użytkowników i ustawienia wyszukiwania dla każdego porównania oraz zapisuj zmiany między wykonaniami. W przeciwnym razie lepszy wynik może odzwierciedlać łatwiejsze pytania lub nowsze źródła zamiast lepszej metody wyszukiwania.
W przykładowej kontroli załóżmy, że pytanie wymaga dwóch fragmentów, a pierwszych pięć wyników zawiera jeden z nich. Pełność wyszukiwania dla pięciu wyników wynosi 1/2, czyli 50%, dla tego pytania. To zastosowanie standardowej definicji pełności wyszukiwania do stałej liczby pobranych fragmentów; nie mierzy poprawności odpowiedzi. Dla pytań, na które dozwolony zbiór nie może odpowiedzieć, oceń poprawną odmowę asystenta zamiast przypisywać wynik pełności przy braku odpowiednich fragmentów. Raportuj liczby i wyniki według typu pytania, aby dobra średnia nie ukrywała niesprawnego procesu.
Umożliwiaj ocenę odpowiedzi
Pokazuj fragmenty lub dokumenty wykorzystane do odpowiedzi, ich daty i sposób otwarcia. Pozwól systemowi powiedzieć, że nie może odpowiedzieć, gdy dostępne źródła nie uzasadniają wniosku. Określ sytuacje wymagające oceny człowieka, szczególnie przy wpływie na klienta, płatność, zdrowie lub inny istotny proces.
Analizuj błędne odpowiedzi z osobami odpowiedzialnymi za dokumenty. Odróżnij brak lub błędne odczytanie źródła od wniosku, którego źródło nie potwierdza: wymagają innych poprawek. Wytyczne Microsoft dotyczące RAG omawiają wyszukiwanie, cytowania, dostęp i koszty eksploatacji.
Wyceń ograniczony pilotaż przed rozszerzeniem
Pilotaż dla jednego zespołu i jednego źródła pozwala sprawdzić decyzję. Ustal progi oceny i osobę odpowiedzialną za przegląd przed próbą; krytyczne błędy uprawnień blokują rozszerzenie. Porównaj odpowiedzi poparte źródłami, poprawne odmowy, czas i koszty z obecnym wyszukiwaniem. Oddziel pobieranie i odświeżanie źródeł, wywołania wyszukiwania/modelu, hosting, ocenę człowieka i wymagane wsparcie. Uzgodnij limity użycia, limit wydatków, alerty i osoby uprawnione do zatwierdzenia większego wykorzystania.
Zaplanuj zmiany po uruchomieniu
Dokumenty są zastępowane; uprawnienia się zmieniają; pojawiają się nowe pytania. Określ, kto aktualizuje zbiór, jak szybko zmiana pojawia się w wyszukiwaniu, jak wykrywane są nieaktualne odpowiedzi i kto ocenia powtarzające się błędy. Monitoruj użycie bez kopiowania zbędnych wrażliwych treści do analityki.
Jeśli planujesz asystenta wiedzy, przedstaw źródła dokumentów, role użytkowników i pytania, na które ma odpowiadać. Możemy określić zakres pierwszego procesu i porównać go z szerszym zestawem rozwiązań AI dostępnych dla Twojego oprogramowania biznesowego.
Doświadczenie z powiązanych projektów.
ARC GenAI
Wyszukiwanie dokumentów i odpowiedzi z odwołaniami do źródeł w bazie wiedzy.
Zobacz