Inwentaryzacja: co ma wiedzieć asystent
- Lista źródeł
Dyski sieciowe, SharePoint, systemy, skrzynki z procedurami. Gdzie leżą dokumenty, na które asystent ma odpowiadać?
- Właściciel każdego zbioru
Osoba, która wie, co jest aktualne, i odpowiada za to, żeby tak zostało.
- Co wyłączamy
Na przykład dane kadrowe, umowy objęte szczególną poufnością albo korespondencję prywatną.
- Jak często dokumenty się zmieniają
Od tego zależy, jak często asystent ma je odświeżać.
Wersje i duplikaty
Najczęstsza przyczyna złych odpowiedzi to nie słaby model, tylko pięć wersji tej samej procedury. Asystent znajdzie każdą i może odpowiedzieć na podstawie tej z 2019 roku.
Prosta zasada wystarcza na start: w folderze dla asystenta leży tylko wersja obowiązująca, z datą „obowiązuje od” w nazwie albo w treści. Archiwum w osobnym folderze, poza asystentem.
Skany, tabele i układ
- Skan to obraz. Bez rozpoznania tekstu (OCR) asystent go nie przeczyta. Sprawdź jakość OCR na kilku próbkach, zwłaszcza tabel i pieczątek.
- Tabele najlepiej zostawić w arkuszu albo opisać. Tabela przecięta przez podział na fragmenty traci sens.
- Nagłówki w dokumentach to darmowa pomoc: asystent dzieli tekst wzdłuż nich, więc fragmenty mają spójną treść.
- PDF w dwóch kolumnach bywa czytany w złej kolejności. Warto sprawdzić, jak wygląda po zamianie na tekst.
Fragmenty i metadane
Przed wyszukiwaniem dokumenty dzieli się na fragmenty, zwykle po kilkaset słów, najlepiej wzdłuż nagłówków. Każdy fragment dostaje metadane, dzięki którym asystent może filtrować i pokazywać źródło.
- Tytuł i dokument źródłowy
Żeby przy odpowiedzi pokazać, skąd pochodzi.
- Data obowiązywania
Żeby odróżnić aktualne od archiwalnych.
- Dział albo właściciel
Żeby wiedzieć, kogo zapytać o zmianę.
- Poziom dostępu
Żeby asystent pokazywał fragment tylko uprawnionym.
Uprawnienia
Asystent nie może być furtką. Jeśli ktoś nie ma dostępu do folderu z umowami, nie może dostać fragmentu tych umów w odpowiedzi. Filtrowanie według uprawnień robi się przy wyszukiwaniu, zanim fragmenty trafią do modelu, a nie prosząc model, żeby „nie pokazywał” poufnych rzeczy.
Zestaw pytań testowych
Pojęcia z tego poradnika
- Fragment (chunk)
Kawałek dokumentu, zwykle kilkaset słów, na które dzieli się teksty przed wyszukiwaniem w RAG. Najlepiej dzielić wzdłuż nagłówków.
Pytania i odpowiedzi
Czy trzeba uporządkować wszystkie dokumenty przed startem?
Nie. Zacznij od jednego zbioru, na przykład procedur albo bazy wiedzy działu, sprawdź jakość na pytaniach testowych i rozszerzaj.
Czy AI poradzi sobie z odręcznymi notatkami?
Słabo. Rozpoznawanie pisma odręcznego jest dużo mniej dokładne niż druku. Takie dokumenty lepiej przepisać albo pominąć.
Kto ma pilnować aktualności dokumentów?
Właściciel każdego zbioru. Bez tego po kilku miesiącach asystent odpowiada na podstawie nieaktualnych wersji.
Źródła i dokumentacja
- Tesseract: dokumentacja silnika OCRtesseract-ocr.github.io
- Microsoft: dzielenie dokumentów na fragmenty do wyszukiwanialearn.microsoft.com
- Lewis i in. (2020): Retrieval-Augmented Generationarxiv.org