Prawdziwy cytat, nie ta sprawa. Czego AI nie wie o Twoich dokumentach

Załóżmy, że kancelaria prowadzi dla Alfy spór z wykonawcą. Prawnik pyta asystenta:

„Jakie wynagrodzenie uzgodniliśmy z Alfą za prowadzenie sporu z wykonawcą?”

Asystent odpowiada:

„12 000 zł netto ryczałtem: »Za prowadzenie sprawy wynagrodzenie wynosi 12 000 zł netto« [1: umowa z Alfą, § 4]”.

Cytat zgadza się słowo w słowo. Tyle że umowa dotyczy negocjacji najmu, które ta sama kancelaria prowadziła dla Alfy rok wcześniej.

AI poprawnie odczytało zdanie, ale sięgnęło do niewłaściwej sprawy. Samo wskazanie sporu w pytaniu nie wystarczyło, żeby system dobrał właściwy dokument. A taką pomyłkę trudniej zauważyć niż zmyślony cytat, bo dokument istnieje, a przypis działa.

Co wiesz, zanim otworzysz plik

Otwierasz akta sporu Alfy. Wiesz, dlaczego poszczególne dokumenty się w nich znalazły. Asystent potrzebuje informacji, które pozwolą mu je rozróżnić.

Której sprawy to dotyczy? Najem i spór mają tego samego klienta, więc sama nazwa Alfa niczego nie rozstrzyga. Jeśli wybierasz sprawę w narzędziu, system może korzystać z tego wyboru bez dopisywania numeru do każdego pytania.

Czyje to stanowisko? W projekcie porozumienia czytasz: „Alfa pokryje połowę kosztów naprawy”. Tę propozycję przysłał wykonawca. Asystent musi jeszcze odróżnić jego oczekiwanie od tego, na co zgodziła się Alfa. Jeśli napisze „strony uzgodniły podział kosztów”, zrobi z propozycji ustalenie.

Co właściwie zaakceptowano? Obok leży mail: Alfa zgadza się na nowy termin naprawy. To zgoda na jeden punkt, a nie na całe porozumienie, więc trzeba połączyć mail z właściwym projektem, tak jak aneks z umową, którą zmienia. Nazwa pliku „ostateczny” niewiele tu załatwia.

Na jaki moment? Pytasz, co obowiązywało w dniu zgłoszenia usterek, czy co obowiązuje dziś? Aneks podpisany później może zmieniać odpowiedź, a data ostatniego zapisania pliku nie mówi, od kiedy stosuje się nowe warunki.

Kto pyta? Aplikant pracuje przy najmie Alfy. Czy może zobaczyć także dokumenty sporu?

Ty pamiętasz jeszcze telefon: klient odrzucił propozycję wykonawcy. W aktach nie ma po nim śladu, a projekt nadal leży w folderze. Taką decyzję zapisz przy sprawie, z datą rozmowy. Inaczej asystent nie ma skąd jej znać.

Co się dzieje pod spodem

W takim rozwiązaniu system najpierw wyszukuje dokumenty lub ich fragmenty, a potem przekazuje je modelowi, który układa odpowiedź. Jeśli nie dostarczy mu aneksu, model może oprzeć odpowiedź na samej umowie. Lepsze polecenie może pomóc wyszukać aneks, ale nie zastąpi jego treści, jeśli aneks nadal nie trafi do modelu.

Kilka znalezionych fragmentów to też nie to samo co przeczytanie wszystkich akt. Jeśli chcesz porównać wszystkie dokumenty, asystent musi uwzględnić każdy z nich. To nie to samo co uczenie modelu na Twoich aktach. Czy dostawca używa przesłanych danych także do tego, trzeba sprawdzić osobno.

„Nie ujawniaj” to nie zabezpieczenie

Aplikant pracujący przy najmie Alfy nie powinien dostać treści ze sporu tylko dlatego, że zapytał o tego samego klienta. Instrukcja „nie ujawniaj” tego nie zabezpiecza. System ma ograniczyć dostęp przed pobraniem treści, zamiast liczyć, że model ją przemilczy. Po odebraniu uprawnień trzeba też sprawdzić dostęp do wcześniejszych odpowiedzi i zapisanych rozmów. Kopie już pobrane przez użytkownika nie znikną z jego komputera.

Przypis to dopiero początek

Przy Alfie przypis prowadził do prawdziwej umowy. Dopiero po otwarciu widać, że chodzi o najem. Nawet właściwy dokument wymaga przeczytania otoczenia cytatu, bo następny akapit może zawierać warunek, który zniknął z odpowiedzi. Warto też zajrzeć do powiązanego aneksu i późniejszej korespondencji.

Dobra odpowiedź może więc brzmieć skromnie: „W dostępnych mi materiałach sporu znalazłem propozycję podziału kosztów naprawy. Nie znalazłem potwierdzenia jej przyjęcia”. Wtedy wracasz do korespondencji i przypominasz sobie rozmowę, w której klient odrzucił propozycję. „Nie znalazłem” nie znaczy przecież, że potwierdzenie nie istnieje. A jeśli dwa maile mówią co innego, asystent powinien pokazać rozbieżność.

Co możesz zrobić sam i o co zapytać dostawcę

Nie musisz porządkować całego archiwum. Wybierz jedno zadanie, które dobrze znasz. Zbierz potrzebne dokumenty i sprawdź z drugą osobą, czy bez Twoich podpowiedzi rozpozna sprawę, przyjęte warunki i powiązane ustalenia. Braki zapisz w karcie kontekstu i wskaż, kto je rozstrzygnie. Na pierwszą rozmowę wystarczy taki opis, bez akt klientów.

Dostawcę zapytaj: „Skąd asystent wie, o którą sprawę pytam, i co robi, gdy nie wie? Jak łączy umowę z aneksem i odróżnia propozycję od ustalenia? Czy możecie pokazać, jakie materiały dostał model i do której wersji prowadzi przypis? Jak szybko uwzględni nowy dokument albo zmianę uprawnień i kto tego pilnuje?”.

Ty wyjaśniasz, co wynika z dokumentów. Dostawca ustawia narzędzie tak, żeby z tych informacji korzystało. Opis dokumentu też może być błędny, więc ktoś musi rozstrzygać rozbieżności. Sprawdzenie, czy to wszystko działa, opisujemy w tekście o okresie próbnym asystenta.

Przy następnym pytaniu o Alfę otwórz przypis. Sprawdź, czy dokument odpowiada na Twoje pytanie, czy tylko zawiera pasujące zdanie.