Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk

W postaci metryk, jeśli chodzi o dokładność, o kreatywność takiego modelu. No i też jakby pozwala zaprojektować takie testy, które jakby użyją innego modelu do analizy, gdzie my wtedy podajemy to jakby z takiego technicznego punktu widzenia, podajemy serię promptów, jakie działania my oczekujemy od modelu, żeby zrobił w celu analizy odpowiedzi, jakby co konkretnie on miałby Miłoby sprawdzić i jakby jakie informacje dla nas wyłuskać z tych odpowiedzi. I jeśli jesteśmy przy narzędziach, no to należy tutaj też wspomnieć o platformie Gizcart, która ma też taki moduł open source'owy. I Gizcart został stworzony no nie tylko do testowania samych deep learningów i LLM-ów, ale też jakby

Tłumaczą albo chwalą się tym, że poradzi sobie z każdym rodzajem czegoś, co obecnie się nazywa potocznie sztuczną inteligencją, czyli modeli tabularycznych, modeli NLP czy już naszych wspomnianych, nawet w pierwszym temacie, ragów. I dla ragów akurat ma bardzo ciekawy feature, czyli dla modeli LLM z tą bazą wiedzy jest w stanie przeskanować bazę wiedzy sam w sobie i wygenerować, jakby zaproponować już przypadki testowe, które później jakby no uruchomi i przedstawi ocenę, czyli jakby ten proces samego takiego testowania już raga można powiedzieć, że no jakby upraszcza i

Tak na dobrą sprawę dzieli na dwa etapy. Mamy pierwszy, przygotowania danych, ale też go automatyzuje. Czyli faktycznie to nasze testowanie staje się szybsze i bardziej efektywne. Tu, jak Krzysiek zacząłeś o ragach opowiadać, to muszę jeszcze dwa bardzo ciekawe elementy, które dzisiaj właściwie wszyscy ci duzi gracze, którzy dostarczają nam LLM-y, dodają do tych swoich LLM-ów. Takie dwie bardzo fajne z mojego punktu widzenia. Właściwie wydaje mi się, że najfajniejsze chyba rzeczy, które dodają do LLM-ów, to jest function calling i structured output. Function calling to jest taka funkcja, dzięki której nasz LLM W momencie, kiedy chce zdobyć jakąś informację o świecie zewnętrznym, może skorzystać z metody, którą my dla niego dostarczamy.

Piszemy metodę, piszemy opis tej metody w języku naturalnym i dzięki temu, że LLM jest bardzo dobrym narzędziem do analizy języka, on jest w stanie z pytania wywnioskować, której metody powinien użyć. No i tutaj się jakby wszystkie techniki testowania już pojawiają takie, jak stosujemy przy klasycznym programowaniu, więc od unit testów po jakieś testy integracyjne. I tutaj bardzo duże pole dla automatyków. Podobnie jest ze Structured Output, bo to jest z kolei funkcjonalność, która pozwala użytkownikowi takiego LLM-a zmusić go do tego, żeby odpowiedź była przygotowana w określonej strukturze, na przykład w JSON-ie o bardzo konkretnie określonym schemacie.