Mentionsy Mentionsy
Bity Parzystości
Bity Parzystości

Jak AI zmienia podejście do testów oprogramowania?

22.08.2026 ·40 min 13 s · 12 rozdziałów

Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.Zapraszamy do śledzenia naszych social media:https://www.linkedin.com/company/UniqSofthttps://www.instagram.com/UniqSoftTeamhttps://www.facebook.com/UniqSoftPL#ai #tester #programista #ewaluacja #technologia #uniqsoftŹródła:https://news.ycombinator.com/item?id=43683012https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc0:00 Czego dotyczy obszar testowania AI?4:25 Czym się różni testowanie AI od tradycyjnych testów?6:43 Czy testerzy korzystają z AI?11:42 Testowanie projektów AI17:47 Mierzenie jakości wyników AI22:58 Jak mierzyć jakość odpowiedzi modelu30:46 Jak będzie się zmieniać zawód testera?34:59 Jedna rzecz, od której warto dzisiaj zacząć

0:00 · Wprowadzenie i prezentacja gościa 2

Zapraszam serdecznie do odcinka. A moim gościem jest Wojtek Żygas. Cześć. Cześć. Powiedz czym się zajmujesz. Jesteś długo związany ze światem testowania szeroko pojętego i powiedz o czym będziemy dzisiaj rozmawiać. No to tak z testowaniem to w zasadzie jestem związany już od samego początku swojej kariery w IT. No i obecnie pełnię funkcję test architekta czyli decyduję co testować a czego nie testować oraz kto to powinien zrobić. No i właśnie jakiś czas temu zacząłem bardzo mocno interesować się testowaniem, w zasadzie ewaluacją funkcjonalności AI, dlatego że w mojej opinii cały czas stosunkowo mało mówi się o tym temacie, a jest on poniekąd bardzo, bardzo ważny.

No i dodatkowo w mojej opinii on w pewien sposób wywraca to, co mamy w klasycznym testowaniu do góry nogami, pewne jakieś takie paradygmaty, pewne nasze przyzwyczajenia. Jest to taki trochę nowy świat testowania, tak bym to nazwał. No to może zacznijmy sobie w ogóle przewrotnie od tego, co może pójść nie tak. Ok, to przede wszystkim przez to, że wszystko jest niedeterministyczne w tym świecie, to wiele rzeczy może pójść nie tak. Ale z punktu widzenia firmy to najważniejsze są takie negatywne konsekwencje finansowe, reputacyjne tudzież właśnie prawne. No i żeby to tak dobrze zobrazować, to może właśnie posłużę się przykładem. Firma Cursor poprzedni rok i tutaj miała miejsce taka awaria, że w normalnym kodzie, który używali użytkownicy, pojawił się błąd, który wylogował część użytkowników.

2:03 · Przykłady negatywnych konsekwencji AI 1

No i funkcjonalność AI, która była dodatkowo wbudowana, poinformowała tych użytkowników, że jest to część polityki firmy, że po prostu licencja jest tylko i wyłącznie na jedno urządzenie. No i jak można się spodziewać, zapanował chaos na Reddicie, na Hacker News. Oczywiście tutaj też klasyczny przypadek tej zmienności AI, że nie wszystkim użytkownikom dała takie samo wyjaśnienie. I skończyło się generalnie to tym, że po pierwsze zamieszaniem, po drugie część osób, nie znamy tutaj dokładnych liczb, ale część osób odeszła od tego rozwiązania. Dodatkowo CEO firmy musiał się też publicznie z tego tłumaczyć, więc no i przede wszystkim przestaliśmy kojarzyć tą firmę jako firma, która, bo do tej pory moglibyśmy powiedzieć, że to są specjaliści od AI, a tutaj jednak taka no ryska na tym wizerunku została i to została moim zdaniem dotkliwie, więc tutaj każda firma, która poważnie myśli o swoich użytkownikach

4:04 · Różnice w testowaniu AI w porównaniu do tradycyjnego testowania 3

Dobra, więc generalnie tradycyjny model, mamy pewne dane wejściowe, mamy system, który te dane przyjmuje i mamy oczekiwane dane wyjściowe, na podstawie których stwierdzamy, czy dany test case spasował, czy sfejlował. I to jest generalnie dla wszystkich jasne, zarówno dla deweloperów, jak i dla testerów. Generalnie to jest taka powszechna prawda. No i teraz w świecie funkcjonalności AI, które musimy przetestować, też mamy dane wejściowe, też mamy system, ale dane na wyjściu z systemu my nie możemy stwierdzić, że mamy skończone deterministyczne wyjście z tego systemu. Że tam mogą być różne rzeczy i różne z nich mogą być poprawne.

I dlatego tutaj trochę będziemy pewnie przeplatać takie słowo, że testowanie ze słowem ewaluacja. Bo częściej mówi się właśnie w kontekście AI o funkcjonalności AI, sprawdzaniu ich Jakości o ewaluacji, dlatego, że my tutaj w pewien sposób oceniamy, czy dana odpowiedź jest dobra, czy jest zła. Na jakimś przedziale wartości wybieramy, czy myśmy mogli powiedzieć, czy ona jest wystarczająco dobra, żeby powiedzmy ten test case, czy właśnie eval set w tej nomenklaturze AI powiedzieć, że on spasował. Generalnie widzę, że będzie się pojawiał determinizm. To jest chyba słowo, które będzie odmienione w jakiś sposób, bo to zmienia w jakiś sposób podejście.

Czy to jest jedna albo druga domena? Dokładnie tak i właśnie fajnie możemy to tutaj rozdzielić generalnie na te dwie domeny i ta pierwsza, czyli ta, która jest związana z wykorzystywaniem AI w pracy, to to jest to, czym teraz żyje świat. To jest to, na co firmy kładą największy nacisk, to jest to, gdzie stawiane są pewne KPI w firmach i po prostu każdy inżynier ma wykorzystywać AI. A jeśli ktoś tego nie robi, no to nie oszukujmy się, zostaje w tyle. Są firmy, które narzucają nawet w jakiś sposób polityki wykorzystania AI. Głośno jest o tym, że są jakieś tam firmy z minimalnymi limitami na przykład.

7:49 · Testowanie AI w kontekście biznesowym 4

Przepraszam, jakieś głupio kliki i tak dalej podobno odchodzą. No nie no, od tego odchodzimy. W sensie był taki moment, że tutaj to AI się zrobiło, korzystanie AI się zrobiło taką byśmy powiedzieli gamifikacją, grywalizacją, że po prostu kto więcej zużyje tokenów. No ale już teraz od tego odchodzimy. Jak przyszły rachunki, wszyscy zaczęli liczyć pieniądze. No to wtedy już idzie w drugą stronę, żeby mieć nad tym jakąś kontrolę. Może nie żeby hamować, w żaden sposób nie, ale żeby mieć nad tym jakąś kontrolę. No i właśnie wracając do tego ogólnego pytania, czy tutaj właśnie ten kontakt jest, no to ten właśnie kontakt w tej pierwszej domenie, To jest na pewno i on jest bardzo duży i właśnie inżynierowie wykorzystują AI, a znowu drugim aspektem jest sama ewaluacja tych rozwiązań AI, czyli to jest sytuacja, kiedy dana firma decyduje o tym, że w swoim produkcie zawrze funkcjonalność AI.

Czyli, że to właśnie użytkownik danego produktu w jakiś sposób będzie miał styczność z czymś, co wykorzystuje pod spodem jakiś model LLM. Wydaje mi się, że większość nie miała tutaj styczności z tym. Z uwagi na to, że nie wszystkie firmy teraz to wdrażają. W sensie nie wszystkie firmy jeszcze wdrażają rozwiązania AI. Albo na przykład w firmie jest dedykowany zespół, który się tym zajmuje, a pozostałe zespoły jeszcze o tym nie słyszały. Więc to jest zupełnie drugi temat. No i też ludzie raczej nie myślą o tej ewaluacji, dlatego że jeśli tworzą rozwiązania tylko i wyłącznie dla siebie,

I wtedy np. automatyzują część swojej codziennej pracy. I takie rozwiązanie, jeśli coś tam nie działa, to dużo szybciej jest po prostu to od razu zmienić, naprawić, to z reguły się dzieje szybko i wtedy w zasadzie nie ma tej, w sensie wtedy człowiek nie myśli o tym testowaniu. I dopiero wtedy zaczyna być, tak jakby wychodzić ta potrzeba testowania tej ewaluacji, jeśli nasze rozwiązanie na przykład jest używane przez większą ilość osób, to wtedy naturalnie widzimy potrzebę testowania ewaluacji. Albo gdy nasz jakiś agent, którego stworzyliśmy, on ma w sobie jakąś funkcjonalność, która może zrobić coś, czego konsekwencje będą bardzo nieszczęśliwe, powiedzmy, dla nas.

Na przykład może nam usunąć repo. Albo po prostu działa na naszych plikach i to już wystarczy, żeby były takie przypadki, że po prostu komuś usunęło wszystkie pliki, bo do komendy linuxowej dodało dwa znaki i nagle się okazało, że wyszedł za wysoko z katalogu, usunął wszystko. Faktycznie, to jest całkowicie naturalne, jeśli mamy taki zespołowy biznes case, tworzymy agenta, używa go cały zespół, to już wtedy czujemy tę potrzebę. Wydaje mi się, że coraz więcej osób będzie się zapoznawać z tym tematem. Coraz szerzej generalnie, właśnie z uwagi na te potrzeby, na potrzeby biznesowe, na coraz większe wykorzystanie AI w produktach.

11:43 · Metody testowania AI 3

No to spróbujmy zebrać, co można w jaki sposób testować, o czym właściwie mówimy, czyli przechodzimy już do takiego case'u, bo tak jak mówisz, dość dużo mówi się o tych zastosowaniach wykorzystywania tool i narzędzi, powstaje tego dość dużo, ale spróbujmy porozmawiać trochę więcej o tym właśnie takim testowaniu AI, a nie testowaniu przy pomocy AI. Co w ogóle, jak, w jaki sposób i tak dalej. Czyli tak, możemy to sobie porównać do takiej klasycznej piramidy testowania i tutaj też możemy iść od szczegółu do ogółu, czyli poprzez analogię w takim klasycznym testowaniu mamy na początku unit and component testy, no i tutaj powiedzmy w świecie AI możemy testować pary prompt-odpowiedź.

Które są orkiestrowane przez jednego dużego agenta, takiego który po prostu rozdziela te wszystkie taski. No i na samym końcu testy takie typowo już z punktu widzenia użytkownika końcowego. I co jest bardzo ciekawe w takim, w ewaluacji i testowaniu AI, że kwestia bezpieczeństwa ona nie kończy się, znaczy bezpieczeństwa przepraszam, kwestia testowania i jakości nie kończy się na dostarczeniu produktu do klienta. Z uwagi na to, że kolejną różnicą pomiędzy klasycznym testowaniem a ewaluacją AI jest to, że nasz produkt może działać tak samo dobrze jak działał, a nagle może się w cudzysłowie wysypać u klienta.

Z uwagi na to, że dane wejściowe nam się zmieniają albo dane wyjściowe nam się zmieniają. Nasz system miałby jakąś funkcjonalność związaną z prawem i teraz wchodzi jakaś nowa ustawa i już to na czym nasz system był testowany to już nie jest to samo. I teraz w klasycznym testowaniu można by powiedzieć, że nasz produkt jest poniekąd stały, A tutaj jednak jest on dużo bardziej wrażliwy na czynniki zewnętrzne, na pewne dane, które są analizowane. No to widzę tutaj parę aspektów, czyli znowu pojawia nam się pewien determinizm, czyli te różne szczeble testowania, o których mówisz, no to pewnie one będą miały różne złożoności, no bo to będzie, jeżeli jest na przykład kwestia wywołania narzędzi, no to jest coś, co można sprawdzić niemalże zero-jedynkowo na przykład w jakiś sposób, skorzystanie z MCP i tak dalej.

15:00 · Zakłócenia i zmiany w testowaniu AI 4

Pewne wyniki, o tym jeszcze będziemy dzisiaj myślę rozmawiać, o pewnej oczekiwanej jakości odpowiedzi, tu już się zaczyna pewien problem, bo to jest już mniej lub bardziej ocenne. No ale tutaj jest to troszkę bardziej złożone właśnie niż występowało do tej pory, dlatego że ok, te środowiska mogły się w jakiś sposób zmieniać, ale ich jest dużo więcej, są dużo bardziej złożone. Z mojego punktu widzenia musi być ta faza pilotażowa. My mamy doświadczenie z różnego rodzaju szczeblami projektów wykorzystujących AI, to znaczy mam na myśli od wdrożeń indywidualnych narzędzi, inaczej to wygląda w sytuacji wdrażania automatyzacji takich pogotowych rozwiązań, a czym innym jest na przykład oprogramowywanie projektu, który wykorzystuje model bazowy, ale tych zmiennych, które mogą wystąpić, czyli dane wejściowe, dane wyjściowe,

Sposoby interakcji, na przykład same środowisko wdrożeniowe, nawet to jaka, jeżeli to jest model bazowy, jakie karty są wykorzystywane, oprogramowanie bezpośrednio na serwerze i tak dalej. Jest mnóstwo rzeczy i to nie musi być w jakiś sposób deterministyczne. Ty dorzucasz do tego jeszcze pewien szczebel dalszy, czyli pewne zmiany w czasie. No tak, no tak, dokładnie. Zmiany w danych i tak dalej. To są innego rodzaju problemy, np. ja słyszę nieraz o projektach, które rozsypują się w czasie, bo np. opierają się o modele hostowane w necie i np. OpenAI potrafił komunikować, że za dwa tygodnie wymienią model. Pamiętam jakie były paniki w internecie, że model 4.0 będzie wycofywany. No tak, dokładnie. Więc tych szczebli, które mogą pójść, tego co może pójść nie tak jest mnóstwo.

No i jest to taka rzecz, która jest najmniej w tym wszystkim przewidywalna, czyli mówiąc, kiedyś był taki żart polityczny, należy robić tak, żeby było dobrze, więc teraz jest kwestia tego właśnie, jak jest pewna ewaluacja tego funkcjonowania AI, pewna akceptacja pewnych wyników, pewnych odpowiedzi. Ja się spotykam z tym bardzo często, jeżeli ktoś pracuje właśnie z ofertami, z projektami AI-owymi, Mimo wszystko na samym końcu musimy osiągnąć jakiś wynik, należałoby prowadzić do tego projekt, żeby osiągać jakiś wynik, więc to jest coś, co jest w sumie dość deterministyczne. AI deterministyczne w swojej naturze nie jest, więc możemy porozmawiać o tym, czym jest pewien taki wynik takiej sztucznej inteligencji, jak budować te kryteria akceptacji, kto w ogóle powinien określać te kryteria akceptacji, one się pojawiają czasami w zapytaniach, w przetargach,

A czasami po prostu nie ma, może to zespół musi w jakiś sposób sugerować, ktoś jako ekspert, jako potencjalny wykonawca i tak dalej. Porozmawiajmy więcej o tym właściwie, czym jest taka pewna jakość odpowiedzi AI, skąd to wszystko pochodzi. W ogóle bardzo ciekawy to jest aspekt i tutaj dużą rolę no generalnie widać w edukowaniu też klienta takiego, który powiedzmy mamy tutaj przypadek takiego powiedzmy, że przychodzi klient i on chce jakieś jakieś rozwiązanie AI-owe, czyli taki przypadek trochę takiego software house powiedzmy, więc tutaj zdecydowanie rola edukowania klienta i ustalenia co to jest wystarczająco dobrze. Nie, no bo tak dobrze to już jest tak trochę mało precyzyjnie, więc tutaj musimy się skupić na tym, co to znaczy wystarczająco dobrze.

18:14 · Ewaluacja i jakość odpowiedzi AI 2

No i na sam koniec można do tego dorzucić jeszcze jakieś takie dobre standardy, dobre praktyki, które też powoli zaczynają się wytwarzać. Jeśli chodzi o samą inżynierię projektowania takich systemów, to już tego mamy faktycznie dużo. Jeśli chodzi o testowanie, no to też to się rozwija i już jakieś takie powiedzmy standardy i rulesy, że tak się określę, to już też istnieją. To jest inna kwestia, jak firmy to interpretują, nie? No bo to też jakby każdy może interpretować, w sensie to też się z czymś takim spotkałem, tak jak mówiłeś, że właśnie różne firmy różnie to wprowadzają. To właśnie są takie sytuacje, że niektórzy w ogóle nie ewaluują, nie testują, inni znowu wręcz przeciwnie, wszystko od razu automatyzują.

No i gdzieś tam prawda trochę po pierwsze jest pośrodku, A po drugie, to też właśnie zależy od tego przypadku biznesowego, na co możemy sobie pozwolić w stosunku do naszego użytkownika. Funkcjonujemy w takim otoczeniu i w takich czasach, że powinniśmy wszystkie projekty AI również, a może zwłaszcza, zaczynać od jakiejś analizy ryzyka. Ja nie mam z tym zupełnie problemu, żeby zaczynać rzeczywiście od jakiejś takiej, no projekty powinny być realizowane wspólnie jako współpraca dwóch stron, więc tak, rozmawiamy z podmiotami, które są świadome i przechodzą ze swoimi jakimiś kryteriami akceptacyjnymi, jeśli chodzi na przykład o rozwiązania AI-owe. Jest to, nie wiem, są rozwiązania chatbotowe. Mamy swoje rozwiązania, jeśli chodzi o dobre chatboty i wdrażamy je i wiemy co taki chatbot może zrobić, a to problemy zdarzały się dużym firmom.

20:52 · Analiza ryzyka i testowanie AI 2

Chociażby McDonald's miał i to tam rok po roku chyba parę dużych wtop, bo raz stracili dane hreowe, a raz się okazało, że był zbyt tam upuszczony sobie i to był najtańszy sposób napisania skryptów w Pythonie swego czasu. Więc tutaj na przykład mogą być takie mniej oczywiste rzeczy, na przykład jak taki chatbot się zachowa, jeżeli zapytamy go o naszą konkurencję albo spróbujemy nas zdyskredytować i tak dalej. Więc tutaj nie ma problemu z tym, żeby jakoś wspólnie opracować te kryteria, bo to jest po prostu część pierwszego w sumie etapu takiego przygotowania firmy. Ale są podmioty, które są już dość przygotowane, są to organizacje często, które już po prostu przechodzą z własnym zestawem takich rzeczy, które warto zweryfikować albo kombinuje się po prostu te dwie rzeczy w jakiś sposób ze sobą.

Natomiast to musi się pojawiać i to nie jest też wykorzystywane, tak pozwolę sobie z mojej perspektywy powiedzieć na samym starcie projektu, odniosę się znowu do tego, Co mówiłeś, że pewne rzeczy mogą się wydarzyć w czasie w jakiś sposób, bo tutaj samo uruchamianie testowania tak jak normalnie czy testy automatyczne są wykonywane gdzieś przy jakichś kolejnych powiedzmy wydaniach i tak dalej, to tak samo tutaj mogą wystąpić w wypadku nie wiem wymiany modeli na przykład albo właśnie zmiany jakiegoś środowiska i warto to realizować, dlatego warto w jakiś sposób testować. No ale można mimo wszystko w jakiś sposób mierzyć tą jakość odpowiedzi na przykład? Czy można dużo rzeczy sprowadzić do odpowiedzi typu tak lub nie?

23:21 · Testowanie i ewaluacja LLM 4

Twórca nomen omen narzędzia AI-owego, kod źródłowy, kod koda, który okazało się, że do wykrywania sentymentu wykorzystywał wyrażenie regularne. No dokładnie i to jest mądre, jakby to jest mądre, bo jeśli nie trzeba i jest to efektywne, no to w sumie dlaczego? No i właśnie odpowiadając na twoje pytanie, to generalnie część rzeczy możemy przetestować w taki klasyczny sposób, Czyli regexpem, czyli jakąś metodą statystyczną, odległością wektorów w bazie, więc takie rzeczy jak najbardziej możemy robić. No ale są też takie rzeczy, które trzeba typowo oceniać pod kątem znaczenia tej odpowiedzi.

I w takim przypadku w pierwszej fazie projektu na pewno tutaj sprawdzi się po prostu człowiek, który będzie to sprawdzał. I tutaj to też bardzo dużo zależy od wiedzy domenowej. W sensie, czy wymagamy tej wiedzy domenowej, jakiejś bardzo specyficznej, czy nie. Jeśli tak, no to wtedy analogicznie rośnie rola człowieka. No i później, gdy już wiemy, jak to ewaluować, na co zwracać uwagę, to wówczas możemy oddać stery do LLM-a. Wtedy korzystamy z rozwiązania, które nazywa się LLM as a judge, czyli LLM jest takim naszym sędzią, czyli zamiast nas mówi, że ta odpowiedź jest dobra, a ta odpowiedź jest nie aż tak dobra.

I oczywiście to rozwiązanie też ma swoje wady. Wtedy mówimy o bajasach, czyli że na przykład LLM-y wolą, lepiej oceniają dłuższe odpowiedzi. To jest jeden z takich bardzo popularnych bajasów. Albo że pierwsza odpowiedź jest statystycznie częściej wybierana niż druga, jeśli na przykład LLM ma porównać jedną do drugiej, która jest lepsza. Więc no tutaj też w odpowiedni sposób manipulując tym strategią testową też oczywiście wykluczamy te bajasy. Więc zdecydowanie tutaj w ten sposób można ugryźć to kto w zasadzie powinien i jak w zasadzie powinniśmy to testować. A jeśli tak stricte technicznie chodzi o testowanie, czy tam właśnie ewaluację, no to podczas gdy mamy iwalsety, czyli tak jak wspomniałem, takie AI-owe przypadki testowe, gdzie tutaj ta różnica jest taka, że określamy, jaka odpowiedź jest wystarczająco dobra na pewnej skali,

No to tutaj tworzymy pewne metryki, które potem mierzymy i patrzymy czy właśnie ta jakość nas zadowala. I jako przykład mogę podać coś takiego, że mamy taką popularną metrykę Groundedness, czyli jak bardzo odpowiedź modelu jest zakorzeniona, bazuje na źródle, na którym ma odpowiadać. No i taką metrykę tworzymy przez kryterium, czyli odpowiedź ma bazować na źródle. Wiemy jak chcemy to zrobić, czyli sposób wykonania tego sprawdzenia, czyli tutaj powiedzmy każde zdanie ma mieć pokrycie w tekście, czy jakby w jakimś dokumencie, który dostarczamy na przykład do

Pokazano pierwszych 25 dopasowań — doprecyzuj frazę, aby zawęzić wyniki. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.