Mentionsy Mentionsy
Bity Parzystości
Bity Parzystości

Jak AI zmienia podejście do testów oprogramowania?

22.08.2026 ·40 min 13 s · 12 rozdziałów

Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.Zapraszamy do śledzenia naszych social media:https://www.linkedin.com/company/UniqSofthttps://www.instagram.com/UniqSoftTeamhttps://www.facebook.com/UniqSoftPL#ai #tester #programista #ewaluacja #technologia #uniqsoftŹródła:https://news.ycombinator.com/item?id=43683012https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc0:00 Czego dotyczy obszar testowania AI?4:25 Czym się różni testowanie AI od tradycyjnych testów?6:43 Czy testerzy korzystają z AI?11:42 Testowanie projektów AI17:47 Mierzenie jakości wyników AI22:58 Jak mierzyć jakość odpowiedzi modelu30:46 Jak będzie się zmieniać zawód testera?34:59 Jedna rzecz, od której warto dzisiaj zacząć

7:49 · Testowanie AI w kontekście biznesowym 1

Czyli, że to właśnie użytkownik danego produktu w jakiś sposób będzie miał styczność z czymś, co wykorzystuje pod spodem jakiś model LLM. Wydaje mi się, że większość nie miała tutaj styczności z tym. Z uwagi na to, że nie wszystkie firmy teraz to wdrażają. W sensie nie wszystkie firmy jeszcze wdrażają rozwiązania AI. Albo na przykład w firmie jest dedykowany zespół, który się tym zajmuje, a pozostałe zespoły jeszcze o tym nie słyszały. Więc to jest zupełnie drugi temat. No i też ludzie raczej nie myślą o tej ewaluacji, dlatego że jeśli tworzą rozwiązania tylko i wyłącznie dla siebie,

20:52 · Analiza ryzyka i testowanie AI 1

Czy na przykład pewne rzeczy zostawiać, właśnie nie wiem, czy to inny LLM ocenia, czy to człowiek ocenia? Jak definiować te tutaj kryteria w jakiś sposób? Można to jakoś ubrać? Można ubrać i tutaj widzę, że rąbka tajemnicy uchyliłeś. Już ci nie zdradzam. No więc generalnie to tak, można to uporządkować i nawet wypada to uporządkowywać. Generalnie ja bym powiedział, że tam gdzie nie musimy używać LLM-ów, to lepiej ich nie używać, no bo to są dodatkowe koszty, dodatkowy właśnie indeterminizm, więc w sumie po co? Jakby jeśli możemy to wyeliminować, to to róbmy. I tutaj właśnie nawet przed nagrywaniem rozmawialiśmy o tym przykładzie Claude'a przecież, żeby wyciekł ten kod, tak?

23:21 · Testowanie i ewaluacja LLM 3

I w takim przypadku w pierwszej fazie projektu na pewno tutaj sprawdzi się po prostu człowiek, który będzie to sprawdzał. I tutaj to też bardzo dużo zależy od wiedzy domenowej. W sensie, czy wymagamy tej wiedzy domenowej, jakiejś bardzo specyficznej, czy nie. Jeśli tak, no to wtedy analogicznie rośnie rola człowieka. No i później, gdy już wiemy, jak to ewaluować, na co zwracać uwagę, to wówczas możemy oddać stery do LLM-a. Wtedy korzystamy z rozwiązania, które nazywa się LLM as a judge, czyli LLM jest takim naszym sędzią, czyli zamiast nas mówi, że ta odpowiedź jest dobra, a ta odpowiedź jest nie aż tak dobra.

I oczywiście to rozwiązanie też ma swoje wady. Wtedy mówimy o bajasach, czyli że na przykład LLM-y wolą, lepiej oceniają dłuższe odpowiedzi. To jest jeden z takich bardzo popularnych bajasów. Albo że pierwsza odpowiedź jest statystycznie częściej wybierana niż druga, jeśli na przykład LLM ma porównać jedną do drugiej, która jest lepsza. Więc no tutaj też w odpowiedni sposób manipulując tym strategią testową też oczywiście wykluczamy te bajasy. Więc zdecydowanie tutaj w ten sposób można ugryźć to kto w zasadzie powinien i jak w zasadzie powinniśmy to testować. A jeśli tak stricte technicznie chodzi o testowanie, czy tam właśnie ewaluację, no to podczas gdy mamy iwalsety, czyli tak jak wspomniałem, takie AI-owe przypadki testowe, gdzie tutaj ta różnica jest taka, że określamy, jaka odpowiedź jest wystarczająco dobra na pewnej skali,

Do bazy ragowej i później mamy skalę np. oceniamy od 1 do 10 no i powiedzmy czy tam od 0% do 100% jeśli chodzi o te zdania. No i powiedzmy jeśli 90% znań ma pokrycie w teście w sensie pokrycie w naszych danych no to wtedy możemy stwierdzić że taki Ival Set przechodzi. Ok. Jakieś tutaj jeszcze możesz wymienić na przykład, bo tu mówisz o pewnym biasie. Pewnie są jeszcze jakieś parę takich, które można byłoby wymienić takich problemów, które potencjalnie ktoś może spotkać przy takim weryfikowaniu, testowaniu. Nie? Może się jakiś taki drift na przykład pojawić? Są jakieś jeszcze takie rzeczy, które byśmy może mogli uzupełnić? Jeśli chodzi o samego LLM-a, to wspomniałem o dwóch bajasach, czyli właśnie o kolejności i o długości.

28:06 · Zmiany w roli testerów 1

Trzecim bajasem bardzo ciekawym jest to, że powinniśmy testować, używać LLM-a z innej rodziny, czyli np. GPT będzie bardziej premiował odpowiedzi GPT niż np. Claude'a. Nawet są takie teorie, że najlepiej jest używać trzech sędziów, czyli trzech LLM-ów i na przykład wybierać odpowiedź, która jest wskazywana minimum przez dwóch. Więc, tylko to już jest wiadomo taki case, czy to się opłaca, czy to nie pali za dużo tokenów i tak dalej. Ale no generalnie jest coś takiego, że te modele powiedzmy, że ze sobą sprzyjają. Jeśli natomiast chodzi o drifty, to też tutaj wspominałem o concept drifcie, czyli że po prostu to co jest faktycznie poprawną odpowiedzią może się zmieniać i tutaj mówiłem o tym przykładzie prawa, że po prostu inna

Pokazano wszystkie 6 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.