Jak AI zmienia podejście do testów oprogramowania?
Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.Zapraszamy do śledzenia naszych social media:https://www.linkedin.com/company/UniqSofthttps://www.instagram.com/UniqSoftTeamhttps://www.facebook.com/UniqSoftPL#ai #tester #programista #ewaluacja #technologia #uniqsoftŹródła:https://news.ycombinator.com/item?id=43683012https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc0:00 Czego dotyczy obszar testowania AI?4:25 Czym się różni testowanie AI od tradycyjnych testów?6:43 Czy testerzy korzystają z AI?11:42 Testowanie projektów AI17:47 Mierzenie jakości wyników AI22:58 Jak mierzyć jakość odpowiedzi modelu30:46 Jak będzie się zmieniać zawód testera?34:59 Jedna rzecz, od której warto dzisiaj zacząć
Były takie przypadki, że po prostu komuś usunęło wszystkie pliki, bo do komendy linuxowej dodało dwa znaki i nagle się okazało, że wyszedł za wysoko z katalogu, usunął wszystko. Ja słyszę nieraz o projektach, które rozsypują się w czasie, bo np. opierają się o modele hostowane w necie i np. OpenAI potrafił komunikować, że za 2 tygodnie wymienią model. Pamiętam jakie były paniki w internecie, że model 4.0 będzie wycofywany. Cześć, witam w kolejnym odcinku Bity Parzystości. Dzisiaj porozmawiamy o testowaniu AI, o w ogóle połączeniu AI i testowania. Dużo więcej mówi się o AI i programistach, ale jak to wygląda w ogóle w świecie testerów i QA?
Zapraszam serdecznie do odcinka. A moim gościem jest Wojtek Żygas. Cześć. Cześć. Powiedz czym się zajmujesz. Jesteś długo związany ze światem testowania szeroko pojętego i powiedz o czym będziemy dzisiaj rozmawiać. No to tak z testowaniem to w zasadzie jestem związany już od samego początku swojej kariery w IT. No i obecnie pełnię funkcję test architekta czyli decyduję co testować a czego nie testować oraz kto to powinien zrobić. No i właśnie jakiś czas temu zacząłem bardzo mocno interesować się testowaniem, w zasadzie ewaluacją funkcjonalności AI, dlatego że w mojej opinii cały czas stosunkowo mało mówi się o tym temacie, a jest on poniekąd bardzo, bardzo ważny.
No i funkcjonalność AI, która była dodatkowo wbudowana, poinformowała tych użytkowników, że jest to część polityki firmy, że po prostu licencja jest tylko i wyłącznie na jedno urządzenie. No i jak można się spodziewać, zapanował chaos na Reddicie, na Hacker News. Oczywiście tutaj też klasyczny przypadek tej zmienności AI, że nie wszystkim użytkownikom dała takie samo wyjaśnienie. I skończyło się generalnie to tym, że po pierwsze zamieszaniem, po drugie część osób, nie znamy tutaj dokładnych liczb, ale część osób odeszła od tego rozwiązania. Dodatkowo CEO firmy musiał się też publicznie z tego tłumaczyć, więc no i przede wszystkim przestaliśmy kojarzyć tą firmę jako firma, która, bo do tej pory moglibyśmy powiedzieć, że to są specjaliści od AI, a tutaj jednak taka no ryska na tym wizerunku została i to została moim zdaniem dotkliwie, więc tutaj każda firma, która poważnie myśli o swoich użytkownikach
Powinna jednak kłaść nacisk na to, żeby w jakiś sposób dowozić to testowanie, żeby ono było istotne, w sensie to testowanie, ewaluacja AI. Okej, czyli wiemy, że ma to duże znaczenie, bo może mieć duże konsekwencje. Myślę, że tu się pojawiały rzeczy takie, które są w ogóle związane z wykorzystywaniem AI, czy powiedzmy z wykorzystywaniem nawet w szerokim ujęciu technologii jako możliwych konsekwencji, mówisz tutaj o konsekwencjach prawnych. Wiemy w takim wypadku, że się to różni, to jeżeli przejdziemy sobie do samego testowania, to w jaki sposób się samo testowanie, czy wykorzystanie AI tutaj różni od tego tradycyjnego podejścia, tradycyjnego modelu?
Dobra, więc generalnie tradycyjny model, mamy pewne dane wejściowe, mamy system, który te dane przyjmuje i mamy oczekiwane dane wyjściowe, na podstawie których stwierdzamy, czy dany test case spasował, czy sfejlował. I to jest generalnie dla wszystkich jasne, zarówno dla deweloperów, jak i dla testerów. Generalnie to jest taka powszechna prawda. No i teraz w świecie funkcjonalności AI, które musimy przetestować, też mamy dane wejściowe, też mamy system, ale dane na wyjściu z systemu my nie możemy stwierdzić, że mamy skończone deterministyczne wyjście z tego systemu. Że tam mogą być różne rzeczy i różne z nich mogą być poprawne.
I dlatego tutaj trochę będziemy pewnie przeplatać takie słowo, że testowanie ze słowem ewaluacja. Bo częściej mówi się właśnie w kontekście AI o funkcjonalności AI, sprawdzaniu ich Jakości o ewaluacji, dlatego, że my tutaj w pewien sposób oceniamy, czy dana odpowiedź jest dobra, czy jest zła. Na jakimś przedziale wartości wybieramy, czy myśmy mogli powiedzieć, czy ona jest wystarczająco dobra, żeby powiedzmy ten test case, czy właśnie eval set w tej nomenklaturze AI powiedzieć, że on spasował. Generalnie widzę, że będzie się pojawiał determinizm. To jest chyba słowo, które będzie odmienione w jakiś sposób, bo to zmienia w jakiś sposób podejście.
Jeżeli te warunki, te środowiska się w jakiś sposób zmieniają, czy ci testerzy, tak jak masz kontakt z różnymi osobami, to w ogóle stykają się w jakiś sposób Pewnie będziemy mówili o różnych płaszczyznach kontaktu z AI. To tak samo możemy mówić o deweloperach. Pozwolę sobie na takie pewne analogie bo właśnie to o czym mówimy że trochę chyba mówi się o tym dużo więcej w wypadku w ogóle deweloperów i testowania niż w wypadku testowania. Ja tutaj widzę dwie takie główne domeny czyli w jakiś sposób jako kontakt z pewnym AI może być takie everyday use czyli po prostu mamy narzędzia oparte o AI które wykorzystujemy Które wykorzystujemy do testowania, ale mamy też pracę z samym AI per se, czyli mówimy o tworzeniu projektów jako deweloperzy wykorzystując na przykład modele i samym testowaniu projektów AI-owych, więc możemy trochę odnosić pewne te rzeczy właśnie pod kątem tej styczności w jakiś sposób, tak?
Czy to jest jedna albo druga domena? Dokładnie tak i właśnie fajnie możemy to tutaj rozdzielić generalnie na te dwie domeny i ta pierwsza, czyli ta, która jest związana z wykorzystywaniem AI w pracy, to to jest to, czym teraz żyje świat. To jest to, na co firmy kładą największy nacisk, to jest to, gdzie stawiane są pewne KPI w firmach i po prostu każdy inżynier ma wykorzystywać AI. A jeśli ktoś tego nie robi, no to nie oszukujmy się, zostaje w tyle. Są firmy, które narzucają nawet w jakiś sposób polityki wykorzystania AI. Głośno jest o tym, że są jakieś tam firmy z minimalnymi limitami na przykład.
Przepraszam, jakieś głupio kliki i tak dalej podobno odchodzą. No nie no, od tego odchodzimy. W sensie był taki moment, że tutaj to AI się zrobiło, korzystanie AI się zrobiło taką byśmy powiedzieli gamifikacją, grywalizacją, że po prostu kto więcej zużyje tokenów. No ale już teraz od tego odchodzimy. Jak przyszły rachunki, wszyscy zaczęli liczyć pieniądze. No to wtedy już idzie w drugą stronę, żeby mieć nad tym jakąś kontrolę. Może nie żeby hamować, w żaden sposób nie, ale żeby mieć nad tym jakąś kontrolę. No i właśnie wracając do tego ogólnego pytania, czy tutaj właśnie ten kontakt jest, no to ten właśnie kontakt w tej pierwszej domenie, To jest na pewno i on jest bardzo duży i właśnie inżynierowie wykorzystują AI, a znowu drugim aspektem jest sama ewaluacja tych rozwiązań AI, czyli to jest sytuacja, kiedy dana firma decyduje o tym, że w swoim produkcie zawrze funkcjonalność AI.
Czyli, że to właśnie użytkownik danego produktu w jakiś sposób będzie miał styczność z czymś, co wykorzystuje pod spodem jakiś model LLM. Wydaje mi się, że większość nie miała tutaj styczności z tym. Z uwagi na to, że nie wszystkie firmy teraz to wdrażają. W sensie nie wszystkie firmy jeszcze wdrażają rozwiązania AI. Albo na przykład w firmie jest dedykowany zespół, który się tym zajmuje, a pozostałe zespoły jeszcze o tym nie słyszały. Więc to jest zupełnie drugi temat. No i też ludzie raczej nie myślą o tej ewaluacji, dlatego że jeśli tworzą rozwiązania tylko i wyłącznie dla siebie,
Na przykład może nam usunąć repo. Albo po prostu działa na naszych plikach i to już wystarczy, żeby były takie przypadki, że po prostu komuś usunęło wszystkie pliki, bo do komendy linuxowej dodało dwa znaki i nagle się okazało, że wyszedł za wysoko z katalogu, usunął wszystko. Faktycznie, to jest całkowicie naturalne, jeśli mamy taki zespołowy biznes case, tworzymy agenta, używa go cały zespół, to już wtedy czujemy tę potrzebę. Wydaje mi się, że coraz więcej osób będzie się zapoznawać z tym tematem. Coraz szerzej generalnie, właśnie z uwagi na te potrzeby, na potrzeby biznesowe, na coraz większe wykorzystanie AI w produktach.
No to spróbujmy zebrać, co można w jaki sposób testować, o czym właściwie mówimy, czyli przechodzimy już do takiego case'u, bo tak jak mówisz, dość dużo mówi się o tych zastosowaniach wykorzystywania tool i narzędzi, powstaje tego dość dużo, ale spróbujmy porozmawiać trochę więcej o tym właśnie takim testowaniu AI, a nie testowaniu przy pomocy AI. Co w ogóle, jak, w jaki sposób i tak dalej. Czyli tak, możemy to sobie porównać do takiej klasycznej piramidy testowania i tutaj też możemy iść od szczegółu do ogółu, czyli poprzez analogię w takim klasycznym testowaniu mamy na początku unit and component testy, no i tutaj powiedzmy w świecie AI możemy testować pary prompt-odpowiedź.
No i do tych par prompt-odpowiedź możemy dodawać też inne komponenty systemu AI-owego. Czyli możemy testować Retrivala z Raga, możemy testować Skilla, możemy testować zachowanie z serwerem MCP, wywoływanie tooli określonych, poszczególne guardrailsy, czyli tutaj takich naszych strażników, którzy pilnują czy model zachowuje się tak jak byśmy chcieli. Więc mamy trochę tych takich komponentów w świecie AI-owym, których na takim niskopoziomowym poziomie, na niskim poziomie możemy przetestować. Więc to tak w ten sposób. No i później idziemy coraz to w górę i testujemy później integrację pomiędzy na przykład różnymi SAP agentami,
Które są orkiestrowane przez jednego dużego agenta, takiego który po prostu rozdziela te wszystkie taski. No i na samym końcu testy takie typowo już z punktu widzenia użytkownika końcowego. I co jest bardzo ciekawe w takim, w ewaluacji i testowaniu AI, że kwestia bezpieczeństwa ona nie kończy się, znaczy bezpieczeństwa przepraszam, kwestia testowania i jakości nie kończy się na dostarczeniu produktu do klienta. Z uwagi na to, że kolejną różnicą pomiędzy klasycznym testowaniem a ewaluacją AI jest to, że nasz produkt może działać tak samo dobrze jak działał, a nagle może się w cudzysłowie wysypać u klienta.
Pewne wyniki, o tym jeszcze będziemy dzisiaj myślę rozmawiać, o pewnej oczekiwanej jakości odpowiedzi, tu już się zaczyna pewien problem, bo to jest już mniej lub bardziej ocenne. No ale tutaj jest to troszkę bardziej złożone właśnie niż występowało do tej pory, dlatego że ok, te środowiska mogły się w jakiś sposób zmieniać, ale ich jest dużo więcej, są dużo bardziej złożone. Z mojego punktu widzenia musi być ta faza pilotażowa. My mamy doświadczenie z różnego rodzaju szczeblami projektów wykorzystujących AI, to znaczy mam na myśli od wdrożeń indywidualnych narzędzi, inaczej to wygląda w sytuacji wdrażania automatyzacji takich pogotowych rozwiązań, a czym innym jest na przykład oprogramowywanie projektu, który wykorzystuje model bazowy, ale tych zmiennych, które mogą wystąpić, czyli dane wejściowe, dane wyjściowe,
No i jest to taka rzecz, która jest najmniej w tym wszystkim przewidywalna, czyli mówiąc, kiedyś był taki żart polityczny, należy robić tak, żeby było dobrze, więc teraz jest kwestia tego właśnie, jak jest pewna ewaluacja tego funkcjonowania AI, pewna akceptacja pewnych wyników, pewnych odpowiedzi. Ja się spotykam z tym bardzo często, jeżeli ktoś pracuje właśnie z ofertami, z projektami AI-owymi, Mimo wszystko na samym końcu musimy osiągnąć jakiś wynik, należałoby prowadzić do tego projekt, żeby osiągać jakiś wynik, więc to jest coś, co jest w sumie dość deterministyczne. AI deterministyczne w swojej naturze nie jest, więc możemy porozmawiać o tym, czym jest pewien taki wynik takiej sztucznej inteligencji, jak budować te kryteria akceptacji, kto w ogóle powinien określać te kryteria akceptacji, one się pojawiają czasami w zapytaniach, w przetargach,
A czasami po prostu nie ma, może to zespół musi w jakiś sposób sugerować, ktoś jako ekspert, jako potencjalny wykonawca i tak dalej. Porozmawiajmy więcej o tym właściwie, czym jest taka pewna jakość odpowiedzi AI, skąd to wszystko pochodzi. W ogóle bardzo ciekawy to jest aspekt i tutaj dużą rolę no generalnie widać w edukowaniu też klienta takiego, który powiedzmy mamy tutaj przypadek takiego powiedzmy, że przychodzi klient i on chce jakieś jakieś rozwiązanie AI-owe, czyli taki przypadek trochę takiego software house powiedzmy, więc tutaj zdecydowanie rola edukowania klienta i ustalenia co to jest wystarczająco dobrze. Nie, no bo tak dobrze to już jest tak trochę mało precyzyjnie, więc tutaj musimy się skupić na tym, co to znaczy wystarczająco dobrze.
No i teraz tak, skąd to brać? No to w takim idealnym przypadku, no to klient nam coś tutaj może pomóc, może zasugerować, jakie on ma w ogóle oczekiwania w stosunku do tego narzędzia, które chciałby uzyskać. I to by była pierwsza rzecz, czyli taka wartość biznesowa. Później warto też spojrzeć na oczekiwania użytkownika, czyli co w zasadzie tutaj użytkownik faktycznie by chciał. Też na względy bezpieczeństwa i na względy prawne. No bo tutaj, jak dobrze wiesz, wchodzi AI Act fazami po fazami, ale wchodzi. I tutaj też wymusza pewne rzeczy pod kątem właśnie, że niektóre operacje na danych wrażliwych na przykład, to też inaczej powinniśmy nimi zarządzać w takim systemie AI.
No i gdzieś tam prawda trochę po pierwsze jest pośrodku, A po drugie, to też właśnie zależy od tego przypadku biznesowego, na co możemy sobie pozwolić w stosunku do naszego użytkownika. Funkcjonujemy w takim otoczeniu i w takich czasach, że powinniśmy wszystkie projekty AI również, a może zwłaszcza, zaczynać od jakiejś analizy ryzyka. Ja nie mam z tym zupełnie problemu, żeby zaczynać rzeczywiście od jakiejś takiej, no projekty powinny być realizowane wspólnie jako współpraca dwóch stron, więc tak, rozmawiamy z podmiotami, które są świadome i przechodzą ze swoimi jakimiś kryteriami akceptacyjnymi, jeśli chodzi na przykład o rozwiązania AI-owe. Jest to, nie wiem, są rozwiązania chatbotowe. Mamy swoje rozwiązania, jeśli chodzi o dobre chatboty i wdrażamy je i wiemy co taki chatbot może zrobić, a to problemy zdarzały się dużym firmom.
Twórca nomen omen narzędzia AI-owego, kod źródłowy, kod koda, który okazało się, że do wykrywania sentymentu wykorzystywał wyrażenie regularne. No dokładnie i to jest mądre, jakby to jest mądre, bo jeśli nie trzeba i jest to efektywne, no to w sumie dlaczego? No i właśnie odpowiadając na twoje pytanie, to generalnie część rzeczy możemy przetestować w taki klasyczny sposób, Czyli regexpem, czyli jakąś metodą statystyczną, odległością wektorów w bazie, więc takie rzeczy jak najbardziej możemy robić. No ale są też takie rzeczy, które trzeba typowo oceniać pod kątem znaczenia tej odpowiedzi.
I oczywiście to rozwiązanie też ma swoje wady. Wtedy mówimy o bajasach, czyli że na przykład LLM-y wolą, lepiej oceniają dłuższe odpowiedzi. To jest jeden z takich bardzo popularnych bajasów. Albo że pierwsza odpowiedź jest statystycznie częściej wybierana niż druga, jeśli na przykład LLM ma porównać jedną do drugiej, która jest lepsza. Więc no tutaj też w odpowiedni sposób manipulując tym strategią testową też oczywiście wykluczamy te bajasy. Więc zdecydowanie tutaj w ten sposób można ugryźć to kto w zasadzie powinien i jak w zasadzie powinniśmy to testować. A jeśli tak stricte technicznie chodzi o testowanie, czy tam właśnie ewaluację, no to podczas gdy mamy iwalsety, czyli tak jak wspomniałem, takie AI-owe przypadki testowe, gdzie tutaj ta różnica jest taka, że określamy, jaka odpowiedź jest wystarczająco dobra na pewnej skali,
Możemy na pewno powiedzieć, że samo wprowadzenie AI, samo wykorzystywanie AI powoduje, że te role się bardziej zacierają. I to już widzieliśmy wcześniej. To już widzieliśmy przed erą AI, że deweloperzy przychodzili bardziej w takie zespoły cross-funkcjonalne często, Testerzy już byli określeni jako Software Developer in Test, bo na przykład więcej pisali już automatycznych testów niż ręcznie testowali. AI tylko napędza to, ponieważ kod jest generowany szybciej, w sensie kod jest w ogóle generowany, może tak bym powiedział. Kod jest tworzony szybciej, bo jest generowany.
I z uwagi na to ciężar produkcji oprogramowania przerzuca się z pisania kodu na testowanie kodu, czyli taki przeciętny deweloper on dużo więcej testuje, bo dużo więcej generuje, że już sam tego nie pisze. I przez to on ma większą komponentę tego testowania w swoim zakresie obowiązków. Natomiast sam tester w tym przypadku też może więcej wejść w samo tworzenie jakichś skryptów, nawet jeśli wcześniej nie miał z tym nic do czynienia. Z uwagi na to, że AI też właśnie generuje kod, więc też ma więcej do czynienia z samym zarządzaniem kodem.
Więc to jeszcze bardziej, AI jeszcze bardziej zaciera. No i ja sam też powiedzmy to widzę, jak na przykład decyduję o tym, jaka funkcjonalność, przez kogo to powinno być przetestowane, to są takie obszary, które zarówno pasują do teamu cross-funkcjonalnego, jak i do typowych testerów. I to jest zawsze taka decyzja, że jakby tu nie ma dobrej decyzji, jakby i tu i tu pasuje, bo te powiedzmy te zbiory się rozszerzają odpowiedzialności. A jeśli do tego jeszcze dołożymy te funkcjonalności AI, no to już w ogóle to się zaciera, bo samo tworzenie funkcjonalności AI wymaga takiego bardzo dużego testowania od samego początku, ewaluacji od samego początku.
To bym powiedział, że przede wszystkim oswajać się z AI, jeśli ktoś jeszcze tego nie robi, czyli po prostu używać go na co dzień i podchodzić do tego krytycznie, podchodzić krytycznie do jakości. Czyli np. jeśli mamy nawet swoje rozwiązanie, to właśnie napisać jakiegoś takiego evil seta, sprawdzić albo nawet spróbować trochę złamać to nasze rozwiązanie, zobaczyć kiedy ono nie będzie działać. Albo nawet jeśli mamy jakiegoś firmowego czata swojego, no to może dla tego czata napisać jakiegoś tam iwalseta albo sprawdzić czy faktycznie nie da się jakoś tutaj w pewien sposób go oszukać, żeby podał jakieś informacje. Bardzo, bardzo tutaj do tego podchodzić tak krytycznie do tych rozwiązań AI, w sensie z taką krytyczną ciekawością, w jaki sposób to można zepsuć.
Pokazano pierwszych 25 dopasowań — doprecyzuj frazę, aby zawęzić wyniki. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do tematu testowania AI, prezentacja gościa i jego doświadczeń w tej dziedzinie.
Przykłady negatywnych konsekwencji AI, takich jak awarie i konsekwencje prawne.
Opis dwóch głównych domen testowania AI: wykorzystanie AI w pracy i ewaluacja rozwiązań AI.
Testowanie AI w kontekście biznesowym, w tym potrzeby testowania i ewaluacji AI.
Metody testowania AI, w tym testowanie pary prompt-odpowiedź i integracja systemów AI.
Zakłócenia i zmiany w testowaniu AI, w tym zmiany w danych i konsekwencje prawne.
Ewaluacja i jakość odpowiedzi AI, w tym kryteria akceptacji i standardy testowania.
Analiza ryzyka w testowaniu AI, w tym testowanie na podstawie analizy ryzyka i role człowieka w testowaniu.
Testowanie i ewaluacja LLM, w tym metody testowania i bajasy.
Zmiany w roli testerów w kontekście wprowadzenia AI, w tym testowanie funkcjonalności AI i ewaluacja.
Wskazania jak testerom przygotować się na nowe role związane z AI, takie jak analiza ryzyka i krytyczne myślenie.
Analiza zmian w roli testerów w obliczu AI, podkreślenie zacierania się granic między funkcjami.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?
Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.
Zapraszamy do śledzenia naszych social media:
https://www.linkedin.com/company/UniqSoft
https://www.instagram.com/UniqSoftTeam
https://www.facebook.com/UniqSoftPL
#ai #tester #programista #ewaluacja #technologia #uniqsoft
Źródła:
https://news.ycombinator.com/item?id=43683012
https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc
Czego dotyczy obszar testowania AI?
Czym się różni testowanie AI od tradycyjnych testów?
Czy testerzy korzystają z AI?
Testowanie projektów AI
Mierzenie jakości wyników AI
Jak mierzyć jakość odpowiedzi modelu
Jak będzie się zmieniać zawód testera?
Jedna rzecz, od której warto dzisiaj zacząć