Jak AI zmienia podejście do testów oprogramowania?
Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.Zapraszamy do śledzenia naszych social media:https://www.linkedin.com/company/UniqSofthttps://www.instagram.com/UniqSoftTeamhttps://www.facebook.com/UniqSoftPL#ai #tester #programista #ewaluacja #technologia #uniqsoftŹródła:https://news.ycombinator.com/item?id=43683012https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc0:00 Czego dotyczy obszar testowania AI?4:25 Czym się różni testowanie AI od tradycyjnych testów?6:43 Czy testerzy korzystają z AI?11:42 Testowanie projektów AI17:47 Mierzenie jakości wyników AI22:58 Jak mierzyć jakość odpowiedzi modelu30:46 Jak będzie się zmieniać zawód testera?34:59 Jedna rzecz, od której warto dzisiaj zacząć
Zapraszam serdecznie do odcinka. A moim gościem jest Wojtek Żygas. Cześć. Cześć. Powiedz czym się zajmujesz. Jesteś długo związany ze światem testowania szeroko pojętego i powiedz o czym będziemy dzisiaj rozmawiać. No to tak z testowaniem to w zasadzie jestem związany już od samego początku swojej kariery w IT. No i obecnie pełnię funkcję test architekta czyli decyduję co testować a czego nie testować oraz kto to powinien zrobić. No i właśnie jakiś czas temu zacząłem bardzo mocno interesować się testowaniem, w zasadzie ewaluacją funkcjonalności AI, dlatego że w mojej opinii cały czas stosunkowo mało mówi się o tym temacie, a jest on poniekąd bardzo, bardzo ważny.
Powinna jednak kłaść nacisk na to, żeby w jakiś sposób dowozić to testowanie, żeby ono było istotne, w sensie to testowanie, ewaluacja AI. Okej, czyli wiemy, że ma to duże znaczenie, bo może mieć duże konsekwencje. Myślę, że tu się pojawiały rzeczy takie, które są w ogóle związane z wykorzystywaniem AI, czy powiedzmy z wykorzystywaniem nawet w szerokim ujęciu technologii jako możliwych konsekwencji, mówisz tutaj o konsekwencjach prawnych. Wiemy w takim wypadku, że się to różni, to jeżeli przejdziemy sobie do samego testowania, to w jaki sposób się samo testowanie, czy wykorzystanie AI tutaj różni od tego tradycyjnego podejścia, tradycyjnego modelu?
I dlatego tutaj trochę będziemy pewnie przeplatać takie słowo, że testowanie ze słowem ewaluacja. Bo częściej mówi się właśnie w kontekście AI o funkcjonalności AI, sprawdzaniu ich Jakości o ewaluacji, dlatego, że my tutaj w pewien sposób oceniamy, czy dana odpowiedź jest dobra, czy jest zła. Na jakimś przedziale wartości wybieramy, czy myśmy mogli powiedzieć, czy ona jest wystarczająco dobra, żeby powiedzmy ten test case, czy właśnie eval set w tej nomenklaturze AI powiedzieć, że on spasował. Generalnie widzę, że będzie się pojawiał determinizm. To jest chyba słowo, które będzie odmienione w jakiś sposób, bo to zmienia w jakiś sposób podejście.
Przepraszam, jakieś głupio kliki i tak dalej podobno odchodzą. No nie no, od tego odchodzimy. W sensie był taki moment, że tutaj to AI się zrobiło, korzystanie AI się zrobiło taką byśmy powiedzieli gamifikacją, grywalizacją, że po prostu kto więcej zużyje tokenów. No ale już teraz od tego odchodzimy. Jak przyszły rachunki, wszyscy zaczęli liczyć pieniądze. No to wtedy już idzie w drugą stronę, żeby mieć nad tym jakąś kontrolę. Może nie żeby hamować, w żaden sposób nie, ale żeby mieć nad tym jakąś kontrolę. No i właśnie wracając do tego ogólnego pytania, czy tutaj właśnie ten kontakt jest, no to ten właśnie kontakt w tej pierwszej domenie, To jest na pewno i on jest bardzo duży i właśnie inżynierowie wykorzystują AI, a znowu drugim aspektem jest sama ewaluacja tych rozwiązań AI, czyli to jest sytuacja, kiedy dana firma decyduje o tym, że w swoim produkcie zawrze funkcjonalność AI.
Czyli, że to właśnie użytkownik danego produktu w jakiś sposób będzie miał styczność z czymś, co wykorzystuje pod spodem jakiś model LLM. Wydaje mi się, że większość nie miała tutaj styczności z tym. Z uwagi na to, że nie wszystkie firmy teraz to wdrażają. W sensie nie wszystkie firmy jeszcze wdrażają rozwiązania AI. Albo na przykład w firmie jest dedykowany zespół, który się tym zajmuje, a pozostałe zespoły jeszcze o tym nie słyszały. Więc to jest zupełnie drugi temat. No i też ludzie raczej nie myślą o tej ewaluacji, dlatego że jeśli tworzą rozwiązania tylko i wyłącznie dla siebie,
I wtedy np. automatyzują część swojej codziennej pracy. I takie rozwiązanie, jeśli coś tam nie działa, to dużo szybciej jest po prostu to od razu zmienić, naprawić, to z reguły się dzieje szybko i wtedy w zasadzie nie ma tej, w sensie wtedy człowiek nie myśli o tym testowaniu. I dopiero wtedy zaczyna być, tak jakby wychodzić ta potrzeba testowania tej ewaluacji, jeśli nasze rozwiązanie na przykład jest używane przez większą ilość osób, to wtedy naturalnie widzimy potrzebę testowania ewaluacji. Albo gdy nasz jakiś agent, którego stworzyliśmy, on ma w sobie jakąś funkcjonalność, która może zrobić coś, czego konsekwencje będą bardzo nieszczęśliwe, powiedzmy, dla nas.
Które są orkiestrowane przez jednego dużego agenta, takiego który po prostu rozdziela te wszystkie taski. No i na samym końcu testy takie typowo już z punktu widzenia użytkownika końcowego. I co jest bardzo ciekawe w takim, w ewaluacji i testowaniu AI, że kwestia bezpieczeństwa ona nie kończy się, znaczy bezpieczeństwa przepraszam, kwestia testowania i jakości nie kończy się na dostarczeniu produktu do klienta. Z uwagi na to, że kolejną różnicą pomiędzy klasycznym testowaniem a ewaluacją AI jest to, że nasz produkt może działać tak samo dobrze jak działał, a nagle może się w cudzysłowie wysypać u klienta.
No i jest to taka rzecz, która jest najmniej w tym wszystkim przewidywalna, czyli mówiąc, kiedyś był taki żart polityczny, należy robić tak, żeby było dobrze, więc teraz jest kwestia tego właśnie, jak jest pewna ewaluacja tego funkcjonowania AI, pewna akceptacja pewnych wyników, pewnych odpowiedzi. Ja się spotykam z tym bardzo często, jeżeli ktoś pracuje właśnie z ofertami, z projektami AI-owymi, Mimo wszystko na samym końcu musimy osiągnąć jakiś wynik, należałoby prowadzić do tego projekt, żeby osiągać jakiś wynik, więc to jest coś, co jest w sumie dość deterministyczne. AI deterministyczne w swojej naturze nie jest, więc możemy porozmawiać o tym, czym jest pewien taki wynik takiej sztucznej inteligencji, jak budować te kryteria akceptacji, kto w ogóle powinien określać te kryteria akceptacji, one się pojawiają czasami w zapytaniach, w przetargach,
I oczywiście to rozwiązanie też ma swoje wady. Wtedy mówimy o bajasach, czyli że na przykład LLM-y wolą, lepiej oceniają dłuższe odpowiedzi. To jest jeden z takich bardzo popularnych bajasów. Albo że pierwsza odpowiedź jest statystycznie częściej wybierana niż druga, jeśli na przykład LLM ma porównać jedną do drugiej, która jest lepsza. Więc no tutaj też w odpowiedni sposób manipulując tym strategią testową też oczywiście wykluczamy te bajasy. Więc zdecydowanie tutaj w ten sposób można ugryźć to kto w zasadzie powinien i jak w zasadzie powinniśmy to testować. A jeśli tak stricte technicznie chodzi o testowanie, czy tam właśnie ewaluację, no to podczas gdy mamy iwalsety, czyli tak jak wspomniałem, takie AI-owe przypadki testowe, gdzie tutaj ta różnica jest taka, że określamy, jaka odpowiedź jest wystarczająco dobra na pewnej skali,
Więc to jeszcze bardziej, AI jeszcze bardziej zaciera. No i ja sam też powiedzmy to widzę, jak na przykład decyduję o tym, jaka funkcjonalność, przez kogo to powinno być przetestowane, to są takie obszary, które zarówno pasują do teamu cross-funkcjonalnego, jak i do typowych testerów. I to jest zawsze taka decyzja, że jakby tu nie ma dobrej decyzji, jakby i tu i tu pasuje, bo te powiedzmy te zbiory się rozszerzają odpowiedzialności. A jeśli do tego jeszcze dołożymy te funkcjonalności AI, no to już w ogóle to się zaciera, bo samo tworzenie funkcjonalności AI wymaga takiego bardzo dużego testowania od samego początku, ewaluacji od samego początku.
Pewne funkcje i ta zmiana idzie w tą stronę, że tak jak mi zawsze zależało na tym, żeby deweloperzy byli trochę bezpiecznikami i byli w stanie dbać o projekt, to teraz jeszcze miesza się to z testerem, no bo, a nawet z wymaganiami klienckimi i tak dalej, że role te zaczynają się mieszać nawet z funkcjami klienta i tak dalej, czyli miesza się gdzieś ta kwestia rzeczy deweloperskich, testowania tych projektów, Evaluacji tego w jaki sposób one funkcjonują, weryfikacji z kryteriami akceptacyjnymi klienta i tak dalej. To jest chyba ta zmiana, którą dzisiaj możemy powiedzieć, że najmocniej. Dokładnie tak. Super. Dziękuję Ci bardzo za rozmowę. Dziękuję również. Super było to zderzyć z takiej trochę innej perspektywy.
Pokazano wszystkie 11 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do tematu testowania AI, prezentacja gościa i jego doświadczeń w tej dziedzinie.
Przykłady negatywnych konsekwencji AI, takich jak awarie i konsekwencje prawne.
Opis dwóch głównych domen testowania AI: wykorzystanie AI w pracy i ewaluacja rozwiązań AI.
Testowanie AI w kontekście biznesowym, w tym potrzeby testowania i ewaluacji AI.
Metody testowania AI, w tym testowanie pary prompt-odpowiedź i integracja systemów AI.
Zakłócenia i zmiany w testowaniu AI, w tym zmiany w danych i konsekwencje prawne.
Ewaluacja i jakość odpowiedzi AI, w tym kryteria akceptacji i standardy testowania.
Analiza ryzyka w testowaniu AI, w tym testowanie na podstawie analizy ryzyka i role człowieka w testowaniu.
Testowanie i ewaluacja LLM, w tym metody testowania i bajasy.
Zmiany w roli testerów w kontekście wprowadzenia AI, w tym testowanie funkcjonalności AI i ewaluacja.
Wskazania jak testerom przygotować się na nowe role związane z AI, takie jak analiza ryzyka i krytyczne myślenie.
Analiza zmian w roli testerów w obliczu AI, podkreślenie zacierania się granic między funkcjami.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?
Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.
Zapraszamy do śledzenia naszych social media:
https://www.linkedin.com/company/UniqSoft
https://www.instagram.com/UniqSoftTeam
https://www.facebook.com/UniqSoftPL
#ai #tester #programista #ewaluacja #technologia #uniqsoft
Źródła:
https://news.ycombinator.com/item?id=43683012
https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc
Czego dotyczy obszar testowania AI?
Czym się różni testowanie AI od tradycyjnych testów?
Czy testerzy korzystają z AI?
Testowanie projektów AI
Mierzenie jakości wyników AI
Jak mierzyć jakość odpowiedzi modelu
Jak będzie się zmieniać zawód testera?
Jedna rzecz, od której warto dzisiaj zacząć