Jak AI zmienia podejście do testów oprogramowania?
Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.Zapraszamy do śledzenia naszych social media:https://www.linkedin.com/company/UniqSofthttps://www.instagram.com/UniqSoftTeamhttps://www.facebook.com/UniqSoftPL#ai #tester #programista #ewaluacja #technologia #uniqsoftŹródła:https://news.ycombinator.com/item?id=43683012https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc0:00 Czego dotyczy obszar testowania AI?4:25 Czym się różni testowanie AI od tradycyjnych testów?6:43 Czy testerzy korzystają z AI?11:42 Testowanie projektów AI17:47 Mierzenie jakości wyników AI22:58 Jak mierzyć jakość odpowiedzi modelu30:46 Jak będzie się zmieniać zawód testera?34:59 Jedna rzecz, od której warto dzisiaj zacząć
No i funkcjonalność AI, która była dodatkowo wbudowana, poinformowała tych użytkowników, że jest to część polityki firmy, że po prostu licencja jest tylko i wyłącznie na jedno urządzenie. No i jak można się spodziewać, zapanował chaos na Reddicie, na Hacker News. Oczywiście tutaj też klasyczny przypadek tej zmienności AI, że nie wszystkim użytkownikom dała takie samo wyjaśnienie. I skończyło się generalnie to tym, że po pierwsze zamieszaniem, po drugie część osób, nie znamy tutaj dokładnych liczb, ale część osób odeszła od tego rozwiązania. Dodatkowo CEO firmy musiał się też publicznie z tego tłumaczyć, więc no i przede wszystkim przestaliśmy kojarzyć tą firmę jako firma, która, bo do tej pory moglibyśmy powiedzieć, że to są specjaliści od AI, a tutaj jednak taka no ryska na tym wizerunku została i to została moim zdaniem dotkliwie, więc tutaj każda firma, która poważnie myśli o swoich użytkownikach
No i do tych par prompt-odpowiedź możemy dodawać też inne komponenty systemu AI-owego. Czyli możemy testować Retrivala z Raga, możemy testować Skilla, możemy testować zachowanie z serwerem MCP, wywoływanie tooli określonych, poszczególne guardrailsy, czyli tutaj takich naszych strażników, którzy pilnują czy model zachowuje się tak jak byśmy chcieli. Więc mamy trochę tych takich komponentów w świecie AI-owym, których na takim niskopoziomowym poziomie, na niskim poziomie możemy przetestować. Więc to tak w ten sposób. No i później idziemy coraz to w górę i testujemy później integrację pomiędzy na przykład różnymi SAP agentami,
Do bazy ragowej i później mamy skalę np. oceniamy od 1 do 10 no i powiedzmy czy tam od 0% do 100% jeśli chodzi o te zdania. No i powiedzmy jeśli 90% znań ma pokrycie w teście w sensie pokrycie w naszych danych no to wtedy możemy stwierdzić że taki Ival Set przechodzi. Ok. Jakieś tutaj jeszcze możesz wymienić na przykład, bo tu mówisz o pewnym biasie. Pewnie są jeszcze jakieś parę takich, które można byłoby wymienić takich problemów, które potencjalnie ktoś może spotkać przy takim weryfikowaniu, testowaniu. Nie? Może się jakiś taki drift na przykład pojawić? Są jakieś jeszcze takie rzeczy, które byśmy może mogli uzupełnić? Jeśli chodzi o samego LLM-a, to wspomniałem o dwóch bajasach, czyli właśnie o kolejności i o długości.
Pokazano wszystkie 3 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do tematu testowania AI, prezentacja gościa i jego doświadczeń w tej dziedzinie.
Przykłady negatywnych konsekwencji AI, takich jak awarie i konsekwencje prawne.
Opis dwóch głównych domen testowania AI: wykorzystanie AI w pracy i ewaluacja rozwiązań AI.
Testowanie AI w kontekście biznesowym, w tym potrzeby testowania i ewaluacji AI.
Metody testowania AI, w tym testowanie pary prompt-odpowiedź i integracja systemów AI.
Zakłócenia i zmiany w testowaniu AI, w tym zmiany w danych i konsekwencje prawne.
Ewaluacja i jakość odpowiedzi AI, w tym kryteria akceptacji i standardy testowania.
Analiza ryzyka w testowaniu AI, w tym testowanie na podstawie analizy ryzyka i role człowieka w testowaniu.
Testowanie i ewaluacja LLM, w tym metody testowania i bajasy.
Zmiany w roli testerów w kontekście wprowadzenia AI, w tym testowanie funkcjonalności AI i ewaluacja.
Wskazania jak testerom przygotować się na nowe role związane z AI, takie jak analiza ryzyka i krytyczne myślenie.
Analiza zmian w roli testerów w obliczu AI, podkreślenie zacierania się granic między funkcjami.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Sztuczna inteligencja zmienia wiele obszarów projektów IT. Tworzenie kodu wspierane sztuczną inteligencją zmienia też role w zespołach devloperskich. Co oznacza być dzisiaj programistą, testerem czy QA?
Wojtek Żygas opowiada o tym, jak zmienia się rola testera. Jakie nowe metody testowania wymusza sztuczna inteligencja. Dzieli się tym jak można testować projekty AI. I wreszcie, że przede wszystkim warto testować projekty AI.
Zapraszamy do śledzenia naszych social media:
https://www.linkedin.com/company/UniqSoft
https://www.instagram.com/UniqSoftTeam
https://www.facebook.com/UniqSoftPL
#ai #tester #programista #ewaluacja #technologia #uniqsoft
Źródła:
https://news.ycombinator.com/item?id=43683012
https://dev.to/toji_openclaw_fd3ff67586a/claude-knows-when-youre-mad-and-uses-regex-not-ai-2klc
Czego dotyczy obszar testowania AI?
Czym się różni testowanie AI od tradycyjnych testów?
Czy testerzy korzystają z AI?
Testowanie projektów AI
Mierzenie jakości wyników AI
Jak mierzyć jakość odpowiedzi modelu
Jak będzie się zmieniać zawód testera?
Jedna rzecz, od której warto dzisiaj zacząć