Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔 Obejrzyj trzeci odcinek i dowiedz się: ✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne ✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu ✅ Jak skutecznie podejść do testowania rozwiązań AI Uczestnicy debaty: 🎙️ Mateusz Tadla, Senior Test Architect 🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer 🎙️ Krzysztof Bednarski, Solution Architect 🎙️ Tomasz Kuran, Solution Architect
Dzięki wielkie. Jeszcze jakbym tylko jedną rzecz mógł dodać, bo fajny wątek poruszyłeś, Remig, o tym modyfikowaniu danych. To jest też technika wykorzystywana bardzo często na tym etapie uczenia modelu, bo tak jak mówimy cały czas, tych danych musi być dużo po to, żeby model nauczyć, ale nie wszystkie te dane musimy Nie wszystkie dane muszą być jakby gdzieś pozyskane, część możemy pozyskanych danych już modyfikować, czyli właśnie wprowadzać obroty, zmieniać kontrast po to, żeby uodpornić model, to też o czym Remek wspominał, uodpornić na te przyszłe modyfikacje, na to, co go może spotkać już w świecie rzeczywistym.
Jeśli chodzi o funkcjonalne testowanie, no to tutaj jakby no spora część tego, co nawet właśnie powiedział Remig. Część tych rzeczy po prostu da się wprost zautomatyzować. No i przy modelach, jeśli chodzi o automatyzację, no to też jakby Jeśli chodzi o same techniki, uprościłbym to tak maksymalnie do takich dwóch obszarów. Pierwsze to by było, powiedzmy, klasyczne porównywanie ze wzorcem i druga to wykorzystywanie do skomplikowanych problemów modelu. Co trochę właśnie może brzmieć przewrotnie, że jakby używamy modelu do testowania modelu, o czym już Remig wspomniał. Czyli to nie tylko chodziłoby nawet o to, żeby porównać odpowiedzi danego modelu z jego następną wersją, ale wprost użyć modelu do tego, żeby ocenił odpowiedź tego modelu.
Pokazano wszystkie 2 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do odcinka i przedstawienie gościa Remka, Krzyska i Tomka.
Tomasz przedstawia się i opisuje swoją rola w SIi.
Rozmowa na temat testowania AI i różnicy między tradycyjnymi algorytmami a AI.
Krzysztof opisuje fazy tworzenia modelu AI i rolę testera w każdej z nich.
Rozmowa na temat wymaganych kompetencji testera w różnych etapach tworzenia modelu AI.
Rozkłada się na techniki testowania AI, takie jak adversarial attacks, adversarial testing, testowanie metamorficzne, testowanie A-B i testowanie zbiorów danych. Omawiane są różne podejścia do testowania modeli AI, w tym techniki specyficzne dla deep learningu.
Rozkłada się na automatyzację testowania AI, w tym testowanie zbiorów danych, testowanie funkcjonalne i niefunkcjonalne, testowanie metamorficzne i testowanie funkcji wywoływania. Omawiane są narzędzia do testowania AI, takie jak evals od OpenAI i platforma Gizcart.
Rozkłada się na funkcje wywoływania i struktowana wyjście, które są dodatkowymi funkcjami, które zwiększają bezpieczeństwo i efektywność modeli AI. Omawiane są zabezpieczenia modeli i zastosowania funkcji wywoływania.
Rozkłada się na identyfikację i zarządzanie outliers i bajasy w testowaniu AI. Omawiane są techniki takie jak Isolation Forest, które pomagają w identyfikacji outlierów, oraz problemy underfitting i overfitting w modelach predykcyjnych.
Rezydent podzielił się swoim zadowoleniem z prowadzonej debaty i zaproponował ponowne posłuchanie odcinka z notatnikiem. Podziękował słuchaczom i uczestnikom.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔
Obejrzyj trzeci odcinek i dowiedz się:
✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne
✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu
✅ Jak skutecznie podejść do testowania rozwiązań AI
Uczestnicy debaty:
🎙️ Mateusz Tadla, Senior Test Architect
🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer
🎙️ Krzysztof Bednarski, Solution Architect
🎙️ Tomasz Kuran, Solution Architect