Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔 Obejrzyj trzeci odcinek i dowiedz się: ✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne ✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu ✅ Jak skutecznie podejść do testowania rozwiązań AI Uczestnicy debaty: 🎙️ Mateusz Tadla, Senior Test Architect 🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer 🎙️ Krzysztof Bednarski, Solution Architect 🎙️ Tomasz Kuran, Solution Architect
Witam wszystkich w części trzeciej naszego spotkania z okazji Dnia Testera. Bardzo ciekawy temat. Zaraz o nim powiem, ale zanim do tego przejdziemy, zobaczmy z kim będziemy o tym dyskutować. Znowu widzimy Remka, znowu widzimy Krzyśka. Mamy teraz też nową twarz Tomasza. Jakbyście mogli Panowie kilka słów o sobie powiedzieć dla osób, które może zaczęło od tego odcinka. Także kilka słów o sobie, a później przejdziemy do tematu. To może ja zacznę. Cześć, nazywam się Remek. Jestem CEO od 8 lat. Pełnię rolę test managera. Dodatkowo zajmuję się sprawdzeniami technicznymi, weryfikacjami oraz jednocześnie zarządzaniem. Jestem też akredytowanym trenerem ISTQB. Cześć, nazywam się Krzysztof Bednarski, w SIi niezmiennie od ponad 9 lat i pomiędzy pierwszym a trzecim odcinkiem nic się nie zmieniło, dalej jestem solution architectem i projektuję i implementuję rozwiązania z zakresu QA dla naszych klientów.
Dzięki wielkie. Jeszcze jakbym tylko jedną rzecz mógł dodać, bo fajny wątek poruszyłeś, Remig, o tym modyfikowaniu danych. To jest też technika wykorzystywana bardzo często na tym etapie uczenia modelu, bo tak jak mówimy cały czas, tych danych musi być dużo po to, żeby model nauczyć, ale nie wszystkie te dane musimy Nie wszystkie dane muszą być jakby gdzieś pozyskane, część możemy pozyskanych danych już modyfikować, czyli właśnie wprowadzać obroty, zmieniać kontrast po to, żeby uodpornić model, to też o czym Remek wspominał, uodpornić na te przyszłe modyfikacje, na to, co go może spotkać już w świecie rzeczywistym.
Pokazano wszystkie 2 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do odcinka i przedstawienie gościa Remka, Krzyska i Tomka.
Tomasz przedstawia się i opisuje swoją rola w SIi.
Rozmowa na temat testowania AI i różnicy między tradycyjnymi algorytmami a AI.
Krzysztof opisuje fazy tworzenia modelu AI i rolę testera w każdej z nich.
Rozmowa na temat wymaganych kompetencji testera w różnych etapach tworzenia modelu AI.
Rozkłada się na techniki testowania AI, takie jak adversarial attacks, adversarial testing, testowanie metamorficzne, testowanie A-B i testowanie zbiorów danych. Omawiane są różne podejścia do testowania modeli AI, w tym techniki specyficzne dla deep learningu.
Rozkłada się na automatyzację testowania AI, w tym testowanie zbiorów danych, testowanie funkcjonalne i niefunkcjonalne, testowanie metamorficzne i testowanie funkcji wywoływania. Omawiane są narzędzia do testowania AI, takie jak evals od OpenAI i platforma Gizcart.
Rozkłada się na funkcje wywoływania i struktowana wyjście, które są dodatkowymi funkcjami, które zwiększają bezpieczeństwo i efektywność modeli AI. Omawiane są zabezpieczenia modeli i zastosowania funkcji wywoływania.
Rozkłada się na identyfikację i zarządzanie outliers i bajasy w testowaniu AI. Omawiane są techniki takie jak Isolation Forest, które pomagają w identyfikacji outlierów, oraz problemy underfitting i overfitting w modelach predykcyjnych.
Rezydent podzielił się swoim zadowoleniem z prowadzonej debaty i zaproponował ponowne posłuchanie odcinka z notatnikiem. Podziękował słuchaczom i uczestnikom.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔
Obejrzyj trzeci odcinek i dowiedz się:
✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne
✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu
✅ Jak skutecznie podejść do testowania rozwiązań AI
Uczestnicy debaty:
🎙️ Mateusz Tadla, Senior Test Architect
🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer
🎙️ Krzysztof Bednarski, Solution Architect
🎙️ Tomasz Kuran, Solution Architect