Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔 Obejrzyj trzeci odcinek i dowiedz się: ✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne ✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu ✅ Jak skutecznie podejść do testowania rozwiązań AI Uczestnicy debaty: 🎙️ Mateusz Tadla, Senior Test Architect 🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer 🎙️ Krzysztof Bednarski, Solution Architect 🎙️ Tomasz Kuran, Solution Architect
Witam wszystkich w części trzeciej naszego spotkania z okazji Dnia Testera. Bardzo ciekawy temat. Zaraz o nim powiem, ale zanim do tego przejdziemy, zobaczmy z kim będziemy o tym dyskutować. Znowu widzimy Remka, znowu widzimy Krzyśka. Mamy teraz też nową twarz Tomasza. Jakbyście mogli Panowie kilka słów o sobie powiedzieć dla osób, które może zaczęło od tego odcinka. Także kilka słów o sobie, a później przejdziemy do tematu. To może ja zacznę. Cześć, nazywam się Remek. Jestem CEO od 8 lat. Pełnię rolę test managera. Dodatkowo zajmuję się sprawdzeniami technicznymi, weryfikacjami oraz jednocześnie zarządzaniem. Jestem też akredytowanym trenerem ISTQB. Cześć, nazywam się Krzysztof Bednarski, w SIi niezmiennie od ponad 9 lat i pomiędzy pierwszym a trzecim odcinkiem nic się nie zmieniło, dalej jestem solution architectem i projektuję i implementuję rozwiązania z zakresu QA dla naszych klientów.
Cześć, z tej strony Tomek. Ja w SIi jestem od 11 lat, z małą przerwą. Również jestem solution architectem. Moim konikiem jest Java i testowanie jakości danych. Tak, to chyba takie rzeczy najważniejsze. Dzięki. Dzięki wielkie. Ja nadal Mateusz Tadla, nadal prowadzący naszą dyskusję i o czym porozmawiamy sobie w tym naszym ostatnim odcinku. Będzie to dyskusja na turbo ważny temat, bo nie za bardzo poczytamy jeszcze o tym gdzieś w odmętach internetu. Niewiele jeszcze osób o tym mówi, bo to jest testowanie AI, czyli coś, z czym tak naprawdę staramy się przetrzeć szlaki,
To, co zwróciło moją uwagę i co mi się spodobało, jakoś łatwiej mi było się zahaczyć w tym problemie, to jest użycie jednego z modeli do przetestowania naszego modelu. A ten model nazywa się Isolation Forest. Są to drzewa izolacji. Polega to na tym, że tak naprawdę dobieramy sobie, identyfikujemy pewne wartości, szukamy jej pary, więc budujemy już pierwsze takie gałązki naszego drzewa i idziemy w głąb w głowarz. Tam się buduje pewne takie drzewozależności i w tym momencie bardzo ewidentnie widać odstające, tak od strony bardzo technicznej, teraz to opowiedziałem, ale jakby jednoznacznie widać, które są outlierami. Myślę, że tutaj akurat Tomek by jakimś takim ciekawszym przykładem, mniej nerdowskim poleciał, żeby o tym opowiedzieć.
Pokazano wszystkie 3 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do odcinka i przedstawienie gościa Remka, Krzyska i Tomka.
Tomasz przedstawia się i opisuje swoją rola w SIi.
Rozmowa na temat testowania AI i różnicy między tradycyjnymi algorytmami a AI.
Krzysztof opisuje fazy tworzenia modelu AI i rolę testera w każdej z nich.
Rozmowa na temat wymaganych kompetencji testera w różnych etapach tworzenia modelu AI.
Rozkłada się na techniki testowania AI, takie jak adversarial attacks, adversarial testing, testowanie metamorficzne, testowanie A-B i testowanie zbiorów danych. Omawiane są różne podejścia do testowania modeli AI, w tym techniki specyficzne dla deep learningu.
Rozkłada się na automatyzację testowania AI, w tym testowanie zbiorów danych, testowanie funkcjonalne i niefunkcjonalne, testowanie metamorficzne i testowanie funkcji wywoływania. Omawiane są narzędzia do testowania AI, takie jak evals od OpenAI i platforma Gizcart.
Rozkłada się na funkcje wywoływania i struktowana wyjście, które są dodatkowymi funkcjami, które zwiększają bezpieczeństwo i efektywność modeli AI. Omawiane są zabezpieczenia modeli i zastosowania funkcji wywoływania.
Rozkłada się na identyfikację i zarządzanie outliers i bajasy w testowaniu AI. Omawiane są techniki takie jak Isolation Forest, które pomagają w identyfikacji outlierów, oraz problemy underfitting i overfitting w modelach predykcyjnych.
Rezydent podzielił się swoim zadowoleniem z prowadzonej debaty i zaproponował ponowne posłuchanie odcinka z notatnikiem. Podziękował słuchaczom i uczestnikom.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔
Obejrzyj trzeci odcinek i dowiedz się:
✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne
✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu
✅ Jak skutecznie podejść do testowania rozwiązań AI
Uczestnicy debaty:
🎙️ Mateusz Tadla, Senior Test Architect
🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer
🎙️ Krzysztof Bednarski, Solution Architect
🎙️ Tomasz Kuran, Solution Architect