Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔 Obejrzyj trzeci odcinek i dowiedz się: ✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne ✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu ✅ Jak skutecznie podejść do testowania rozwiązań AI Uczestnicy debaty: 🎙️ Mateusz Tadla, Senior Test Architect 🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer 🎙️ Krzysztof Bednarski, Solution Architect 🎙️ Tomasz Kuran, Solution Architect
Pamiętam taki Projekt zaliczeniowy ze studiów, gdzie musiałem zaimplementować klasyfikator bajesowski w oparciu o metodę bajesa, żeby zaklasyfikować pokerową rękę, czyli układ, jakby przyporządkować 5 kart do ich układów, No i ten algorytm jakby średnio sobie radził, to tak jakby mówiąc bardzo łagodnie, bo jakby przez to, że nie byliśmy zadowoleni z kolegą z jego skuteczności, no to postanowiliśmy jakby go challenge'ować i przez prostotę problemu, no my akurat byliśmy w stanie znaleźć taki algorytm, który to zadanie był w stanie rozwiązać. No ale to tutaj dalej mówimy właśnie jakby typowo o algorytmie, Nawet przy klasyfikatorze Bayesa, który ma jakieś określone kroki i jesteśmy w stanie je zidentyfikować, a nie mówimy o AI.
Pokazano wszystkie 1 dopasowanie. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do odcinka i przedstawienie gościa Remka, Krzyska i Tomka.
Tomasz przedstawia się i opisuje swoją rola w SIi.
Rozmowa na temat testowania AI i różnicy między tradycyjnymi algorytmami a AI.
Krzysztof opisuje fazy tworzenia modelu AI i rolę testera w każdej z nich.
Rozmowa na temat wymaganych kompetencji testera w różnych etapach tworzenia modelu AI.
Rozkłada się na techniki testowania AI, takie jak adversarial attacks, adversarial testing, testowanie metamorficzne, testowanie A-B i testowanie zbiorów danych. Omawiane są różne podejścia do testowania modeli AI, w tym techniki specyficzne dla deep learningu.
Rozkłada się na automatyzację testowania AI, w tym testowanie zbiorów danych, testowanie funkcjonalne i niefunkcjonalne, testowanie metamorficzne i testowanie funkcji wywoływania. Omawiane są narzędzia do testowania AI, takie jak evals od OpenAI i platforma Gizcart.
Rozkłada się na funkcje wywoływania i struktowana wyjście, które są dodatkowymi funkcjami, które zwiększają bezpieczeństwo i efektywność modeli AI. Omawiane są zabezpieczenia modeli i zastosowania funkcji wywoływania.
Rozkłada się na identyfikację i zarządzanie outliers i bajasy w testowaniu AI. Omawiane są techniki takie jak Isolation Forest, które pomagają w identyfikacji outlierów, oraz problemy underfitting i overfitting w modelach predykcyjnych.
Rezydent podzielił się swoim zadowoleniem z prowadzonej debaty i zaproponował ponowne posłuchanie odcinka z notatnikiem. Podziękował słuchaczom i uczestnikom.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔
Obejrzyj trzeci odcinek i dowiedz się:
✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne
✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu
✅ Jak skutecznie podejść do testowania rozwiązań AI
Uczestnicy debaty:
🎙️ Mateusz Tadla, Senior Test Architect
🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer
🎙️ Krzysztof Bednarski, Solution Architect
🎙️ Tomasz Kuran, Solution Architect