Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk

Wprowadzenie do odcinka i przedstawienie gościa Remka, Krzyska i Tomka.

Tomasz przedstawia się i opisuje swoją rola w SIi.

Rozmowa na temat testowania AI i różnicy między tradycyjnymi algorytmami a AI.

Krzysztof opisuje fazy tworzenia modelu AI i rolę testera w każdej z nich.

Rozmowa na temat wymaganych kompetencji testera w różnych etapach tworzenia modelu AI.

Rozkłada się na techniki testowania AI, takie jak adversarial attacks, adversarial testing, testowanie metamorficzne, testowanie A-B i testowanie zbiorów danych. Omawiane są różne podejścia do testowania modeli AI, w tym techniki specyficzne dla deep learningu.

Rozkłada się na automatyzację testowania AI, w tym testowanie zbiorów danych, testowanie funkcjonalne i niefunkcjonalne, testowanie metamorficzne i testowanie funkcji wywoływania. Omawiane są narzędzia do testowania AI, takie jak evals od OpenAI i platforma Gizcart.

Rozkłada się na funkcje wywoływania i struktowana wyjście, które są dodatkowymi funkcjami, które zwiększają bezpieczeństwo i efektywność modeli AI. Omawiane są zabezpieczenia modeli i zastosowania funkcji wywoływania.

Rozkłada się na identyfikację i zarządzanie outliers i bajasy w testowaniu AI. Omawiane są techniki takie jak Isolation Forest, które pomagają w identyfikacji outlierów, oraz problemy underfitting i overfitting w modelach predykcyjnych.

Rezydent podzielił się swoim zadowoleniem z prowadzonej debaty i zaproponował ponowne posłuchanie odcinka z notatnikiem. Podziękował słuchaczom i uczestnikom.