Odc. 3: Testowanie rozwiązań AI | #TestArchitectsTalk
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔 Obejrzyj trzeci odcinek i dowiedz się: ✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne ✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu ✅ Jak skutecznie podejść do testowania rozwiązań AI Uczestnicy debaty: 🎙️ Mateusz Tadla, Senior Test Architect 🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer 🎙️ Krzysztof Bednarski, Solution Architect 🎙️ Tomasz Kuran, Solution Architect
W sumie można powiedzieć, że w taką poniekąd pułapkę wpadł i to też jest rzecz, którą by warto było poruszyć, bo właśnie jakie mamy pułapki, jeżeli chodzi o automatyzację, takie testy manualne, jakby na co zwrócić uwagę, czy wszystko da się zautomatyzować, jak to według Was wygląda? To pozwolę sobie odpowiedzieć na to pytanie. Ja bym identyfikował takie dwa duże, dwa główne problemy, które też zauważyłem podczas chociażby samej nauki. I byłyby to outliers, czyli wszelkie dane odstępujące. To się dosyć niewdzięcznie tłumaczy na nasze. I bajasy, czyli wszelkie uprzedzenia. Bajasy sam z siebie kojarzę, bo w zasadzie mamy uprzedzenia poznawcze.
Ja sam jak prowadzę gdzieś tam zajęcia z teorii testerskiej, to często mówię o psychologii testowania, o bajasach wszelakich. Jakoś łatwiej było mi w to wejść głową. Ale tak, żeby wrócić i powiedzieć chwilę o tych outlierach. W zasadzie te dane odstające możemy zarówno identyfikować, żeby starać się, żeby nigdy nie wystąpiły, a wręcz w zasadzie ich z jednej strony identyfikujemy, a z drugiej strony staramy się, żeby one nam nie przeniknęły. Jakby jedną z kluczowych tutaj rzeczy, o których trzeba pamiętać jest to, żeby w zasadzie nie podpowiadać tak naprawdę nawet temu modelowi Które to będą te outlierowe wartości, nazwijmy to. Ale też nie byłbym sobą, gdybym nie wszedł w trochę zbyt duży, w zbyt dużą szczegółowość, bo mnie kusi tutaj, żeby powiedzieć, bo tak od strony testerskiej, bo okej, jakby opowiedziałem wam o pewnej koncepcji, ale teraz jak do tego podejść w ogóle?
Pokazano wszystkie 2 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Wprowadzenie do odcinka i przedstawienie gościa Remka, Krzyska i Tomka.
Tomasz przedstawia się i opisuje swoją rola w SIi.
Rozmowa na temat testowania AI i różnicy między tradycyjnymi algorytmami a AI.
Krzysztof opisuje fazy tworzenia modelu AI i rolę testera w każdej z nich.
Rozmowa na temat wymaganych kompetencji testera w różnych etapach tworzenia modelu AI.
Rozkłada się na techniki testowania AI, takie jak adversarial attacks, adversarial testing, testowanie metamorficzne, testowanie A-B i testowanie zbiorów danych. Omawiane są różne podejścia do testowania modeli AI, w tym techniki specyficzne dla deep learningu.
Rozkłada się na automatyzację testowania AI, w tym testowanie zbiorów danych, testowanie funkcjonalne i niefunkcjonalne, testowanie metamorficzne i testowanie funkcji wywoływania. Omawiane są narzędzia do testowania AI, takie jak evals od OpenAI i platforma Gizcart.
Rozkłada się na funkcje wywoływania i struktowana wyjście, które są dodatkowymi funkcjami, które zwiększają bezpieczeństwo i efektywność modeli AI. Omawiane są zabezpieczenia modeli i zastosowania funkcji wywoływania.
Rozkłada się na identyfikację i zarządzanie outliers i bajasy w testowaniu AI. Omawiane są techniki takie jak Isolation Forest, które pomagają w identyfikacji outlierów, oraz problemy underfitting i overfitting w modelach predykcyjnych.
Rezydent podzielił się swoim zadowoleniem z prowadzonej debaty i zaproponował ponowne posłuchanie odcinka z notatnikiem. Podziękował słuchaczom i uczestnikom.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
Z okazji międzynarodowego Dnia Testera zapraszamy na serię odcinków #TestArchitectsTalk, w której eksperci #SiiPolska odpowiadają na gorące pytania, dzielą się wiedzą i przedstawiają swoje prognozy na przyszłość 🤔
Obejrzyj trzeci odcinek i dowiedz się:
✅ Jaką rolę odgrywa tester w procesie wytwórczym #AI i jakie umiejętności są niezbędne
✅ Jak wyglądają różnice w wymaganiach w poszczególnych fazach projektu
✅ Jak skutecznie podejść do testowania rozwiązań AI
Uczestnicy debaty:
🎙️ Mateusz Tadla, Senior Test Architect
🎙️ Remigiusz Bednarczyk, Senior Test & Analysis Engineer
🎙️ Krzysztof Bednarski, Solution Architect
🎙️ Tomasz Kuran, Solution Architect