Jak budować produkty AI: Evals i rola PM-a w erze LLM
W tym odcinku rozkładamy na czynniki pierwsze temat evals. Dzielimy się naszymi pierwszymi doświadczeniami z ich wdrażania i rozmawiamy o tym:czym są evals i skąd bierze się ich rosnąca rola w produktach opartych o AIczy evals faktycznie mierzą jakość, czy tylko to, co łatwo zmierzyćkto powinien być odpowiedzialny za evals - PM, QA, engineering, czy może zupełnie nowa rolajakie są praktyczne metody i sposoby wdrażania evalsjak evals zmieniają rolę Product Managera i wpływają na strukturę organizacji--👉 Dodatkowe notatki i materiały o AI Evals z tego podcastu👉 Nowe odcinki podcasty, razem z dodatkowymi materiałami, wysyłamy też w newsletterze Product Craft
Tomek opisuje pojęcie evals i swoje doświadczenia z ich zastosowaniem w produkcie AI.
Wprowadzenie gości: Kuba z Mixmaxa i Marcin z Silenisa. Rozmowa na temat AI evals.
Tomek definiuje evals i opisuje ich zastosowanie w produkcie AI, porównując modeli ML z LLM-ami.
Marcin wyjaśnia, jak evals są stosowane do oceny wygenerowanych tekstów przez model AI.
Tomek opisuje kategorię evals w kontekście kategoryzacji danych.
Tomek omawia metodykę tworzenia i optymalizacji evals w swoim produkcie.
Diskussja na temat jakości evals i metodyki ich tworzenia.
Marcin omawia rolę zespołu QA w procesie tworzenia evals i oceny jakości AI.
Rozmowa na temat automatyzacji procesu tworzenia i wykorzystywania evals w produkcie AI.
Tomek opisuje narzędzia używane do tworzenia evals i procesu ich automatyzacji.
Diskussja na temat roli QA w produkcie AI i ocenie jakości outputu.
Rozmowa na końcowej części o zastosowaniu evals w różnych scenariuszach i przyszłości tej techniki.
Rozmowa o roli Evals w produkcie AI i zmianie modeli. Autorzy omawiają potrzebę optymalizacji kosztów i decyzji dotyczących wyboru modeli.
Porównanie Evals z tradycyjnymi scenariuszami testowymi i rola analityki w ewaluacji produktu AI.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
W tym odcinku rozkładamy na czynniki pierwsze temat evals. Dzielimy się naszymi pierwszymi doświadczeniami z ich wdrażania i rozmawiamy o tym:
czym są evals i skąd bierze się ich rosnąca rola w produktach opartych o AIczy evals faktycznie mierzą jakość, czy tylko to, co łatwo zmierzyćkto powinien być odpowiedzialny za evals - PM, QA, engineering, czy może zupełnie nowa rolajakie są praktyczne metody i sposoby wdrażania evalsjak evals zmieniają rolę Product Managera i wpływają na strukturę organizacji--
👉 Dodatkowe notatki i materiały o AI Evals z tego podcastu
👉 Nowe odcinki podcasty, razem z dodatkowymi materiałami, wysyłamy też w newsletterze Product Craft