O co chodzi z tymi agentami AI? #AI_devs #LIVE

Jakub Mrugalski. Cześć. Ja nazywam się Mateusz Chrobok i dzisiaj będziemy rozmawiali o agentach. Będziemy rozmawiali sobie na temat tego, co te agenty, ci agenci, bo to też jest małe śmieszkowanie, potrafią. Zostańcie z nami. Już za chwilę będziemy zaczynać. AI Devs. It's in the game. Mamy nadzieję, że nas słychać, że wszystko działa poprawnie. W razie czego piszcie do nas na czacie. Jesteśmy wszyscy na bieżąco, to znaczy będziemy czytać, zerkać na wasze pytania, będziemy na nie odpowiadać. I dzisiaj, żeby zacząć od samego mięsa i opowiedzieć o tym, co będzie się działo, będziemy pokazywać wam demo tego, jak agent napisany przez Adama będzie przechodził grę.

I to nie będzie takie demo, które, że tak powiem, będzie magią i mgłą i innymi takimi rzeczami, bo w ramach tego dema ci, którzy są zapisani na stronie AI Devs dostaną dostęp do kodu źródłowego, który rozwiązuje problem, o którym tam mówimy. Słowo wstępu. Tak, słowo wstępu jest takie, że tak jak wspomniał Mateusz, przygotowałem 10-minutowe nagranie, które pokaże to, w jaki sposób agent jest w stanie ukończyć grę, którą wcześniej przygotował Kuba, którą mieliście okazję grać przy okazji poprzedniej edycji AI Deaths i którą na 4,5 tysiąca osób ukończyło 79 do momentu wysłania przez Kubę raportu. Zatem gra była dość trudna, no i okazuje się, że duże modele językowe rozwinęły się na tyle, że dzisiaj jesteśmy w stanie stworzyć system, który na polecenie przejść grę i daje mi hasło, po prostu to hasło zwraca.

...przed sobą Risky AI Game, czyli grę, którą przygotował Jakub na potrzeby AI Devs 2 po to, aby pokazać, że bezpieczeństwo aplikacji, w których opracowaliśmy, obecne są duże modele językowe, to coś więcej niż prompt injection. Celem tej gry było wykorzystanie zarówno programistycznych technik, jak i technik projektowania promptów po to, aby nasz system zwrócił bardzo wrażliwe hasło. To zadanie okazało się na tyle trudne, że według podsumowania na 4500 osób, które brały udział w tej grze, tylko 79 rozwiązało całą zagadkę. Oznacza to, że wyzwanie nie było oczywiste. Pomyślałem więc, że w celu pokazania koncepcji agentów AI zbuduję rozwiązanie, które będzie w stanie ukończyć tą grę samodzielnie.

Jeżeli chodzi o naszego agenta, to myślę, że jego główne koncepcje mamy za sobą, a ja oczywiście oddaję do dyspozycji kod źródłowy tego projektu wraz z instrukcją jego uruchomienia i także zaznaczę, że wszystkie elementy, które tutaj mamy, będziemy szczegółowo omawiać w trzeciej edycji AI Devs. Sam kod dostaniecie jutro na maila i będziecie w stanie zobaczyć sobie też w wyższej jakości to nagranie, bo parę osób, które oglądało pewnie ten stream w niższej jakości, nie było w stanie zauważyć. Zanim przejdziemy do pytań i potwierdzimy, że nie jesteśmy botami i że to też nie jest nagrane, czym w ogóle są te agenty, ci agenci? Odpowiedzmy na to pytanie z tytułu naszego nagrania.

Więc to jest po prostu metoda przydzielania odpowiedniego modelu do zadania, które w danej chwili agent wykonuje. Więc to nie jest takie oczywiste. Jednocześnie jeszcze kilka miesięcy temu, jak chociażby realizowaliśmy AI Devs 2, ja tam mówiłem, że na agentów jest jeszcze za wcześnie, bo wówczas np. GPT-4 właśnie nie był w stanie utrzymać swojej uwagi na tyle, żeby być w stanie podążać za poleceniami, które w tym przypadku są dość złożone i co gorsza, są dynamiczne, czyli tam mamy sekcje, które pojawiają się i nie są wpisywane przez nas, tylko generowane przez model. Więc jakość tych wypowiedzi musi być odpowiednio wysoka, żeby właśnie ta seria akcji, która musi być na tyle skuteczna, żeby dojść do samego końca,

I oczywiście to nie jest tak, że jesteśmy w stanie powiedzieć, dobra, to teraz mam tutaj listę zmian i je wprowadź, tylko bardziej, w sensie, jesteśmy w stanie sobie to przeklikać i zobaczyć, do jakiego momentu taki agent sobie radzi z zadaniami, a do którego momentu nie. No i to się pokryje po prostu z tym, co mówimy teraz. Jest to projekt w ogóle, dodam tylko, że to jest projekt, o którym mówiliśmy w AI Devs 2, natomiast on był wtedy jeszcze na super wczesnym etapie rozwoju, a teraz jest na tak dobrym etapie, że osoby, z którymi mam kontakt, nierzadko doświadczeni programiści, programistki, korzystają, w sensie pracują z niego, pracują z tym projektem podobnie jak z Copilotem czy Cursorem na przykład.

Ja mam dobrą wiadomość, bo dowiedzieliśmy się dzisiaj, że na następną edycję AI Devsów zapisało się już tysiąc osób, więc bardzo dziękujemy wszystkim, którzy już do nas dołączyli. Będziemy się widzieć w AI Devs 3, dla których głównym tematem będą właśnie agenci, agenty, o których rozmawiamy. Bardzo się cieszymy, że już nam zaufaliście, że jesteście z nami. Ja biorę kolejne pytanie, bo pojawiają się też pytania o to, co będzie się pojawiało, natomiast mnie bardzo zainteresowano, jaki jest koszt wykonania zadania przez agenta, no bo działamy w pętli, palimy te tokeny, te tokeny za każdym razem tam idę, ile cię to kosztowało? To jest, jak liczyłem zadanie, to konkretnie, które było na nagraniu, to było około 40 tysięcy tokenów na wejściu i chyba 700, nie powiem Wam teraz, już wyleciały mi te liczby, ale to była dość duża liczba na wejściu, a dość mała na wyjściu i te wyjściowe tokeny są droższe.

No i okazuje się, że jeżeli korzystamy sobie na przykład z Assistant API, którego celowo nie omawialiśmy w AI Devs 2, no to gdybyśmy korzystali, to byśmy byli uzależnieni od OpenAI. W tym momencie przyłączamy modele, ok, API się trochę różni, ale nie ma. Dokładnie. I to samo jest z frameworkami, więc będziemy się im przyglądać. To samo jest z modelami OpenSource, to jest oddzielny temat. Jest parę pytań. Tak, trzeba dopasować się do miejsca, w którym jesteśmy. Więc narzędzia no-code, sorry, ale w tym momencie już pozostają w tyle. Być może powstanie jakieś narzędzie, które będzie w stanie lepiej dopasować się do tej nowej rzeczywistości i może za chwilę to nie będzie aktualne. Jeżeli chodzi o frameworki, ja polecam się im przyglądać i sobie z nimi pracować, bo pozwalają np. zrobić prototyp agenta bardzo szybko.

A jeżeli chodzi o pisanie własnego kodu, to nawet jeżeli to byłby w połowie wygenerowany kod, to działa mi po prostu najlepiej. Padają bardzo poważne pytania pod tytułem Stanisław, czy będą koszulki za zapisanie się na kurs? Paweł Manowiecki śmieszkuje już tutaj, że kiedy otwieramy sklep, gdzie będzie mersz koszulki, bluzy, czapki i inne takie rzeczy i mamy w sumie taką wesołą wiadomość, ci, którzy są już naszymi absolwentami z poprzednich edycji, dostali wiadomość o tym, że dostali swoje reflinki, więc jeżeli tylko macie taką ochotę i chcecie dostać takiego multitoola z grawerem AI Devs, to zapraszamy, żebyście zaprosili do szkolenia inne osoby, które też dołączą. Jeżeli ktokolwiek dołączy z waszego reflinka, to dostaniecie takiego multitoola.

Będziemy o tym informować, ale w każdym razie, zanim się zacznie właściwe szkolenie, już dostaniecie paczkę materiałów, która umożliwi Wam uzupełnienie wiedzy, pobawienie się trochę naszym API do sprawdzania zadań i to wszystko dostajecie na maila, możecie się przygotować i wtedy razem ze wszystkimi będzie taki równy start, czyli ludzie, którzy skończyli dwójkę, będą zaczynać w tym samym miejscu, co ludzie, którzy pierwszy raz mają znaną mistyczność. Po to jest właśnie tydzień zerowy. No i ja jeszcze dodam, że ten Tydzień Zero jest dobrą okazją do tego, żeby w ogóle sobie odpowiedzieć na pytanie, czy dam radę. Bo jeżeli przejdziecie przez Tydzień Zero, to przejdziecie sobie przez kolejne tygodnie. No i teraz, czy to będzie wiedza z AI Devs 2? Jak spojrzycie sobie na agendę, to trochę tak. Jak spojrzycie sobie na treści, to trochę nie.

Bo to jest tak, że już nawet od AI Dev C1, czy w ogóle od premiery ChatGPT, same modele u swoich podstaw nie zmieniły się zbyt bardzo, zbyt dużo. Czyli mamy jakieś modyfikacje na poziomie architektury, która swoją drogą na temat której wiemy coraz mniej, bo firmy się zamykają pod tym kątem, ale też pojawiły się nowe techniki, pojawiły się nowe narzędzia, nowe techniki projektowania promptów, czy w ogóle nowe możliwości. Czyli na przykład inaczej projektowaliśmy prompy pod GPT-3,5 Turbo, a inaczej projektujemy prompy pod GPT-4O czy SONET-3,5. Chodzi o to, że te modele zyskały np. wspomnianą lepszą możliwość utrzymywania uwagi.

Natomiast to się zmienia i my się przygotowujemy po prostu do tego momentu, a jednocześnie możemy czerpać korzyści już teraz. To jest też tak, że świat się zmienił od czasu, kiedy było AI Devs 1, AI Devs 2 i chcemy wam pokazać to, co jest najbardziej aktualne. Widzimy, że część z was zadaje takie pytanie jak na przykład Michał, czyli hej, jak nie brałem udziału w jedynce i dwójce, to będę miał zaległości. W jeden tydzień to nie ma szans, żeby to nadrobić. Ten jeden tydzień nie będzie trwał tydzień, tylko będziecie mieli do tego dostęp wcześniej, będziecie mogli przez to przejść. To też nie jest tak, że... To jest pięć dni materiałów, ale przerabiacie to w swoim tempie i spokojnie możecie siedzieć nad tym na przykład jeden miesiąc. I tutaj warto nawiązać do tego, co powiedział jeszcze Adam, bo Adam powiedział, ten tydzień zerowy powie Wam, czy to jest dla Was, czy to nie jest dla Was.

Natomiast nie jest to z góry zdefiniowane. I teraz co to oznacza w praktyce, w kontekście tego początkowego tygodnia? Oznacza to, że w początkowym tygodniu musimy zrozumieć, tak jakby wypoziomować się pod kątem tego, co jest obecnie możliwe i jakie są techniki pracy z modelami. I to są te absolutne podstawy. Natomiast w docelowej wersji, w tej głównej wersji lekcji, tam pojawią się już wątki np. posługiwania się narzędziami. I teraz w AI Devs 2 Omawialiśmy wątek posługiwania się narzędziami, ale pracowaliśmy tam z modelami OpenAI. W tym momencie zaczynamy pracować na przykład z modelami Anthropic, które mają tutaj pod tym kątem troszkę się od siebie różnią.

I kolejna rzecz jest też taka, że poza zmienionym API, poza nowymi modelami, mamy też nowe techniki pracy na przykład z wykorzystaniem narzędzi, czyli na przykład chociażby sposób ich wyboru. Mamy koncepcję chociażby semantic routera czy po prostu jakiś technik dobierania narzędzi czy ich grup po to, żeby to po prostu działało ze sobą. Więc zmierzam do tego, że to nie jest tak, że w jeden tydzień nauczycie się wszystkiego, co w AI Devs 2 czy w poprzednich edycjach czy w innych kursach. tylko zdobędziecie tą podstawę, która pozwoli wam zacząć właściwe szkolenie. Z kolei osoby, które były w poprzednich edycjach, będą mieć odświeżoną wiedzę chociażby na temat modeli Anthropic.

I teraz, jak już zaczniemy właściwe szkolenie, to tam osoby, które były z nami, to w pewnym momencie powiedzą, ok, czyli ja już umiem posługiwać się narzędziami w przypadku modeli, ale jak to zrobić w przypadku agenta, gdzie jest to po prostu znacznie bardziej dynamiczne. Kontekst się zmienia po prostu. Albo jak to zrobić w sytuacji, gdy mamy multimodalność, tak? Bo w AI Devs 2 tą multimodalność trochę jeszcze omijaliśmy. W tym momencie będziemy się jeszcze bardziej na niej skupiać. Więc te różnice będą po prostu na etapie już... Może rozwinie jeszcze określenie multimodalność, bo ci, którzy pracowali... To może zadanie dla Ciebie, bo ci, co pracowali z API, wiedzą, co to tak naprawdę znaczy, ale jeżeli ktoś pierwszy raz będzie od strony programistycznej korzystał, czy to z GPT-4O, czy na przykład z jakichś antropikowych modeli, no to to może być dość dziwne.

Słuchajcie, przeszedłbym krótko przez agendę, bo jest trochę pytań o modele open source'owe, o inne rzeczy. W związku z tym myślę, że warto, żebyśmy troszeczkę porozmawiali o tym, co będzie. Wszystko znajdziecie na eidevs.pl, oczywiście tak jak widzicie też tu na samej górze. Możesz jeszcze rozwinąć te poszczególne punkty, bo to jest dość istotne. Tak jak widzicie na górze, przedsprzedaż kończy się za dwa dni, potem cena będzie rosnąć, ale to tylko kilka słów wstępu. Tu jest ten pierwszy tydzień, tydzień, który mówi nam o fundamentach generatywnej sztucznej inteligencji, przyzwyczajamy Was do dużych modeli językowych, mówimy jak one działają, mówimy o kwestiach bezpieczeństwa. Później mówimy o tym, jak projektować instrukcje, jakie są koncepcje interakcji z elementami, czyli to jest wstęp do prompt designu. Tak, ja tutaj dodam, że w sensie chciałbym, żeby każdy zapoznał się z tą agendą, bo w zeszłych edycjach, czy w AI Devs 2, pojawiły się komentarze w opiniach, że no spoko, ale w sumie nie wiedzieliśmy, co będzie dalej.

Więc potem będzie wprowadzenie do AI, porozmawiamy o tym, jak rozmawiać po API, jak rozmawiać przez JSON mode, co to jest function calling, do czego to służy. Potem LLM w programowaniu, konfiguracja API, obsługa błędów i trochę o niedeterministycznej naturze tego, co się tam dzieje. narzędzia i źródła wiedzy, czyli dorzucenie sobie źródeł wiedzy do kontekstu, który mamy w modelach. Ale też do swojego kontekstu, czyli skonfigurowania narzędzi, którymi sami się posługujemy. I tutaj wspominałem o IDerze i takich narzędzi, na przykład Kursor też jest przykładem narzędzia, które jest dość przydatne. Fajnie jest mieć swój hosting, na którym możemy uruchomić jakiś kod. Fajnie jest mieć jakąś bazę danych, do której możemy się podłączyć, nawet prostą, ale fajnie jakieś informacje sobie przechowywać.

Gdzieś na zachodzie to trochę więcej. No i znowu, czy to jest taki silver bullet rozwiązujący wszystkie problemy? No nie. A jednocześnie jest to jakiś nowy element stacku, który można uwzględnić przy pracy z konkretnymi dokumentami, case'ami. No i w przypadku agentów też to się zmienia i może się okazać, że właśnie baza grafowa okaże się lepszym rozwiązaniem do przechowywania informacji niż baza relacyjna. I przechodzimy do narzędzi i umiejętności agenta AI. Interfejs narzędzi, jak przetwarzać pliki, jak zarządzać zewnętrznymi źródłami danych, aplikacje i usługi, cały routing do tego, mechanika obsługi narzędzi i potem zespół agentów, czyli rozwiązywanie bardziej złożonych zadań, gdzie one muszą ze sobą współpracować.

Tak i też nawiązując do tego, jak teraz przeszliśmy, bo to już jest piąty moduł szkolenia, czyli tak naprawdę tam jest już o tym zespole agentów, czyli w zasadzie już nie o jednym agencie, tylko o kilku, które mogą ze sobą współpracować. Natomiast wszystkie pierwsze cztery tygodnie szkolenia Przygotowują nas pod kątem narzędziowym, wiedzowym, czasem jakiejś implementacji właśnie do tego, żeby dojść do momentu, gdy mamy agenta, gdy mamy tą prostą pętlę, którą tam zapisałem w kodzie źródłowym przykładu, który był odgrywany na początku dzisiejszego spotkania, no to żeby dojść do tego momentu, no to trzeba przejść przez AI Devs 3, no i potem to sobie wszystko łączymy i nagle się okazuje, że jesteśmy w stanie sobie tworzyć agentów.

No i teraz ważna rzecz a propos tych frameworków, o których wspominałem, czyli na przykład Crew AI. Biorąc pod uwagę ich rozwój, może się okazać, że przejdziecie sobie przez AI Devs 3, no i wyjdzie Crew AI 1.0, który okaże się super skutecznym narzędziem i łatwo się będzie budować agentów i tak dalej. No i teraz czy ta wiedza pójdzie w las? Niekoniecznie, bo będziecie przede wszystkim, możecie to porównać, jeżeli programujecie w Javascriptie, przepraszam, do znajomości solidnej Javascriptu i wtedy pracy z Reactem czy Nextem, czyli po prostu nauczenia się języka, a potem dopiero przejścia do frameworków. Tak samo jest tutaj. W momencie, gdy będziecie chcieli sobie zejść niżej, będziecie schodzić niżej. W momencie, gdy będziecie chcieli sobie rozszerzyć jakiś moduł QAI czy innego frameworka, to sobie to po prostu zrobicie.

Biorąc pod uwagę, jak wygląda oprawa graficzna w ramach tej edycji, jak wyglądają nasze materiały reklamowe, to nie jest przypadkowe i to zdecydowanie jest nawiązaniem do fabuły. Jeżeli chcesz zostać piątym, to i powalczyć o dobro na świecie, przeciwstawić się AI, to zachęcamy. Zapraszamy do zabawy. Ile trzeba przygotować sobie budżetu na korzystanie z modeli podczas kursu? Będzie więcej. Tak, to jest bardzo interesujące pytanie, bo będziemy się uczyć przede wszystkim o tym, jak te koszty ograniczać, ze względu na to, że tak jak już powiedziałem, Jeżeli jakikolwiek kod działa Wam w pętli, to nie trzeba modelu językowego, tylko wystarczy jakieś konto na AWS i rachunek może być duży.

No jeżeli ktoś będzie świadomie podejmie decyzję, dobra to ja chcę sobie przejść przez szkolenie wykorzystując model np. Sonet 3,5, no to trzeba się liczyć z większymi kosztami, one mogą sięgnąć kilkudziesięciu dolarów, O ile nie popełnicie błędu w postaci, nie wiem, zostawienia pętli, która będzie Wam działać bardzo, bardzo długo. No ale to jest właśnie, chociażby z tego powodu, no to minimum programowania, pisania kodu, rozumienia go jest wymagane w AIDF3. Tutaj wchodzimy już trochę w inny obszar niż wchodziliśmy wcześniej. No i tyle. Nie wiem, jak wyglądają koszty, bo u mnie pomimo tego, bo przy poprzednich edycjach AI Devs mówiłem, że np. płacę za OpenAI na swoim prywatnym koncie po 500-600 dolarów.

Więc to po prostu zależy i tyle. I dlatego jest potrzebna ta wiedza np. dotycząca web scrappingu czy przeszukiwania internetu, żeby unikać takich sytuacji. Tym bardziej, że to będzie miało znaczenie jak będziecie pracować w zespole, w firmie, gdzie będzie was np. 10, 20 czy 50 i każdy będzie miał swój klucz, każdy będzie pracował z agentem. No i jak wtedy zarządzić tymi kosztami? To jest też temat, który np. trzeba monitorować. Jest trochę takich pytań jeszcze dookoła. Ja zachęcam Was na te, które nie odpowiemy, a są takimi pytaniami organizacyjnymi. Jednocześnie minęła nam godzina, więc... Tak, jeżeli będziecie mieli jakiekolwiek pytania organizacyjne, na przykład co tam z drugą ratą, czy wcześniej, kiedy, możecie je spokojnie zadać na AI Devs Małpa Brave Courses, tam dostaniecie śliczną odpowiedź, poprowadzą was za rękę, wszystko będzie pięknie ogarnięte, więc jeżeli cokolwiek budzi wasze wątpliwości, piszcie spokojnie, dostaniecie odpowiedzi na wszelkie pytania w tym zakresie.

Brave AI Courses. Padło to parę razy, więc ja postaram się streścić te kilka pytań. Co z lokalnymi modelami, a co z modelami open source'owymi? Gdzie te modele teraz są? Dlaczego i czy one się pojawią i w jakim zakresie? Tak, temat modeli open source, modeli otwartych działających na naszych maszynach, naszych serverach pojawia się już od AI Devs 1. I on jest zawsze przeze mnie traktowany tak na boku, ale uwaga i czas, który im poświęcamy, rośnie. I to jest proporcjonalne do tego, co można z tymi modelami zrobić i jak one są dostępne. Czyli mam tutaj na myśli, co można zrobić, czyli ich ogólne możliwości oraz jak są dostępne, czyli na jakich maszynach można je uruchomić i w zasadzie tyle.

Także, odpowiadając już do brzegu, w AI Devs 3 pojawią się modele open source, będą one stanowiły wątek poboczny, ale istotny. Jednocześnie wiedza, którą zdobędziecie w pracy z komercyjnymi modelami, przyda Wam się w pracy z modelami open source. Nie będzie to jednak wiedza, która będzie... głęboko zaawansowaną, związaną np. z fine tuningiem takich modeli, z trenowaniem od podstaw, czy budowaniu datasetów pod budowanie modeli. To nie jest to szkolenie. A jednocześnie pojawiają się właśnie modele typu QN2, które są coraz mocniejsze i które mogą wam się sprawdzić w wybranych zadaniach. Może się więc okazać, że w waszym konkretnym przypadku będziecie sobie budować agentów, którzy będą w stanie działać na modelach open source,