#5 - Jak działa CzatGPT i duże modele językowe?

Pewnie każdy z Was słyszał o dużych modelach językowych. Jeśli nie słyszeliście o tym, bo skupiacie się bardziej na biznesie niż technologicznych aspektach, to na pewno słyszeliście o czacie GPT albo o po prostu GPT. A może również ktoś wspomniał o czymś, co nazywa się LLM-em, czyli właśnie dużym modelu językowym, ponieważ jest to skrót z języka angielskiego. I właśnie na tym się dzisiaj skupimy. Na tym co stoi pod maską, co jest pod maską tych wszystkich Ejajek, o których teraz tak dużo się mówi. I pomoże nam w tym Jakub, który jest tutaj jak co tydzień z nami, żeby rozwiązywać techniczne zagwozdki. Cześć Jakub! Hej Kuba! Dobrze, to słuchaj, może ja zacznę od pierwszego pytania.

Ok, czyli jeśli dobrze to rozumiem, różnica jest taka, że po prostu te LLM są bardziej kontekstualne, czyli one troszeczkę obserwują co się działo wcześniej, dalej i widzą w jakim środowisku jest osadzone to jedno słowo, jak jest powiązane z nimi. Oczywiście tam za tym stoi jakaś konkretna matematyka, która wskazuje wektorowo, czyli no powiedzmy jest odpowiednik liczbowy mówiący o co dokładnie chodzi z tym słowem i to jest ta główna różnica z punktu widzenia technicznego, tak? W dużej mierze tak. Zaraz jeszcze przejdziemy do samych LLM-ów. Na razie to, Kuba, jeszcze jesteśmy chwilę przed tymi LLM-ami. Okej, okej. Na razie jesteśmy jeszcze pięć lat do tyłu przed tą technologią.

I ja to traktuję trochę w kategoriach halucynacje, czyli w momencie, kiedy on nie ma pełnego kontekstu, w momencie, kiedy nie ma informacji, bardzo chcę zadowolić tego użytkownika i po prostu podać mu odpowiedź, bo dobra odpowiedź to sukces dla takiego LLM-a. I np. gdy odpalicie sobie, macie taki świetny pomysł, słuchajcie, macie świetny pomysł i wpisujecie w czacie znajdź mi 30 potencjalnych klientów na rynku takim i takim. A potem piszecie mu, a teraz wypisz mi ich Linkediny i najlepiej numer telefonu. No i nie wiem jak w obecnej wersji, ale w poprzedniej zdarzało się tak, że on po prostu wypisywał i myślicie sobie wow robota odwalona, mam już bazę prospectingową, mogę pisać teraz, biznes się sam będzie kręcił.

To znaczy, że my sobie radzimy z tym w taki sposób, że mamy jeden model, który np. odpowiada na pytania Waszych klientów. I to może nie do końca będzie dotyczyło halucynacji, ale nawet wychodzenia poza temat kontekstu Waszej firmy. Ale Wasz klient zapyta o cenę ziemniaków. Totalnie abstrakcyjnie. No bo czemu miałby tego nie robić? Chce strigerować Wasz system do popełnienia błędów, stawić to na LinkedIna i powiedzieć, haha głupie. No bo użytkownicy tak mają. No ale wtedy pojawia się drugi system, drugi LLM, który mówi ej kolego, wyszedłeś poza temat naszej rozmowy. I z mojej perspektywy, im więcej będzie tych parametrów, im bardziej będzie skomplikowana ta architektura tych narzędzi, takich jak CzatGPT, które mają tak naprawdę pod spodem kilku ekspertów od danych dziedzin.

Czyli na przykład jeżeli z jakiegoś powodu nasz model odpowiedział na temat albo zbyt rozlegle, albo na przykład podał jakieś dane wrażliwe, To ten model językowy mały jest w stanie powiedzieć, ok, to nie wyjdzie, wracamy z powrotem do naszego dużego modelu językowego, dajemy mu feedback, niech on jeszcze raz spróbuje tą wiadomość przegenerować, z zachowaniem tego, że np. nie powinien generować informacji np. o jakimś PESEL-u albo o kwestiach związanych z bezpieczeństwem danych. To jeszcze szybkie pytanie, bo Kuba powiedziałeś SLM. Wtrącę się, bo może to być ważne. Czy te modele mini to są SLM-y, czy to są jeszcze lżejsze byty, które są naprawdę, odpalimy je lokalnie na komputerze? Nawet te modele mini, jeżeli mówimy oczywiście tutaj o tych modelach GPT-mini, to nadal są LLM-y, czyli to są duże modele językowe.

No niestety, albo stety, jesteśmy zalewani w tym momencie bardzo różnymi technologiami od Amazona, z Chin wpływają bardzo fajne modele. Wszyscy kombinują, próbują zrobić swoje, nawet nasz polski bielik coraz bardziej zaczyna nabierać sensu, ponieważ jest budowany w oparciu o język polski i też prawdopodobnie znajdzie swoje zastosowania w konkretnych narzędziach. I zróbmy tutaj może płynny most. Konkretne zastosowania w narzędziach. Przejdźmy sobie, Kuba, krótko Dlaczego to jest takie ważne? Jak możemy zastosować te LLM-y w biznesie, mediach czy edukacji? Więc przede wszystkim tego typu rozwiązania trzeba rozumieć jako pewnego rodzaju narzędzia, które są w stanie albo przyspieszyć pewnego rodzaju procesy, albo je zautomatyzować.

Spędźmy te 5 minut, aby sformułować nasze pytanie bardzo konkretnie, bardzo dosadnie, z bardzo konkretnymi kryteriami i dopiero wtedy zadajemy to pytanie temu systemowi. Dlatego, że na koniec dnia pamiętajcie, że te systemy starają się wygenerować kolejne słowo na bazie kontekstu. Więc im więcej kontekstu my na sam start podamy, tym bardziej precyzyjnie ten system będzie w stanie przewidzieć kolejne słowo i dzięki temu wygenerować całą odpowiedź. Wiecie, to trochę jest taka sytuacja, że LLM są szkolone na bazie internetu, a wszystko co mamy w internecie... Dobra, nie wszystko co mamy w internecie, ale kurczę, w książkach w tym momencie każdy może napisać książkę i wydać. Wiele z nich po prostu ma jakieś losowo wygenerowane fakty.

Już pomijam fakt, że książki są teraz generowane przez GPT, co jest w ogóle zlepkiem bezsensownych informacji, ale internet również jest Przepełniony fake newsami. Ostatnio mieliśmy sytuację, gdzie zaobserwowaliśmy jakiś wątek na forum, gdzie ktoś napisał o sytuacji, że prawo unijne coś tam, coś tam, wpisał to na forum i dzień później w Google to było przedstawione jako fakt na temat Unii Europejskiej. Jakby internet teraz też przez ilość generowanych treści bardzo odpływa. LRM są szkolone na bazie internetu. Po prostu zachowajcie zdrowy rozsądek. LLM najlepiej sprawdzają się w przetwarzaniu Waszych treści. Nie proście go o pozyskiwanie informacji. Dajcie mu wsad i pracujcie z nim. Proście go o przetworzenie Waszych informacji.

Ja tak pracuję i to drastycznie przyspiesza pracę. Challengowanie Waszych koncepcji, tak? To Wy jesteście mózgiem operacji, a on Was odpytuje, zadaje Wam pytania, pozwala Wam myśleć. To znowu Wy jesteście mózgiem, on jest Waszym sparing partnerem. Taki kierunek naprawdę fajnie Miałem jeszcze jedno jakieś przemyślenie, ale chyba mi na ten moment umknęło. Tak, o wiem, mam to. Przede wszystkim korzystajcie. W sensie uczcie się tych narzędzi. To nie jest człowiek, więc to nie jest jak interakcja z człowiekiem. Jeżeli pierwszy raz rozmawiacie z LLM-em, piszecie wiadomości, to będzie wydawał wam się głupi. Ale jeżeli piszecie 50, 70, 80 czy 200 raz, To tutaj nie ma mowy o żadnym prompt engineeringu, to nie jest żadna magia.

Po prostu uczycie się na bazie doświadczenia, co działa, a co nie działa, jak z nim po prostu rozmawiać. Wiecie, że jeżeli zapytacie go o rzecz A, to dostaniecie jakiś totalny chłam, po prostu wszystko, co Wam odpowie, będzie zmyślone i tak dalej, a wiecie, że jeżeli przygotujecie mu konkretne informacje i dane, na przykład na tekście nie dłuższym niż jedna strona A4, to najprawdopodobniej otrzymacie fenomenalne rezultaty. Także po prostu używajcie i korzystajcie, to pozwoli Wam lepiej zrozumieć, jak działają LLM-y. I tym pozytywnym akcentem, dzięki Kuba za wyjaśnienie tego, myślę, że dość skomplikowanego tematu, ale mam nadzieję, że przykłady, które podawaliśmy, pozwolą Wam trochę lepiej zrozumieć, jak to wszystko działa. Dzięki wielkie za dzisiaj. Dzięki, Kuba.