Mentionsy

Teraz pewnie trzeba byłoby tu dodać jeszcze AI czy LLM.

Kiedyś AI równa klasyczny ML, teraz AI równa się LLM, ale warto pamiętać, to już mówiliśmy też przed podcastem, że LLM to też ML, tylko on faktycznie znacząco się różnie, więc wygląda jako coś odwzorownego, ale to cały czas machine learning pod spodem.

Mimo tego, że wydaje się często logiczne, że chcemy mierzyć, chcemy mieć jakieś miary, to często jak obserwujesz realne projekty związane z LLM i pytasz, w jaki sposób mierzycie jakość, to zwykle to pytanie zaskakuje.

I ważna jest taka myśl, że nie ma idealnych rozwiązań, LLM zawsze się myli, ale jest jakiś akceptowalny poziom dla biznesu.

Ale ciekawe, że on pewnie to ogólnie, właśnie to a propos LM, jak on działa.

Więc to tak działa LM.

Bo większość rzeczy będą automatycznie generowane, tworzone, ale... Z czym ma problem AI i LLM ogólnie rzecz biorąc?

I jakbym poznał go cały czas z różnych stron, te różne LLM'y testujemy.

Na przykład w naszym labie mamy ponad 200 modeli LLM i to cały czas sprawdzamy, testujemy.

I z jednej strony ja nie mogę powiedzieć, że LLM nie jest kreatywne albo nie rozumie swoje problemy, ale z drugiej strony ta kreatywność jest bardzo ograniczona.

I jeżeli my tak myślimy o rozwiązaniach, jak oni będą powstawać, to LM będzie generować kod na 100%.

Natomiast LM ma duży kłopot, żeby zrozumieć, co dokładnie ma wygenerować.

Tym bardziej teraz, kiedy masz LLM, jak na czymś się nie znasz, zawsze możesz podpytać w ten czy inny sposób.

I to jest taki przykład, gdzie LM się myli, że dla niego on potem powie, oj, przepraszam.

A LLM jakby nie ma emocji i dla mnie na tyle to jest taka ulga, że mogę zawsze z nim porozmawiać, odbyć myśli i on zawsze jest gotowy mi odpowiadać, więc to jest niesamowite.

Ale pomyślmy inaczej.

Przykład, jak pojawił się LLM, to co my zrobiliśmy, to wciągnęliśmy te wszystkie hasła, które brzmiały dookoła, zaczynając od GPT 3.5, te modele, później bazy wektorowe, jeszcze grafowych nie było, ale jakieś tam inne zaczęły się pojawić, grafowe, w sensie pluswektory.

Ale to jest mniej istotne, bo znacznie trudniej będzie później taką osobę zmienić jej stan umysłu, który jest w tej chwili świetny, nie wiem, w Pythonie, w ML-u, ale nie chce na przykład zobaczyć, że LM sporo rzeczy automatyzuje.

Mamy jakieś dane tabularne, tam są konkretne kalumny i jakaś odpowiedź, czy ten klient kupił, nie kupił, albo czy jakaś będzie cena na coś, albo czy ktoś jakiś film ogląda, czy nie będzie oglądał i tak dalej.

Software 3.0, koncepcja, którą my wkładamy, to jest tak, że w środku jest LLM, który jest niestabilny i dookoła musimy go ustabilizować i to robimy przy pomocy Software 1.0.

LM jest na tyle problematyczny, na tyle fatalny, że nikt by tego nigdy w życiu nie używał, jakby to nie byłby aż tak piekielnie użyteczne.

Czyli faktycznie LM pokazuje duże możliwości i hype zwykle się na tym skupia, ale ma też duże problemy, jeżeli chodzi o niepowtarzalność.

Bo tam LM jest w środku i on robi pewne rzeczy.

LLM w środku, no tam akurat z stabilizacją jest gorzej, ale mniejsza.

De facto nawet Cloud Code jest w stanie takie rzeczy już generować, jeżeli chodzi o proste projekty, ale możemy też sobie wyobrazić, że możemy stworzyć swój własny taki silnik, swój własny taki kawałek oprogramowania systemu, w którym w środku jest LLM,

Z tym, żeby unikać takich sytuacji, jak mieliśmy na początku, czyli że LLM sobie wymyślił, że używać jakiejś aplikacji, dlatego że powiedziałeś coś innego, trochę powiązanego.

I teraz w tym przypadku, jak ktoś mówi, że LM halucynuje, to to powoduje to, że jak wdrażasz takie rozwiązanie, to o tym po prostu nie pomyślałeś, bo LM w sumie halucynuje zawsze.

Na tym polega, jak działa LM, bo generuje kolejny token.

I teraz, jeżeli nam na przykład zależy na tym, żeby LLM maksymalnie precyzyjnie wypowiadać na poszczególne tematy, to prawdopodobnie już musimy wejść na poziom trzeci, kiedy musimy mu dostarczać z zewnątrz konkretną informację.

Chodzi o to, że jest jakaś baza wiedzy zewnętrzna na jakiś tam temat i my chcemy, żeby LLM, analizując któryś tam aspekt, który my teraz bierzemy pod uwagę, żeby mniej cholicynował albo w ogóle nie cholicynował, to wtedy bierzemy

Zaszylamy tą wiedzę do naszego LLM.

Jak to zrobić, to już pewna sztuka, to nie jest takie łatwe, bo często to sprawdza się dlatego, że wrzućmy wszystkie nasze dane do bazy wektorowej, potem znajdziemy podobny kawałek, to wrzucimy LLM w swojej poradzie.

Jak dostarczamy sprzeczne informacje, to LLM sobie nie wie, co wybrać.

LLM finalnie dostaje to coś, co nazywa się prompt, chociaż my to nazywamy zwykli kontekst, czyli kawałek tekstu, który wprost trafia do LLM.

Później to konwertuje się na tokeny i potem LLM wykonuje swoją robotę.

No bo LLM on jakoś, jego precyzje traci się w zależności od tego, jak dużo mamy tekstu.

W ogóle, jeżeli chodzi o rozumienie LMI i AI, to ja bym chciał znajdować takie różne analogie z ludźmi.

AI, ten LLM i nasz mózg działa zupełnie inaczej, ale te analogie, które powiedziałaś, oni są fajne.

Mi też to bardzo pomaga, bo często myśląc, co ludziom jest lepiej, to też to znajduje pewne odzywanie, co LLM-u jest lepiej w tym się odnaleźć.

Kolejny poziom to było jakby też zasilanie informacjami, ale rozumiem, że LLM sam może sobie po nie sięgać.

Pamięć to, bo LLM nie ma pamięci.

LLM jak się trenuje, to ma pewien stan, to mówię cały internet, ale później jak coś go pytamy, on nam odpowiada, ale on nie pamięta, co się stało, więc jak chcemy, żeby pamiętał, to musi być zewnętrzny system.

Na pewno powiem tak, jeżeli chodzi o obecną architekturę, czyli te wszystkie LLM-y, które są obecne, oni wypierają się w tak zwane Transformery.

Pierwsze jest takie, bo ty sam też dużo zmian w swoim życiu miałeś, to znaczy jeżeli chodzi o firmę, też zrobiliście dużą zmianę, bo parę lat temu zajmowaliście się uczeniem maszynowym, statystyką, NLP, dzisiaj to jest LLM.

Ty, z tego co wiem, też nie zaczynałeś od razu od Data, tylko jakby zajmowałeś się programowałem, później machine learningiem, teraz RLM.

Ja bym zaczął od tego, że zrozumieć lepiej, czym jest LLM, na ile jest ważny ten kontekst i na ile ważne minimalizować, co tam wrzucamy.

Na przykład z LLM, my teraz działamy, tworzymy Cloud Code.

Pierwsza część nazywa się praktyczne LLM i to jest poziom drugi i poziom trzeci.