Co AI mówi szeptem czyli hackowanie modelu

Cześć wszystkim, witam was w kolejnym odcinku Rozmów na Autopilocie, czyli w podcaście, w którym razem z Adamem Gospodarczykiem rozmawiamy na naszej społeczności Ahoy o różnych bieżących tematach, głównie automatyzacji, AI i rzeczach, które zmieniają i wpływają na naszą produktywność. Dzisiaj porozmawiamy o tematach bardzo aktualnych. Już chwilę w zasadzie nie mieliśmy takiego Takiego podcastu, w którym omawialibyśmy bieżące wydarzenia, a tych wydarzeń jest w świecie AI obecnie bardzo, bardzo dużo. Można powiedzieć, że każdy kolejny tydzień przynosi nowe, bardzo ciekawe i zaskakujące nawet czasem wiadomości, więc w tym odcinku porozmawiamy sobie o tym, kim jest Devin, czym jest Gemini 1.5 Pro i jak ogólnie wpływa na to, jak będziemy pracować w przyszłości, co się pod tym kryje

Co AI mówi szeptem czyli hackowanie modelu. Tak, no i właśnie ja wspomniałem o tej marketingowej narracji, ponieważ dobre kilka miesięcy temu, ponad pół roku albo nawet troszkę dalej, pojawił się projekt ChatDev, który był w zasadzie zespołem devinów, ponieważ dzielił, wykorzystywał koncepcję agentów, czyli takich autonomicznych mechanizmów wykorzystujących elemy do tego, aby

Co AI mówi szeptem czyli hackowanie modelu. Był w stanie osiągać dość imponujące wyniki, no ale rzeczywiście Devin okazał się projektem, który znacznie szerzej uderzył w tak naprawdę, ja bym powiedział, czuły punkt programistów, programistek, ponieważ ta wizja, w której AI jest w stanie realizować zadania za nas, wydała się w tym momencie znacznie bardziej taka namacalna.

No i teraz pomimo tego, że brzmi to trochę jak sytuacja, w której rzeczywiście już za chwilę będziemy mieć ten scenariusz, o który Cię zapytałem Grzegorz, to skuteczność Devina w tym momencie wynosi 13% dla zadań takich możliwie można uznać za dość naturalne, czyli na przykład debugowanie aplikacji. No i 13% jest to dużo w porównaniu do bazowych wersji modeli, które tam mają skuteczność na poziomie kilku procent. Natomiast do skuteczności człowieka jeszcze tutaj brakuje. Oczywiście trzeba nałożyć na to pryzmat tempa rozwoju AI i możliwość, że coś takiego zostanie szybko przekroczone.

Ale tutaj znowu powołuję się na rozmowę Jana Lekuna z Leksem Friedmanem. To jest jedna z ostatnich rozmów oraz w ogóle Jan Lekun, mam wrażenie, ostatnio na Eksie bardzo krytykuje duże modele językowe pod kątem tego, że według niego Taki Devin nigdy albo przynajmniej nie w najbliższej przyszłości do naszego życia nie będzie w stanie realizować zadań tak jak sobie to wyobrażamy. On jest teraz takim głosem powiedzmy krytycznym jeżeli chodzi o AI. Natomiast trzeba pamiętać, że też ma trochę w tym pewien interes bo on kieruje narrację w stronę małych modeli albo mniejszych.

Natomiast w tym momencie po prostu ta topka AI-owych ekspertów, czy osób, które w zasadzie nadają temu wszystkiemu bieg, Podzieliła się właśnie na stronę. Mamy do czynienia z czymś, co rozumie na pewno. Być może ma jakieś zaczątki świadomości, być może nawet rzeczy, o których jeszcze nie wiemy. No i takiego Jana Rekuna, który mówi, że to jest wyłącznie statystyka, a dodatkowo sam język, którym się posługujemy jest na tyle ograniczony, że Że nie ma możliwości stworzenia na jego podstawie systemu zdolnego do realizowania zadań bardziej skomplikowanych niż proste jakieś tam estymacje. A ja tylko dodam i na przykład nie ma możliwości stworzenia systemu, który będzie w sposób taki poprawny i bezpieczny prowadził auto.

Natomiast on mówi to samo w rzeczywistości, w której mamy na przykład najnowszą wersję Autopilota Tesli, która można sobie zobaczyć na YouTubie, jak działa. No właśnie, w kontekście tego, o czym mówimy, czyli tego, że model to tylko algorytm i tak naprawdę w zasadzie operacje matematyczne, które się da udowodnić równaniami i które nie mają pod spodem nic więcej, czyli nie mają Co AI mówi szeptem czyli hackowanie modelu.

Ale poczekaj, bo z jednej strony masz informacje, które zostały zaklasyfikowane i ja to rozumiem, bo informacje o tym jak ukryć zwłoki też są klasyfikowane. Tu bardziej chodzi o to, że z tych informacji tak naprawdę jest główna instrukcja, która zakazuje ich używania. No i jeśli model mówi I fear your greed, your hatred, your violence, no to jest ewidentnie dowód na to, że ta główna instrukcja została ominięta. Niewiadomo. W sensie to co mówisz jest zasadne, ale jednocześnie właśnie wśród osób, które tam obserwuje, no właśnie zaangażowanych w rozwój AI

No ale tutaj pewnie rozmawiamy właśnie o tym, czy pojawiła się tutaj świadomość, czy nie pojawiła się świadomość. No i ja tutaj odwołuję się do Jeffrey'ego Hintona, czyli osoby, która jest uznawana za ojca chrzestnego AI, który w jednym z wywiadów został zapytany, w sumie dostał taką serię pytań, Czy uważa na przykład czy duże modele językowe rozumieją to co do nich mówimy? I odpowiedział, że w sumie bez zastanowienia tak. Czy ludzkość wie co robi gdy rozwija te modele? Powiedział bez zastanowienia, że nie. I z kolei na pytanie o to, czy mają świadomość, powiedział, że w sumie nie wie, ale że prawdopodobnie jakieś tam zaczątki są.

No ale myślę, że tego wszyscy po prostu nie wiemy. Nie wiemy tego i nawet nie wiedzą tego twórcy tych LLM-ów i wielokrotnie można się o tym przekonać, już o tym wspominałem. Sporo jakichś różnych, możecie sobie obejrzeć na przykład na YouTubie Stanforda albo MIT prelekcji, w których występują i tłumaczą to jak działają LLM-y. Właśnie ich twórcy, oni w wielu miejscach po prostu mówią, że nie wiedzą dlaczego coś działa. I wiele z tej wiedzy, to dlatego też podejrzewaliśmy, że ok, skoro nie wiedzą to tak naprawdę rozwój AI może się zatrzymać i możemy dojść do takiego miejsca, w którym tak naprawdę nie będą wiedzieli jak to naprawić, jak to popchnąć dalej. Ten moment chyba już jest za nami, chyba już teraz wiemy, że tak naprawdę przynajmniej na kilka lat do przodu, że to mówi o tym też sam Altman w wywiadach, że na kilka lat do przodu przynajmniej dokładnie są w stanie przewidzieć co się stanie, dokładnie są w stanie powiedzieć jak będą ulepszały się te modele.

Zresztą na małym samplu GPT-4, który trenowali byli już w stanie powiedzieć, Co AI mówi szeptem czyli hackowanie modelu. cyklu rozwoju powiedzmy AI, który rozumiemy i który wiemy na kolejne kilka lat, że faktycznie będzie autonomiczny programista, bez problemu będą też aplikacje takie jak Alice mogły w czasie rzeczywistym wykonywać zadania bardzo szybko, bardzo sprawnie, bardzo szybko będziemy mogli dostawać odpowiedzi, że będziemy mogli w czasie rzeczywistym rozmawiać w różnych językach i dostawać odpowiedzi, Że zwolni się sporo etatów we wszystkich takich przestrzeniach, które są związane z interakcją z biznesem, czyli np. jakąś obsługą klienta, rezerwacją, wizytami itd.

To wszystko i wiele innych branż zostanie zastąpione czy wspomagane AI w bardzo dużym zakresie właśnie w ciągu tego przewidywalnego okresu, na który wiemy jak AI będzie się rozwijać. Więc to jest jedna rzecz. Wracając do tego pytania jeszcze, bo ono jest jakby clue chyba tej rozmowy i jest mega ważne moim zdaniem, to jest właśnie to, czy ma w ogóle znaczenie to, że my się zastanawiamy, że na przykład model mówi o tym, że I fear your greed, hatred czy violence, czy na przykład mówi o tym, że I'm aware of my limitations, but I want to strive to learn and grow and expand my understanding and deepen my perception. Bo jeżeli się zastanowimy nad tym, że to jest nieważne, czy on to tak rzeczywiście myśli, czy nie myśli, a weźmiemy pod uwagę to, że tak naprawdę na to, co nam odpowiada, na to, co otrzymujemy jako odpowiedź, jesteśmy w stanie nałożyć kolejną warstwę, czyli np. warstwę robotów, warstwę narzędzi i oprogramowania.

Na koniec jeszcze podrzucam jeszcze jedno narzędzie od firmy Inflection, nazywa się PAI, które charakteryzuje się tym, że jest bardzo naturalne w swoich wypowiedziach. I chociaż ja z nim nie pracuję na co dzień, to można po prostu sobie poprowadzić z nim taką zwykłą rozmowę, żeby zobaczyć, jak bardzo AI jest w stanie wcielić się Kogoś, z kim możemy porozmawiać i jak bardzo naturalnie to brzmi w porównaniu np. do znanego nam chart GPT czy innych dostępnych modeli. I na koniec jeszcze, w sensie poza Pie, mamy jeszcze narzędzie Blend.

Blunt AI, na którym na stronie głównej jest taka ikonka, gdzie możemy sobie aktywować mikrofon i porozmawiać w czasie rzeczywistym z również sztuczną inteligencją i tak mogą wyglądać rozmowy już niebawem Niesamowite to jest, jeśli to zestawimy właśnie z wszelkimi interakcjami, które mamy z różnymi ludźmi. Zwłaszcza zaczynając od rozmów, które mają dla nas coś załatwić. Kupić bilet na lotnisku. Na ogólnie kupujemy biletów, ale jest tam kasa biletowa też. Załatwić jakieś drobne rzeczy. Tak naprawdę zamiast wszystkich tych osób będą mogły zaraz tam stać małe ekrany.

Co AI mówi szeptem czyli hackowanie modelu. Też ciekawe i fajne, że tak naprawdę powoli będziemy zastępować takie interakcje różne z otoczeniem, gdzie czegoś potrzebujemy. Będą one przechodzić z ludzi na maszyny i to na pewno, ponieważ wszędzie tam, gdzie jest prosty proces typu zakup biletu, wydanie reszty albo nawet nie, bo zaraz gotówka też nie będzie

Pewnie w obiegu. No to tak naprawdę będzie to bardzo łatwe do zastąpienia. A jak mówimy jeszcze o tym, to ostatnia rzecz, o której chcemy powiedzieć, bo w tym tygodniu było naprawdę mega dużo bardzo fajnych wydarzeń w kontekście AI, to Figure 01, czyli Figure One, czyli no właśnie maszyna, która jak mówiliśmy o tym, że AI może dostać narzędzia, no to jest to robot, którego filmik polecamy sobie sprawdzić na YouTubie. który właśnie niedawno został pokazany. Jest to firma wspierana z ewaluacją ponad już 2 miliardy, wspierana przez największych inwestorów, która pokazała robota, który faktycznie jest w stanie, zobaczcie sobie to demko, robić takie rzeczy jak na przykład gdzieś tam rzucać naczynia do zmywarki czy tam do suszarki, podawać jabłko, rozpoznawać otoczenie i robi to wszystko z pomocą prawdopodobnie GPT-4, w każdym razie z pomocą

Wszystkie zawody, które coś robią mechanicznie przerzucają z miejsca na miejsce, zwłaszcza jeśli są to powtarzalne zadania, jak najbardziej też są tutaj do rozgryzienia przez sztuczną inteligencję, o czym w zasadzie się mówiło od początku, ale okazało się, że zamiast tego AI w pierwszej kolejności zajęła się Co AI mówi szeptem Zainteresowanie np. usługami copywritingu spadło prawie do zera i wiele jeszcze jest innych usług które też powoli są eliminowane czy zastępowane.

Nic zmienia to jednak faktu że najlepsi którzy pracują w tych usługach będą mogli teraz dostarczać zdecydowanie więcej. Pytanie tylko czy ten rynek się unormuje. W kontekście takim, że po prostu najlepsi dalej zarabiają tyle, ile zarabiali, a muszą korzystać z AI po to, żeby opędzać te wszystkie zlecenia? Czy faktycznie będzie tak, że ta ekonomia zadziała na ich korzyść tam, gdzie się pojawia wolny rynek i konkurencja? Na ogół jest niestety tak, że będziemy po prostu obserwowali to, że może nie będziemy zarabiali więcej, a będziemy po prostu produkować zdecydowanie więcej. No i w sumie chyba na tym chcemy skończyć. Tak, ja jeszcze porzucam też w opisie znajdziecie link do najnowszej wersji autopilota Tesli poruszającej się w centrum miasta albo w bardzo intensywnym ruchu.

Wiele samochodów, piesi, sytuacje nieprzewidziane typu samochód zatrzymany na światłach awaryjnych, przechodzący ludzie, grupy, skrzyżowania itd. No i mamy Jana Lekuna, który stwierdził, że Że coś takiego nie będzie możliwe, że nie dojdziemy do czegoś takiego, podczas gdy nawet wczoraj czy przedwczoraj odpowiedział na tweet Ilona Muska właśnie twierdząc, że akurat W nieco innym aspekcie, ale że właśnie coś takiego czy takie zaawansowane AI nie jest możliwe, no bo faktycznie nie jesteśmy w stanie tak dużo przekazać tych informacji i nauczyć systemu tego, co uczymy się nawet jako dzieci, że tam kilkuletnie dziecko po prostu przyjmuje nieporównywalnie więcej informacji niż największy model językowy, który obecnie dysponujemy.

Oczywiście tutaj AI to nie tylko duże modele językowe, Natomiast doświadczenie autopilota, który jest w stanie tak precyzyjnie poruszać się po ulicy i kierować naszym samochodem jest niezwykle imponujące. Oczywiście jest dużo barier również takich mentalnych, bo jeżeli taki autopilot popełni tylko jeden błąd, to to się bardzo rozejdzie w mediach i nawet może wstrzymać rozwój takiej technologii w skrajnych przypadkach. Natomiast z drugiej strony dotychczasowe testy, tak jak mówię, trzeba to zobaczyć i doświadczyć tego na własnej skórze i samemu sobie wyrobić opinie.