Multimodalność

Cześć wszystkim, witam was w kolejnym odcinku Rozmów na Autopilocie, czyli w podcaście, w którym rozmawiamy razem z Adamem oraz z naszą społecznością. Na Ahoj rozmawiamy o nowych rzeczach, zwykle związanych z oprogramowaniem i ze sztuczną inteligencją, z tworzeniem Narzędzi lub też narzędziami, które pojawiają się na rynku i pomagają nam pracować wydajniej, zwiększać naszą produktywność, pomagają nam lepiej zrozumieć też świat, bo o tym trochę dzisiaj porozmawiamy. Dzisiejszy temat to oprzemy w zasadzie o multimodalność w AI, wytłumaczymy w ogóle czym ta multimodalność jest, a także jak przekłada się to na współczesne interfejsy, nawiązując też trochę do ostatnich wydarzeń, czyli Konferencji Google'a, konferencji OpenAI. Nawiążemy też trochę na pewno do narzędzi takich hardware'owych, z których będziemy korzystać w przyszłości.

Nie tylko zobaczyć np. wyraz twarzy, ale też rozpoznać ton głosu i się do niego dopasować. Albo też dopasować swój ton głosu. Albo w sytuacji, gdy mówimy o tym pierwszym przetwarzaniu, czyli tym wieloetapowym, no to tam są gubione te informacje dotyczące np. wspomnianych emocji. Więc nie ma jak za bardzo ich odwzorować. Ewentualnie można jakoś symulować, natomiast To nie miało zbyt wielkiego sensu. No i teraz taka multimodalność implikuje jeszcze wiele innych rzeczy, chociażby takich, że jeżeli mamy model, który trenowany jest wyłącznie na tekście i jest zdolny do wyłącznie generowania tekstu, no to on rozumie świat przez tekst.

Spróbujcie opisać kolor niebieski na przykład i na podstawie takiego opisu zdecydować, kiedy kolor niebieski jest podobny do jakiego koloru, a do którego jest na przykład, z którym kontrastuje. A więc z teorii kolorów można coś takiego wyczytać i modele tekstowe były w stanie takie rzeczy do pewnego stopnia wychwycić, natomiast nie były w stanie de facto zobaczyć tego i opisać sobie na swój sposób cech kolorów, a następnie ich ze sobą zestawić i tak dalej. Więc jeżeli mamy model multimodalny, który jest trenowany też na różnych rodzajach treści, to on jest w stanie nie tylko te treści rozumieć, ale łączyć je ze sobą. Czyli jak będzie widział czy słyszał jakiś dźwięk i widział do tego dodatkowy obraz i jeszcze miał dostarczony dodatkowy kontekst, to on będzie w stanie te wszystkie informacje ze sobą połączyć w sposób

Trudno powiedzieć, na jakim poziomie teraz to się dzieje. Już widzieliśmy na OpenAI, że robi to wrażenie, ale nie mamy jeszcze dostępu do API właśnie tego umożliwiającego przesyłania różnego rodzaju plików, więc będziemy musieli to zobaczyć w praktyce, jak to działa. Natomiast tutaj należy pamiętać jeszcze o jednej rzeczy, czyli nadal jeżeli mamy model multimodalny, to on działa w tak zwanym trybie end-to-end, czyli przesyłamy na przykład plik audio i otrzymujemy plik audio, czyli od początku do końca jest tutaj przetwarzany ten jeden format. Natomiast trzeba pamiętać, że sam model w środku posiada tylko tą swoją główną bazową wiedzę, która jak wiemy powszechnie jest na swój sposób

I te wszystkie wątki dotyczące właśnie pamięci długoterminowej na nasz temat, możliwości przetwarzania plików, możliwości Dostępu do internetu, wyników wyszukiwania, danych właśnie z sensorów i tak dalej, to te wszystkie dane muszą zostać jakoś przeprocesowane przez system. No i jest to bardzo istotna sprawa, ponieważ nawet jeżeli będziemy mieć multimodalne modele już w pełni dostępne, no to dalej, jeżeli będziemy chcieli na przykład wyposażyć taki model w pamięć długoterminową, to będziemy musieli tę pamięć zaprojektować sami. Ja akurat czymś takim się zajmuję i wiem jak to wygląda i to nie jest

To jest takie, jak teraz się mówi o natychmiastowej reakcji, to taka natychmiastowa reakcja będzie miała miejsce w sytuacji, gdy będziemy się opierać wyłącznie o bazową wiedzę modelu. Czyli coś mu pokażemy i powiemy, powiedz jaki to kwiatek na przykład. Ale w momencie, gdy będziemy chcieli powiedzieć, zobacz na to zdjęcie albo na jakiś tam dokument i porównać z moimi projektami, to będziemy musieli w jakiś sposób zaprojektować ten system, żeby był w stanie zestawiać sobie albo na przykład rozpoznawać osoby z naszej rodziny, okolicy albo czegokolwiek. Więc będziemy musieli posiadać system, który będzie w stanie coś takiego modelowi dostarczyć, wytłumaczyć, odpowiednio podać i odpowiednio przetworzyć.

No i tyle. I on będzie nam służył tak, jak będziemy w stanie to zaprojektować. Aha, i chciałem wspomnieć jeszcze o wpisie na blogu Sama Altmana, gdzie on napisał po konferencji taki artykuł, gdzie wrzucił swoje przemyślenia i tam pod koniec tego artykułu sam Altman wspomniał o potencjalnym tak jakby kierunku rozwoju, jeżeli chodzi o modele. I on tam wspomniał dokładnie o rzeczach związanych z na przykład możliwością zapamiętywania, dostępu do naszych informacji, podejmowania akcji gdzieś tam w wyniku naszych poleceń i tak dalej, i tak dalej. Więc oni już to widzą i oni mają to w głowie i to jest roadmapa czy kierunek, w którym zmierzają.

Ja nie mam co do tego wątpliwości i mam akurat to szczęście, że moja wiedza technologiczna pozwala mi tego doświadczać już dziś. Ok, to zaraz Cię zapytam, jak dokładnie. Właśnie wydaje mi się, że warto by było przejść do omówienia tych bardziej praktycznych zastosowań multimodalności i tego, czego możemy się spodziewać. No bo faktycznie teoria jest taka, jak powiedzieliśmy, tak jak słusznie wspomniałeś, ja tutaj podkreśliłem rolę tego inputu, że ten input może być multimodalny. Ty wspomniałeś też o outputcie i oczywiście tak jest, że model będzie mógł, czy może już teraz, teraz są różne modele, które się w tym specjalizują, Dają nam na przykład obrazy albo dają nam tekst, ale zaraz będą nam dawać i tekst i obrazy, zaraz będą nam też dawać wideo i wszystkie inne rzeczy, które prawdopodobnie zostaną połączone w jednym miejscu.

Ciekawe jest też to, że dodałeś do mojej listy rzeczy, która może być inputem dla modelu, coś o czym, co pominąłem, a co jest równie istotne. Wspomniałeś tutaj o pewnych emocjach i to faktycznie jest, może to płynie jakoś na przykład i z obrazu i z dźwięku, że na przykład model jest w stanie rozpoznać emocje lub też mimikę albo gesty. Jak my się zastanowimy nad tym, jak my funkcjonujemy w otoczeniu Jak to zrobić, żeby faktycznie takie jaj w ogóle mogło zacząć doświadczać tego, co my? No bo oczywistym jest, że jeśli tylko przekazujemy tekst, to ten tekst jest wyprany z tych emocji, jest wyprany z naszej mimiki, jest wyprany z naszej reakcji i zawiera tylko bardzo suchy przekaz, na podstawie którego trudno jest wyczytać tak naprawdę prawdziwą intencję.

I dlatego te modele teraz, mimo że brzmią jakbyśmy rozmawiali trochę z człowiekiem, dość naturalnie, To szybko można się zorientować, że jednak ta rozmowa taka naturalna nie jest, bo być może my przekażemy coś w sposób cyniczny albo w sposób żartobliwy albo w inny, który tak naprawdę powinien skierować zupełnie tą dyskusję, jakbyśmy rozmawiali z innym człowiekiem naturalnie na inne tory. Natomiast model potraktuje to w taki sposób, że odczyta to dość dosłownie, więc taka casualowa, można powiedzieć, konwersacja z modelem i to, żebyśmy mogli przejść do etapu, w którym faktycznie my sobie mamy, nie wiem, jakąś taką Aleksę, czy robota w domu, czy cokolwiek innego, z czym Czy takiego nawet terapeutę online'owego, z którym można porozmawiać, to faktycznie jest niezbędne, żeby taki model potrafił obsłużyć także nasze emocje, potrafił obsłużyć i zrozumieć to, jak robimy na przykład pauzy, jak mówimy, czy gdzie mówimy żartobliwie, gdzie mówimy cynicznie.

No i można powiedzieć, że to nie jest dodatek do AI, tylko że to jest coś, co jest absolutnie krytyczne i kluczowe do tego, żeby pójść dalej z AI. Czyli musimy to mieć. I tak na dobrą sprawę, jak się zastanowić nad tymi bardzo praktycznymi zastosowaniami Takie multimodalności, no to one są wszędzie. Jeśli na przykład zastanowimy się nad rozwiązywaniem takich większych problemów ludzkości, czyli potencjalnie zaprzęgnięcie jaj do tego, aby wspomagało lekarzy i służby medyczne, to tak naprawdę tutaj Połączenie tych wszystkich inputów, nawet mówię tutaj o inputach z różnych sensorów medycznych, bo przecież jeśli ktoś jest po operacji podłączony do jakiegoś oprogramowania, które sczytuje jego funkcje życiowe, to naturalnie model powinien rozumieć ten interfejs i powinien się z nim móc połączyć.

Powinien móc też zerknąć na przykład na zdjęcia, które zostały wykonane, na przykład zdjęcia rentgenowskie czy jakiś tomograf. Bez tego trudno nam w ogóle sobie wyobrazić to, żeby tak naprawdę faktycznie jakiś większy przełom w medycynie miał miejsce dzięki sztucznej inteligencji, mimo Ja rozmawiając z czatem GPT zdiagnozowałem już trafnie kilka jakichś dolegliwości, ale oczywiście to na pewno nie jest coś, co może być używane profesjonalnie w medycynie. A już jak weźmiemy pod uwagę tą multimodalność, dostarczenie rozmaitych sygnałów, nawet zdjęcie pacjenta, Czy właśnie tego typu rzeczy, to myślę, że na przykład w kontekście medycyny może to spowodować ogromny postęp.

Ale chodziło o to, że zdecydowanie większa szansa jest na poprawną diagnozę w momencie, kiedy lekarz pracuje razem z modelem, niż gdy model pracuje sam albo lekarz pracuje sam. I ten wzrost był ogromny. To, co jeszcze widzę, to na pewno wspomniałeś właśnie też o tym rozpoznawaniu postaci na przykład. No na pewno, jeśli chodzi o różne autonomiczne czy pojazdy, czy roboty, które teraz będą wchodzić na rynek, A nawet takie systemy bezpieczeństwa po prostu, takie jak system bezpieczeństwa oparty o kamery i możliwość na przykład rozpoznawania, kto przychodzi do naszego domu, czy to jesteśmy my, czy nie, w zależności od tego uruchamiania alarmu, czy jakichś tam rzeczy i też w oparciu o różne inne czujniki.

Natomiast robi to AI. I świetnie wykrywa z bardzo dużą skutecznością niebezpieczne przedmioty, które są wnoszone do takich miejsc. W ogóle też, jak sobie myślę o tym bardziej w takim biznesowym zastosowaniu, to cały biznes marketingowo-retailowy, gdzie na przykład ludzie przechodzą sobie do galerii i wybierają jakieś ciuchy czy tam jakieś różne rzeczy, To jest ogromna przestrzeń do tego, aby po prostu AI analizowało takie nagrania, czy zachowania, czy reakcje ludzi po prostu, którzy na przykład są na zakupach po to, żeby rekomendować positioning produktów i wszystkie inne rzeczy.

To jest w tym momencie ogromny biznes. Więc na pewno w retailu i w marketingu takie rzeczy też mogą w mega ciekawy sposób być praktycznie zastosowane. No i w końcu też transport. Też widzę taki ogromny tutaj potencjał już teraz. Samochody autonomiczne są wyposażone w tą multimodalność. Już teraz są wyposażone w mnóstwo sensorów. Na razie jeszcze prawdopodobnie produkcyjnie nie jest to utylizowane w taki sposób, jak mogłoby być. No i tutaj wydaje mi się, że na przykład wszystkie pojazdy, które na przykład szynowe czy samoloty i tak dalej, tak naprawdę można powiedzieć, że w tym przypadku już będziemy mogli w stu procentach

Jakby zaufać komputerom. Może człowiek będzie przydatny tylko w jakiś tam szczątkowych operacjach do wykonania. Więc wydaje mi się, że to też będzie ogromny przełom. Nie wiem jak Adam, co ty myślisz o tym? Masz jakieś pomysły? Wydaje mi się, że trudno przewidzieć i naprawdę trudno przewidzieć, w jakim kierunku to się rozwinie i jakie będą zastosowania i jakbym miał coś obstawiać, to wydarzy się coś, czego nie jesteśmy w stanie teraz zauważyć, ze względu na to, że mówimy o narzędziu, które jest zdolne do robienia rzeczy, które do tej pory nie były możliwe. Czyli szczególnie w połączeniu, bo to nie chodzi o to, że nagle jest nowe prawo fizyki wynalezione, tylko po prostu sposób połączenia tego już znamy.

Działa tak, że do tej pory nie byliśmy w stanie tego robić, czyli na przykład porównanie ze sobą ogromnych zestawów danych. W celu zauważenia jakichś rzeczy, które do tej pory były niezauważalne. No i więc trudno mi to tak jakby o tym w tym momencie mówić, po prostu muszę tego doświadczyć. Wydaje mi się, że jak OpenAI udostępni nam możliwość właśnie przesyłania, no właśnie tej pełnej multimodalności, To będę w stanie na ten temat więcej powiedzieć. Więcej ja polecam, chyba o tym wspominałem w jednym z ostatnich odcinków, polecam wpisać sobie na YouTubie Tesla FSD, czyli Full Self Drive V12, a najlepiej jakiś najnowszy film.

To jest AI, które również działa właśnie end-to-end, czyli do tej pory Autopilot Tesli był programowany, czyli był to po prostu kod pisany przez programistów, który dążył do tego, żeby opisać możliwie jak najlepsze... Milion ifów. I w drzewo, i w krzak, i w człowiek. No i teraz mamy wersję 12.3.6. To w momencie mówienia tekstów jest wersja najnowsza. Ona szybko się literuje, bo dopiero był jakiś tam 12.2.1 i tak dalej, i tak dalej. No i ją charakteryzuje fakt, że tak jak wcześniej były dane z czujników i one trafiały do kodu, a następnie przekładały się na akcje, które podejmował samochód, tak w tym momencie dane z czujników, na przykład z kamer,

W tym momencie działa to znacznie, znacznie lepiej i oczywiście zdarzają się jeszcze sytuacje, że na przykład skręci nie tak jak trzeba albo że będzie próbował wjechać na przeciwległy pas albo cokolwiek. Więc to nadal mówimy tutaj o wersji beta i takiej, która musi być nadzorowana przez człowieka, ale jednocześnie ten progres jest ogromny. I ja myślę, że to jest najlepszy znany mi przykład tego, żeby można było zobaczyć, z czym się wiąże właśnie rozwój AI. I teraz jesteśmy na poziomie powiedzmy człowieka, a zaraz będziemy na poziomie nadczłowieka, ze względu na to, że samochód będzie miał, czy tam ma, nie wiem, 12, czy 14, czy 16 kamer, ma jakieś tam mnóstwo,

...innych czujników, które wykrywają różne rzeczy na drodze, jest w stanie to zestawić. Można też sobie właśnie zobaczyć, zerknąć nawet na wizualizację, którą tworzy Tesla, czyli jak widzi świat Autopilot Tesli i zobaczyć, że na przykład jest w stanie tak jakby oglądać pięć pasów po prostu w bok, czy widzieć to, co się dzieje na skrzyżowaniu Tego, co nierzadko nawet nie widzi człowiek, to wynika z ograniczonego pola widoczności, a ten obraz pochodzący z wielu kamer jest w stanie być połączony ze sobą w taki sposób, aby uchwycić znacznie więcej niż mogłoby się wydawać możliwe.

No i okazuje się, że tam również np. ja obecnie, nie wiem, może to jest ograniczenie mojego intelektu, ale obecnie jestem w stanie stworzyć system, który działa dla mnie, ale nie wyobrażam sobie przenieść go na system, który elastycznie dostosowuje się do użytkowników różnych, do różnych osób. Po prostu coś takiego jest w tym momencie moim zdaniem poza możliwościami modeli, ewentualnie właśnie poza moimi możliwościami gdzieś tam wyobrażenia sobie tego, jak może działać system, który będzie elastycznie rozbudowywał się i dostosowywał do użytkownika, a przy okazji jeszcze robił to Na tyle skutecznie, aby mieć taką używalność na dobrym poziomie oraz jeszcze dodatkowo musi to robić odpowiednio szybko i tanio.

Mówiliśmy tutaj o kilku punktach procentowych czy na chatbot-arenie. Natomiast faktycznego takiego przełomu nie było. Nie wiem, czy do końca się z tym zgadzam, ze względu na to, że jak patrzę blisko na tę technologię i patrzę na to, co wczoraj było możliwe, a co jest dzisiaj możliwe, to ja widzę tam progres. I nawet wrzuciłem dzisiaj taki wpis. który zacytuję, a w zasadzie zachęcę do tego, aby przejść sobie do narzędzia Playground na platformie OpenAI, gdzie mamy możliwość przełączenia się w tak zwany tryb completions, a następnie wybrania modelu DaVinci 002.

A rzeczy, które pokazują po drodze, są to rzeczy takie trochę, które pomagają po prostu w tej misji, czyli pomagają w zdobyciu finansowania. Jak cały świat się hype'uje jakimś tam nowym modelem 4.0, no to oczywiście sam Altman w tym czasie idzie do inwestorów, którzy też działają pod wpływem emocji i wszyscy znajomi mówią o tym nowym modelu i tak dalej. Jest mu zdecydowanie łatwiej zabrać finansowanie na rzeczy, które tak naprawdę chcą zrobić. Jestem przekonany, że idzie tam o zdecydowanie więcej i wielu z tych rzeczy jeszcze teraz nie widzimy. Chciałbym dodać do tego jeszcze jedną, w zasadzie chyba z mojego punktu widzenia najważniejszą informację ostatnich miesięcy, czyli bardzo istotną, czyli odejście Ili Suskewera z OpenAI.

Przypomnę, że kilka miesięcy temu odszedł także Andrzej Karpaty, a teraz odszedł także jeszcze jeden z głównych specjalistów, jeżeli chodzi o tzw. alignment, czyli ogólnie wątek bezpieczeństwa modeli. To oczywiście, w sensie odejście od tego specjalistą Jana, nie pamiętam nazwiska. Oceniam tak, że jeżeli odchodzi Ilya Suskewer i powiedzmy, jeżeli mamy jakąś postać, która jest istotna w całej firmie, no to jest całkiem normalne, że Za taką osobą odejdą też kolejne, ale jednocześnie jest dość zastanawiające to, co się dzieje w OpenAI poza tym, co nam mówią i dlaczego Ilya Suskever faktycznie odszedł.

W sensie, dlaczego? No to wiadomo, że on był po prostu jedną z nadrzędnych osób całego wątku, który się wydarzył w listopadzie. Ale jednocześnie zastanawiające jest to, że on już nie będzie pracował w OpenAI i zajmie się jakimiś swoimi projektami. No i tyle. Warto też obserwować to, co się tam dzieje. Jan Lejke też odszedł z OpenAI i jeszcze kilka innych osób. A wbrew pozorom, dlaczego Adam mówi, że to jest ważna informacja? Ponieważ może Wam się wydawać, że OpenAI, czyli firma, która jest jedną z największych, najszybciej rozsądnych na świecie, jeśli chodzi o wyceny, zatrudnia nie wiadomo ile osób i tam tysiące osób kontrybuje do tego,