Limity AI: #13 A co jeżeli Turing prowadzi na manowce? Komputacyjność a inteligencja

A dzisiaj naszym gościem jest znowu Michał Karpowicz, profesor Michał Karpowicz. Dzień dobry, cześć. Dzień dobry, cześć. Subskrybuj jedyny w Polsce magazyn biznesowy, portal i społeczność dla menedżerów i liderów najwyższego szczebla. Czytaj MIT Sloan Management Review Polska i każdego dnia otrzymuj inspiracje warte miliony. Karpowicz opublikował w te wakacje w kilku wersjach już i która to wykazuje matematycznie, dlaczego halucynacje są czymś, czego nie możemy wyeliminować z LLM-ów, z transformerów, czyli trenowanych na języku.

To może krótko tytułem wprowadzenia takie najważniejsze tezy. Co to jest halucynacja? Jak ty ją definiujesz? I dlaczego nie możemy jej wyeliminować? Jasne. Halucynacja w sensie takim filozoficznym, głębszym, który to sens też się w tej mojej pracy pojawia, to jest niekontrolowana wyobraźnia, ale formalnie to jest takie zjawisko, które w świetle tych twierdzeń, których w pracy dowodzę, to jest takie zjawisko, które polega na tym, że W dostatecznie dojrzałym systemie odpowiadania na pytania, czy wnioskowania, czy w LLM, dostatecznie dojrzałym, aby ten system był w stanie odpowiadać na pytania nietrywialne, musi być naruszone jedno z czterech kryteriów odpowiedzi, którą uznalibyśmy za...

No to jeżeli tak, to w świetle tej definicji halucynacji, o której przed chwilą powiedzieliśmy, no to to jest dokładnie to. To jest budowanie prognoz przy zdjętych ograniczeniach na to, w jakim świecie te prognozy mają się zrealizować. Czyli tym ograniczeniem dla nas byłoby doświadczenie pozajęzykowe rzeczywistości, którego nie ma LLM. Ja tutaj w ogóle już referuję do tej rozmowy z Antonem, która na mnie zrobiła wrażenie, która się pojawiła rozmawiamy dwa tygodnie po naszym pierwszym nagraniu, a rozmowa pojawiła się parę dni temu, czyli to jest początek, no koniec września.

Richard Sutton to jest jeden z ojców chrzestnych, ale tym razem uczenia przez wzmocnienie. Laureat Nagrody Turinga za rok 2024. Czyli jeden z gigantów, starszy pan już, ale jeden z gigantów twórców AI. I on właśnie zwraca uwagę dobitnie na to, o czym wiemy, ale o czym mało myślimy, że LLM-y fantastycznie, ok, prognozują, co powinno się napisać, co może się napisać, w zależności od instrukcji, czyli prompta, ale mają zero danych. na temat świata pozatekstowego, to ponieważ były trenowane na tekstach, nie? Zgadza się. I to jest, wracając do twojej pierwszej myśli, to ograniczenie, które mamy my, powiedzmy te systemy inteligentne, które żyją w świecie fizycznym i które biorą dane z... Tak, tak.

Tak, więc te roboty wykorzystują modele językowo-wizualne, wielomodalne do tego, żeby... rozpoznawać obiekty, żeby sterować robotyczną dłonią, planować trajektorie, radzić sobie z oporem, bezwładnością tego modelu. Czyli tu wychodzimy już poza ten model językowy, od którego zaczęliśmy, zaraz powrócimy, tylko żeby ten wątek pociągnąć. Bo powiedziałeś, że tym ograniczeniem dla tych naszych LLM-ów powiedzmy, bo ja też nie chcę polemizować z taką interpretacją, że mamy pewien tryb działania naszego umysłu, mózgu, także w obszarze przetwarzania informacji tekstowej, wiedzy takiej właśnie zwerbalizowanej, gdzie przewidujemy, co powinniśmy powiedzieć i potrafimy interpretować teksty

To ja tylko, może żeby domknąć ten wątek super ważny, bo to jest rzeczywiście nowa rzecz, nowa informacja. Ja tylko skomentuję punktem wyjścia tej dygresji, że mamy na talerzu ważną rozmowę z twórcą tego podejścia, ale też, który z jednej strony, wrócimy zaraz do LLM-ów, krytykuje... W gruncie rzeczy to, co nazywamy hype'em, czyli pewnego rodzaju nadmierne oczekiwania, bo to jest ważne, nadmierne oczekiwania, które zostały w ostatnich latach na fali popularności GPT-ów wypromowane, wyprodukowane przez opowieści. Zwracając uwagę, że tam nie ma żadnych informacji o tym, co pozajęzykowe i to jest bardzo ciekawy problem, czy można analizując język wywnioskować właściwości spoza języka, bo są tacy, co tak twierdzą, ale jednocześnie to jest rozmowa o tym, w którym kierunku powinny iść badania, czy też pewna prognoza, będą szły badania i inżynieria za tymi badaniami.

Jest też metapracja nad takim systemem. Tesla, czyli powiedzmy Elon Musk. Rozumiem, że Samsung też, ale tutaj znawiamy znak Znaczy kropkę, a wracamy do punktu wyjścia, bo powiedziałeś, jeszcze raz powtórzę taką tezę, że zrównujesz halucynacje LLM-ów z wyobraźnią, ponieważ to jest proces naturalny dla tworzenia predykcji, dla tworzenia modeli rzeczywistości, przy czym wyszliśmy w tę dygresję w momencie, kiedy powiedziałeś, że LLM-y nie mają tych ograniczeń, co my, tak? a mają inne. Inne, no właśnie. Ale jak ważny to jest element twojej koncepcji? Bo ja powiem szczerze, no dobra, to teraz zajmę stanowisko. Chodzi o to, że ja uważam, że powinniśmy bardzo uważać na język.

System drugi, czyli myślenie wolne, które jest warunkiem z kolei adaptacji, którą to z kolei szolę i powiedzmy ja za nim tutaj równuję z inteligencją ogólną. I to jest to, czego LLM nie ma. LLM doskonale sobie radzą z systemie pierwszym, czyli generowaniem czegoś, co ja to nazywam nie kreatywnością, tylko generatywnością. Możemy to nazywać generatywnością, ale to od razu powiem, że ta adaptacyjność nie jest niczym niezwykłym. I to jakby wprowadzenie tego do architektury LLM-ów jest w zasadzie trywialne. I istnieją o wiele prostsze układy sterowania, które spełniają moją definicję inteligencji, które wykorzystujemy na co dzień. To są regulatory samostrujące czy adaptacyjne.

Tak, ja jestem... Ciężko nie być Platonikiem, nie? Ciężko nie być, chociaż no tak, Platon, Wies, Arystoteles i spółka, to moglibyśmy długo i z przyjemnością to może następnym razem... Nie idźmy może tą drogą, bo nigdy nie skończymy. Zrobimy swój podcast osobny, się rozgałęzi tutaj, no. Tak, co chciałem powiedzieć? Aha, tylko jeszcze słowo na temat tego, jak to można wprowadzić i co w zasadzie akurat też w moim laboratorium Safety and Alignment Lab w A-Center Warszawa tego typu badania prowadzimy. To się nazywa AI czy LLM steering.

Tak, tak, tak. Dobrze, to skupmy się na transformerach. Zaczynamy od wektorowej reprezentacji pojęć, są te embeddingi. Teraz co robi transformer, kiedy dostaje... Skupmy się na scenariuszu, w którym przewidujemy dalszą część zdania. Czyli dostaje prompta. Zostaje jak tak, zostaje staropolskiego prompta, musi coś z tym dalej zrobić. Wszyscy wiemy, że jest to tak zwane przewidywanie kolejnych tokenów, czy kolejnych słów, jak to się odbywa. Zaczynamy od... ogólnych reprezentacji słów i potem to ogólne znaczenie w rozumieniu LLM-a jest korygowane kontekstem. I to jest dodawanie rzeczywiście wektorów w tej przestrzeni domniemanej wektorowej.

W praktyce, tak. Jak mówię, być matematycznym purystą to bym musiał zobaczyć dowód, ale z praktycznego punktu widzenia po prostu dodajemy wektory i ta przestrzeń jest o tyle gęsta, by the way mówię, że ona jest polska i to jest formalne, istnieje... Techniczny termin, ja nie wiedziałem tego ostatnio, wstyd mnie, ale tak, to jest techniczny. I oczywiście w tej przestrzeni możemy takie dodawanie wykonywać i gdziekolwiek nie skończymy, to tam będzie pewien wektor, który możemy potem przetłumaczyć z powrotem na coś. I to będzie coś, co ma jakieś znaczenie, na jakąś semantykę z powrotem przetłumaczyć. No i oczywiście możemy tam trafić, możemy w ten sposób znaleźć się w tych obszarach, w których my sami byśmy mogli się nie znaleźć. I w tym sensie jest to generalnie kreatywne. Tak, no bo to jest wzmocnienie naszej wyobraźni, czy taki wzmacniacz, jak Lem pisał, wzmacniacz wyobraźni.

Czyli musimy skonstruować mechanizm, który na podstawie zapytania wyszuka w dostępnych dokumentach to, co jest istotne i potem na podstawie tych wyszukanych informacji zbudować kontekst i poprosić LLM, żeby zbudował wypowiedź na podstawie tego kontekstu. W swoim artykule zresztą opisuję ten scenariusz, bo pokazuję w którym momencie, na którym etapie się pojawia ryzyko halucynacji i które z tych czterech kryteriów może być naruszone na którym etapie. Ale jest to jedna ze strategii właśnie zarządzania tym problemem. Do tego wrócimy, jak zarządzać i tam może jeszcze nam się uda proskleić z tym, co publikowali niedawno autorzy z Open AI. Tak, tak. Ale po drodze już kilka razy on się tutaj pojawiał, a ponieważ jesteś profesorem matematyki i też jak już... Informatyki z zastosowaniami matematycznymi.

Jest bardziej kalkulatorem. Jest takim właśnie, właśnie. No teraz, ale jak już mówimy o lelemach, dyskusji przyjętych o lelemach, cudownych, szczęsnych, nieszczęsnych, LLM-y funkcjonują, czy ta inferencja w LLM-ach odbywa się w przestrzeni znaczeń, w przestrzeni interpretacji i w przestrzeni aproksymacji. Oczywiście możemy powiedzieć, że te mechanizmy, które za tym stoją, to są funkcje obliczalne, ale... Jakby wnioski, które z tego wynikają, one produkują język. I tutaj wobec tego nie widzę... To jest argument, żeby nie przenosić 1 do 1 tego na LLM-y, bo Penrose to robi.

Okej. I teraz ja rozumiem to przejście, że LLM-y, które nie istniają w czasach, kiedy Beden sformułował swój argument, interpretacja, a nie Geddel, jednak operują na pewnej, powiedzmy, semantyce. Tak. Ja rozumiem, że to znaczy, że przynajmniej taka czerwona flaga, żeby nie kopiować 1 do 1, tak? Żebyśmy się dobrze zrozumieli, to jest moja propozycja kontrataku na argument Penroza, ale nie formułuję tego w postaci twierdzenia, bo to należałoby udowodnić. Zresztą sam Penroz też swojego argumentu nie sformalizował, aczkolwiek... No, jakby geniusz Panroza polega również na tym, że on jest w stanie formułować takie stwierdzenia, które są paliwem dla bardzo ważnych dyskusji.

Uczenie to jest rozwiązywanie układów równań. Żeby nauczyć LLM, musisz rozwiązać układ równań. I teraz te układy równań, jak są gigantyczne, to pytanie skąd wziąć tę odwrotność. Oczywiście nikt przy zdrowych zmysłach nie liczy najpierw odwrotności, tylko się bardzo sprytnie uzyskuje efekt odwrócenia, ale jeżeli problemy są gigantyczne i mamy ograniczone informacje, to jednym ze sposobów jest randomizacja, więc otwarte pytanie, znaczy w ogóle się zrodził w ostatnich latach taki dział matematyki, który się nazywa randomizowaną algebrą liniową i właśnie tam te operatory badamy. jak przy pomocy niepełnej informacji, fragmentu wiedzy, znaleźć tę odwrotność po to, żeby móc nauczyć LLM-a. Czyli to jest jakby fundament algorytmu uczenia.

Okej, czyli to nie tylko, bo to wiesz, ja oczywiście zadaję to pytanie, dlatego, że słyszę gdzieś po drugiej stronie, jak kogoś to nas słucha, ale po co to? W ogóle ja nie wiem, co to jest. Po co to, żeby móc uczyć LLM-a. Wracamy do LLM-u w takim razie. Ja bym bardzo chciał z tobą jeszcze... Czy w ogóle ja, żeby w ogóle rozwiązywać... żeby rozwiązywać zadania sterowania, żeby rozwiązywać zadania przetwarzania dźwięku, żeby odszumiać, żeby przetwarzać obrazy, żeby liczyć podatki, żeby... Cała automatyka stoi na rozwiązywaniu układów równań, a układy równań rozwiązujemy dzięki temu, że odwracamy macierze, które tam są, a odwrotność macierzy to jest pseudoodwrotność i tutaj... Czyli innymi słowy Penrose stoi też za uczenie maszynowe. Bardzo ciekawe. Super, że to powiedziałeś.

Ja chciałbym z tobą jeszcze przemawiać coś, co za mną chodzi ostatnio też w kontekście tego, co powiedział wspomniany tu już Satan. Jeszcze raz przypomnę ten wątek, że LLM-y mają bardzo dużo informacji, ale tekstowych. One są trenowane na tekstach. I jest taki pan, był, nazywa się Joshua Bar-Hillel, który był entuzjastą uczenia, to jeszcze nie było uczenie maszynowe, ale to były pierwsze prace nad sztuczną inteligencją w latach 50., ale jak się przyjrzał, to stracił swój entuzjazm, ponieważ doszedł do wniosku, że niemożliwe jest rzetelna translacja, to znaczy taka automatyczna rzetelna translacja, przekład z jednego języka na drugi, co było jednym z takich pierwszych programów czy projektów w zakresie tej jeszcze wczesnej sztucznej inteligencji, czyli jak stworzyć maszynę, która tłumaczy od języka na język, no bo to się wydaje takie najbardziej...

Może dwa razy użył w całej swojej literaturze. Ale mówimy, że to jest umiejętność odnoszenia tekstu do rzeczywistości, czyli ja łączę ze sobą to, co na przykład mi dostarcza książka, podręcznik albo LLM i odnoszę to do jakiejś rzeczywistości pozajęzykowej. I to już wymaga jakichś umiejętności, które nie są w tym opisie. A drugie, że to jest znajomość tej rzeczywistości, do której ja to odnoszę. która pozwala mi porównać, czy ten opis się z tą rzeczywistością zgadza. I tu mamy, powiedzmy, jakąś tam klasyczną definicję prawdy. I teraz o tyle to jest istotne, że Bar-Hillel dosłownie rok później używa bardzo podobnego argumentu, że niestety, ale mamy w języku takie zjawiska, jak znaczenia deiktyczne czy nazwy własne, których nie policzysz tego znaczenia, wyłącznie bazując na wiedzy dostępnej w języku.

I ja słyszę, że ten argument do dziś dzień leży i mamy go... Ja rozumiem, że potem się pojawił internet, pojawiły się dane głębokie, uczenie głębokie, dane niustrukturyzowane, zaszywane i mamy bardzo dużo kontekstów, które nam determinują znaczenie, ale ciągle są te konteksty pozajęzykowe, o których mówi Satan. I teraz właśnie pytanie, czy Czy abstrahując od problemu halucynacji, tak jak go definiujesz, tylko bardziej zahaczając ten temat odnoszenia wygenerowanych przez transformery opisów rzeczywistości do niej samej, i tego, że rozumiemy, że potrzebujemy wiedzy innej niż zawarta w LLM-ie do tego, żeby odnosić, czy to nie pokazuje właśnie na przewagę, na jakąś różnicę, którą posiada nasz umysł, której nie możemy póki co symulować.

Właśnie inteligencję ogólną. Tych przewag jest mnóstwo rzeczywiście i tak oczywiście cóż może wiedzieć LLM, no to co tam gdzieś wyczytał skądś i to jest jego, jego, tego, jej, tego oto LLM-a, temu LLM-u. obraz świata i to jest w ogóle w wywłoczeniu tak zwanej prawdy prawdziwej, czyli ground truth, która jest obecna w... która jest zbiorem trenującym, czyli LLM wie tyle, ile mu się pokazało. Ale rzeczywiście jest on, czy antropomorfizuje?

Natomiast, wiesz, i tak naprawdę to ja zawsze to czytałem przez pryzmat w ogóle Heideggera, Hermentu i Niemieckiej. Tam to była właśnie próba stworzenia metody myślenia, poznania, która poza językiem prowadzi umysł czytelnika, tak pracował Heidegger. by the way, nie? A poza tym, że Hussel, jak wiesz, był matematykiem. Więc to jest też takie, że to jest to, co zbiera, że my mamy wiedzę i ja to wiążę z tą inteligencją ogólną, której jeszcze modelu nie mamy. No, kahnemanowskie myślenie wolne z grubsza, ale to już tam upraszczamy. o tym, co warunkuje użycie języka, o tym, czego nie ma w modelu językowym rzeczywistości LLM.

To jest o tym argument. Ale dlaczego o tym mówimy też w kontekście Turinga, Penrose'a i tak dalej? No bo pytanie właśnie, czy tutaj nie ma zastosowania ta zasada, że LLM jest jednak maszyną liczącą, nie? Okej, to jest zawansowana matematyka, to jest jakaś tam nasemantyzowana matematyka, no ale wraca gdzieś ten problem, powiedziałeś, bo tu chiński pokój też się wyskakuje, nie? Czyli argument, że to jest matematyka, która pozwala policzyć to, co jest w instrukcjach, co jest w znakach, ale nie wie nic o relacji między tymi znakami a rzeczywistością. No bo to jest dokładnie... Ale to jest istota matematyki. Matematyka, matematycy zajmują się obiektami, o których nie mam pojęcia. Hilbert, czy to powiedział? Więc, więc szczerze, tak jest brutalnie.

Mamy pokój, do którego się zamykamy i masz zestaw instrukcji, dostajesz napis w języku chińskim, masz instrukcję, jak to przetłumaczyć. I bardzo dużo czasu. I bardzo dużo czasu, bardzo dużo instrukcji. I na zewnątrz wychodzi tłumaczenie, ale ty wykonujesz ślepą instrukcję, wobec tego nie rozumiesz chińskiego. Ale i tak działają LLM-y, ja rozumiem. No dobra. I teraz jakby to jest cała lista... Ale. Cała lista genialnych chwytów retorycznych i to jest oczywiście to... Dlatego Serl jest klasykiem, bo potrafił taką konstrukcję, taką opowieść zbudować, która jest paliwem dla bardzo ważnych dociekań.

Tak. Tematu benchmarków nie poruszajmy, bo też mamy kilka ostatnich artykułów. Tak na EMNLP mamy taką pracę, która pokazuje... że state of the art benchmarki, ale w staropolsku mówimy, prawda? Tak, tak. State of the art benchmarki. Tak. Czyli tych, których się używa do uczenia. Tych, których się używa, które uważają za najlepsze, jakie są dostępne oraz metody wykrywania halucynacji. Wszystko to, co jest na top konferencjach. Jest wadliwa. A to zostawmy na boku, może kiedy rzeczywiście do tego wrócimy w jakiejś rozmowie. Natomiast tam wnioski są takie, że po pierwsze, i to jest, wracamy na powierzchnię można powiedzieć, bo to już jest dla każdego użytkownika, zwykłego zjadacza LLM-a, że po pierwsze pamiętajcie, że błędy są nieuchronne, zwłaszcza dla tak zwanych arbitralnych faktów, to jest język OpenAI, a ty mówisz o nietrywialnych pytaniach.

Tak, halucynacje mogą się objawiać na cztery sposoby. Odpowiedzi mogą przekłamywać wiedzę, która jest zakodowana w modelu, mogą nie mówić wszystkiego, co jest zakodowane w modelu, mogą wymyślać w sposób bardzo przekonywujący. Jeszcze do tego cykofancja dochodzi. Każdy interfejs LLM jest tak zrobiony, żeby tobie się umizgiwać. I to jest to czwarte kryterium, bo to jest właśnie optymalizacja tego kryterium satysfakcji użytkownika. Czyli one są tak uczone, żeby maksymalizować satysfakcję użytkownika z udzielonej przez LLM odpowiedzi. Do tego dochodzi niestabilność, o której wspomnieliśmy, o której rozmawialiśmy z Pawłem Szczęsnym. Do tego dochodzi kwestia aktualności i tam też w pierwszym odcinku podawaliśmy kilka jeszcze innych kryteriów dla halucynacji.