Mentionsy

Dzień dobry albo dobry wieczór, w zależności od tego, kiedy akurat kliknęliście play.

Ja nazywam się Żaneta Kurcewicz i na co dzień współtworzę firmę Engave, rodzinną spółkę technologiczną, która już od 15 lat pomaga firmom i instytucjom rozwijać się w cyfrowym świecie bez strachu przed technologią.

A to jest mój podcast, w którym przyglądam się technologii z bliska, szukam sensu w zmianach, które dzieją się wokół nas i pokazuję, jak cyfryzacja realnie wpływa na codzienne funkcjonowanie ludzi i organizacji.

Umiecie wyobrazić sobie, że Wasze oczy to piekło pełne krzyczących demonów?

Każdy z nich jest maniakiem jednej rzeczy.

Jeden wrzeszczy, gdy tylko zobaczy pionową kreskę.

Drugi traci głowę na widok łuku.

A trzeci żyje, powiedzmy, tylko dla kątów prostych.

I nagle wszystkie te demony zaczynają krzyczeć jednocześnie.

Ale w tym hałasie jest metoda, bo jeden demon przekrzyczy całą resztę i to jego głos stanie się Waszym widzeniem świata.

Pandemonium, czyli krzyk, który potrafi zmienić chaos w inteligencję i który, choć narodził się w wyobraźni inspirowanej XVII-wiecznym poematem o piekle, do dziś rządzi każdym filtrem na Instagramie, każdym systemem rozpoznawania twarzy i każdą Teslą, która musi zdecydować, czy na pasach stoi człowiek, czy to może jednak cień drzewa.

O człowieku, który wpadł na ten pomysł.

O epoce, która była gotowa i jednocześnie niegotowa na maszyny potrafiące widzieć.

I o tym, jak z literackiego obrazu chaosu zrodziła się architektura współczesnej sztucznej inteligencji.

Dlatego jeżeli tylko taka tematyka Was interesuje, serdecznie zapraszam do wysłuchania całości odcinka.

Oliver Selfridge, człowiek paradoks.

Oliver Selfridge przyszedł na świat w rodzinie, w której zamiast książek o matematyce częściej mówiło się o wystawnych witrynach sklepowych i błyszczących salonach.

Był wnukiem Harrego Selfridge'a, założyciela słynnego domu towarowego w Londynie.

Człowieka, który ubierał arystokrację i karmił wyobraźnię londyńczyków luksusem.

Można by pomyśleć, że Oliver pójdzie w te ślady, że odziedziczy smykałkę do biznesu i sceniczny zmysł swojego dziadka.

On zamiast patrzeć na jedwabie i perfumy wolał pochylać się nad matematycznymi łamigłówkami, eksperymentować z komputerami wielkości szafy i czytać XVII-wieczną poezję.

Wyobraźcie go sobie.

Młody, dziewiętnastoletni chłopak, który już kończy MIT, chudy, wiecznie elegancki, wchodzący do gabinetu Norberta Wienera, ojca cybernetyki i z dziecięcą pasją rozprawiający o tym, jak można zmechanizować myślenie.

To nie była typowa droga naukowca.

Selfridge był zbyt ciekawski, żeby iść według szablonu, zbyt niepokorny, żeby dać się zamknąć w akademickich ramach.

Na poważnych konferencjach naukowych rysował swoje demony niczym postaci z kreskówek, a później wracając do domu pisał bajki dla dzieci.

A jednocześnie potrafił spędzać lata w laboratoriach MIT i doradzać amerykańskiej agencji wywiadowczej NSA.

Człowiek paradoks, w którym Dandys spotkał się zupełnie nie szablonowo z wizjonerem.

I właśnie w tej mieszance tej literackiej fantazji i matematycznej dyscypliny narodził się pomysł, który zmienił historię sztucznej inteligencji.

Bo Selfridge wziął miltonowską wizję pandemonium, czyli stolicę piekła pełnej krzyczących demonów i przekształcił ją w model percepcji.

W świecie, w którym komputery liczyły tablice logarytmiczne i mieściły się w halach fabrycznych,

On odważył się pomyśleć, że można stworzyć maszynę, która widzi.

I to właśnie ta wizja, ten krzyk demonów zamieniony w porządek, ten chaos przekształcony w logikę sprawiły, że Oliver Selfridge został zapamiętany jako ojciec maszynowej percepcji.

Ale żeby zrozumieć, jak rewolucyjna była to idea, musimy cofnąć się do lat 50.

Do świata, w którym komputery były głośne, toporne i ślepe jak kred.

Do epoki, w której pytanie jak nauczyć maszynę rozpoznawać literę A brzmiało jak czyste science fiction.

Wyobraźcie sobie lata 50.

Świat dopiero zaczynał oswajać się z komputerami.

Wielkimi jak całe pokoje, głośnymi, pełnymi migających lampek, które robiły jedno.

Nie rozumiały obrazów, nie widziały liter, nie rozpoznawały twarzy.

A jednak ludzie patrzyli na te maszyny i pytali, czy można nauczyć je widzieć?

Czy da się sprawić, by komputer

I choć brzmiało to abstrakcyjnie, niemal jak pytanie o to czy lodówka może napisać wiersz, nie brakowało śmiałków aby to sprawdzić.

Pierwsze próby były naiwne, choć dosyć logiczne.

Powstała tak zwana teoria szablonów, template matching.

Założenie było proste.

Każda litera, każdy kształt ma swój idealny wzorzec, taki powiedzmy odcisk palca.

Wystarczy porównać widziany obraz z przechowywanym szablonem i gotowe.

Tylko, że to było tak absurdalne, jakbyśmy chcieli, żeby biblioteka przechowywała miliony książek opisujących każdą możliwą czcionkę, każdy wariant litery A drukowany, pisany odręcznie, krzywy, odwrócony, przekrzywiony.

Świat potrzebował na tamten moment zupełnie innej koncepcji.

I tak oto w 1957 roku na scenę wszedł Frank Rosenblatt ze swoim wynalazkiem, czyli Perceptronem.

Maszyna, która się uczy, pisały gazety.

Na zdjęciach widać było Rosenblatta z komputerem podłączonym do kamerki, jakby stworzył elektroniczne oko przyszłości.

No to był szał na miarę pierwszych lotów w kosmos.

Tylko, że Perceptron miał swoje granice.

Radził sobie z prostymi zadaniami, ale przy bardziej skomplikowanych zupełnie zawodził.

I wtedy właśnie pojawił się Oliver Selfridge z pytaniem, które wywróciło wszystko do góry nogami.

A co jeśli nie musimy szukać całej litery naraz?

Co jeśli wystarczy rozpoznać jej kawałki?

Nie szablon, nie całość, ale jej charakterystyczne cechy.

To brzmiało trochę jak herezja, ale Selfridge miał nosa.

W tym samym czasie neurobiolodzy David Hubel i Thorsten Wiesel odkrywali, że w mózgu kotów istnieją neurony reagujące wyłącznie na konkretne kształty.

Jeden neuron odpalał się tylko wtedy, gdy pojawiła się linia pionowa, a inny tylko na poziomą kreskę.

Jeszcze inny na kąt prosty.

Przyroda podpowiadała, że tak właśnie działa percepcja.

Nie widzimy liter ani twarzy w całości, tylko składamy je z fragmentów jak z klocków.

I w tym momencie historia literackiej metafory o krzyczących demonach zaczęła łączyć się z twardą biologią.

Selfridge zobaczył, że jeżeli stworzy maszynę złożoną z takich małych detektorów cech, to ona też będzie w stanie zobaczyć literę.

I to był krok, który oddzielił Pandemonium od naiwnej teorii szablonów i od matematycznej elegancji perceptronu.

Chaos demonów okazał się bliższy prawdy,

Załóżmy scenę, w której na stołach leżą przezroczyste folie.

Na pierwszej surowy obraz litery, jak zdjęcie zrobione starą kamerą.

Na drugiej cieniutkie rysunki linii pionowych i poziomych.

Na trzeciej łuki i kąty.

Na czwartej zarys konkretnej litery.

Powiedzmy R. Teraz połóżmy je jedną na drugiej.

I tam, gdzie warstwy się spotykają, tam powstaje nasze eureka.

Wizja systemu, który miał w sobie energię i chaos, niczym sala pełna ekspertów, gdzie każdy krzyczy tylko w swojej specjalizacji.

Ale właśnie w tej kakofonii kryła się logika.

Model składał się z czterech pięter, hierarchii, w której każdy poziom miał swoją rolę, a całość układała się w maszynę zdolną do widzenia.

Poziom pierwszy.

Demon obrazu.

Na samym dole siedzi magazynier.

Demon obrazu nie jest ani bystry, ani wybredny.

Jego rola jest pokorna, ale niezbędna.

Rejestruje to, co wpada do systemu.

Plamy światła, piksele, kształt cienia na mokrym asfalcie.

Działa trochę jak siatkówka.

Chwilowe przechowywanie, ale żadnych interpretacji.

Kiedy obraz znika, to gaśnie.

Proste?

Proste.

Ale bez niego cała reszta nie ma czego czytać.

Poziom drugi.

Specjalistyczna ferajna.

Tutaj zaczyna się prawdziwy gwar.

Jak wspomniałam wcześniej, pion, poziom, przekąt na łuk, kąt ostry, kąt prosty, zakończenie linii, rozgałęzienie.

Żeby Wam to przybliżyć, wyobraźcie sobie nocny bar, w którym każdy klient siedzi tyłem do sali i tylko czeka w napięciu na swoją piosenkę.

I kiedy z głośników poleci właściwy motyw, to podskakuje i krzyczy.

I tak działają detektory.

Ich głośność rośnie proporcjonalnie do tego, jak bardzo obraz pasuje do ich ulubionej cechy.

Dwa krótkie piony?

To wszystko dzieje się równolegle i żaden nie pyta o zdanie sąsiada.

I teraz mały szczegół, który robi wielką różnicę.

Te demony nie są zero-jedynkowe.

One krzyczą głośniej albo ciszej.

Taki stopniowalny krzyk to nasz poziom aktywacji.

Coś jak gałka głośności w starym wzmacniaczu.

W praktyce oznacza to, że informacja nie ginie.

Jest przekazywana w postaci siły dowodu.

Poziom trzeci.

Kolekcjonerzy porządkujący znaczenia.

Na tym poziomie na scenę wchodzą kuratorzy.

Każdy demon poznawczy słucha konkretnych konfiguracji krzyków z niższego piętra i specjalizuje się w całych wzorcach.

Pion plus łuk plus ukośna to jego ukochana R. Inny to pion plus łuk, czyli P. Kolejny pion plus poprzeczka plus pion to H. To już nie jest przypadkowe wiwatowanie, to jest integracja.

Każdy z tych kuratorów ma w sobie mały księgowy mechanizm.

Zlicza dowody, waży, sprawdza czy to już jego litera, czy to jeszcze za mało, czy to może sąsiad ma rację.

I znowu, nie krzycze tak lub nie, tylko podnosi głos, kiedy układ cech pasuje coraz lepiej.

To tutaj rodzą się nasze codzienne złudzenia.

Weźmy klasykę R kontra P. Po krótkiej ekspozycji w deszczu z odbłyskiem latarni demony cech dla łuku i pionu jadą na pełnym regulatorze, a demon u kośnej dopiero się budzi.

Demon P już podskakuje i mówi to ja, to ja, a demon R mówi poczekaj jeszcze moment.

Kto wygra?

Ten, kto w danej chwili zbierze więcej ważonych dowodów.

Dochodzimy na szczyt, a na szczycie siedzi ktoś w rodzaju dyrygenta, ale trzyma tylko jedną batutę.

Nie komponuje, nie poprawia nut, nie dorzuca nowych skrzypków.

On po prostu słucha chóru poznawanych demonów i wskazuje na tego, który jest najgłośniejszy.

Widzimy R. Słyszymy P. To jest H. Jego decyzja kończy percepcyjną rundę.

To jest taki moment, który każdy z nas czuje, kiedy obraz albo jakaś myśl kliknie nam w głowie.

Żeby jednak ten cyrk nie zamienił się w permanentny chaos, to system potrzebuje progów, żeby szum nie uruchamiał wrzasku.

Hamowania bocznego, kiedy jeden demon się rozpędza, sąsiadom ścina się głośność.

I mechanizmu winner takes most, czyli wygrywa najgłośniejszy, ale finalny głos jest rozsądny, a nie historyczny.

Dzięki temu Pandemonium nie tylko zbiera dowody, ale też porządkuje konkurencję.

To dlatego potrafimy rozpoznać literę nawet wtedy, gdy połowa informacji jest zaszumiona.

Sygnał grupy właściwych demonów po prostu przebija się przez gwar.

A teraz pora na mikroeksperyment, który możecie zrobić sami.

Narysujcie trzy kreski.

Długą pionową, krótką poprzeczną na górze i krótką ukośną, odchodzącą od połowy pionu.

Patrząc kątem oka, co widzicie najpierw?

P czy R?

Jeżeli najpierw widzicie P, to znaczy, że Wasze demony łuku i pionu przekrzyczały na moment tę biedną ukośną, która doszła sekundę później.

Ale jeżeli widzicie R, to zapewne Wasz detektor ukośnej ma dziś po prostu lepszy dzień.

Tak dokładnie wygląda finał wyścigu, który Pandemonium opisuje jako krzyk proporcjonalny do dopasowania.

Skąd jednak demony wiedzą, co liczy się bardziej?

Selfridge nie pisał równania na tablicy jak w filmach o genialnych matematykach.

Zostawił intuicję, która przetrwała zresztą do dziś.

Po poprawnej decyzji ścieżki dowodowe dostają premię, a po błędzie karę.

W praktyce oznacza to wzmacnianie połączeń między tymi demonami cech, które realnie pomogły w trafieniu i osłabienie tych, które popchnęły system w złą stronę.

Gdy pomyliliśmy R z P, to następnym razem wagę ukośnej podkręca się odrobinę wyżej, żeby R szybciej zagłuszało P. I to jest praprzodek idei wag w nowoczesnych sieciach.

Uczenie przez drobne korekty wpływu.

A dlaczego to działa szybciej niż brzmi?

Bo wszystko dzieje się równolegle.

Nie ma kolejki, nie ma centralnego urzędnika, który rozpatruje wnioski.

Wyobraźcie sobie orkiestrę, w której sekcje grają w tym samym czasie, a dyrygent tylko wyłapuje, która partia jest w danym momencie prawdziwą melodią.

W tym sensie pandemonium to nie jest tylko metafora, a sprawny algorytmiczny mechanizm selekcji sygnału z hałasu.

Gdzie zatem kończy się magia, a zaczyna anatomia ograniczeń?

Za chwilę porozmawiamy o wiązaniu relacji, o tym dlaczego te same części mogą ułożyć T albo H i czemu pandemonium miewa z tym kłopot.

Ale zanim tam dojdziemy, chcę Wam przekazać jedną ważną obserwację.

Bo to, że system wybiera najgłośniejszego, to nie znaczy, że cała reszta znika.

W tak zwanym długim ogonie decyzji zawsze zostaje rezerwa, czyli takie demony, które były blisko.

I to one wyjaśniają, czemu czasem sekundę po rozpoznaniu mówicie, hmm, to chyba jednak było P. Precepcja bywa odwracalna nie dlatego, że jesteśmy niezdecydowani, ale dlatego, że konkurencja była prawie remisowa.

Pandemonium kontra Perceptron.

Wielkie starcie o tytuł modelu, który nauczy maszyny myśleć.

I to jest cały sekret.

Magazynier, ferajna specjalistów, kuratorzy i jeden dyrygent.

Cztery piętra, które zmieniają światło w znaczenie.

A teraz, skoro już wiemy, jak brzmi ten chór, to zobaczmy, jak Pandemonium wypada w pojedynku z inną gwiazdą lat 50., czyli wspomnianym wcześniej Perceptronem.

Kto ma lepszy repertuar, a kto ma lepszą technikę?

Pod koniec lat 50. nikt jeszcze nie mówił o sztucznej inteligencji, ale już wtedy wyłoniło się dwóch pretendentów do tytułu modelu, który nauczy maszyny myśleć.

Z jednej strony był Frank Rosenblatt, o którym wspomniałam, i jego Perceptron, o którym gazety pisały, że oto rodzi się elektroniczny mózg, który nauczy rozpoznawać kobiety po twarzy i przewidywać przyszłość.

Perceptron działał inaczej niż Pandemonium.

Był uporządkowany, elegancki i matematyczny.

Brał dane wejściowe, przepuszczał je przez zestaw wag, a potem dopiero decydował, do której klasy należą.

Zero metafor, zero demonów, czysta algebra.

Z drugiej strony mieliśmy nasze Pandemonium.

Nie algorytm, a raczej opowieść o percepcji ubrana w architekturę.

I to było starcie dwóch filozofii.

Perceptron dawał wrażenie porządku i czystości matematyki.

Pandemonium przypominało raczej koncert punk rockowy.

Problem polegał na tym, że Perceptron w pewnym momencie mocno się wykoleił, bo nie potrafił rozwiązywać jednego, wydawałoby się banalnego zadania.

Odróżnić przypadków nieliniowych.

Pandemonium również miało swoje ograniczenia,

Było bardziej jak mapa idei niż gotowy algorytm.

I dlatego przetrwało jako inspiracja.

Można powiedzieć, że Pandemonium wygrało nie dlatego, że było lepszym programem, ale dlatego, że miało lepszy storytelling.

Historie, którą można było rozwijać, dopasowywać, reinterpretować.

Tutaj matematyka Rozamblata zawiodła.

A z kolei poetycka metafora Selfridge'a

Żaden jednak genialny pomysł nie jest wolny od rys.

I Pandemonium również miało swoje słabe strony i paradoksalnie to właśnie one wskazywały kolejnym badaczom drogę.

Weźmy ten klasyczny przykład litery T i H. Obie składają się z pionowych i poziomych linii.

Dla demonów Selfridge'a to właśnie ten sam koncert krzyków.

Linia pionowa, linia pozioma, wszyscy drą się równie głośno.

Ale co odróżnia T od H?

W T pozioma linia jest na górze, w H jest pośrodku.

Pandemonium tego nie widziało, nie rozumiało relacji przestrzennych.

To właśnie nazwano problemem wiązania.

Drugi kłopot to brak kontekstu.

Tymczasem my, ludzie, rozpoznajemy litery szybciej, gdy są częścią słowa.

A samo w sobie może być mylące, ale w słowie auto już prawie samo wskakuje do głowy.

Model również świetnie radził sobie z prostymi znakami, ale przy większej różnorodności obiektów pojawiał się problem.

Obrócona litera H?

No to trzeba było stworzyć nowego demona.

Litera H w innym kroju pisma?

W praktyce oznaczało to lawinowe namnażanie jednostek i utratę biologicznej wiarygodności.

No i po czwarte, Selfridge opisał demony cech metaforycznie, ale nie sprecyzował, jakie dokładnie cechy są fundamentalne.

Czy krzywizna?

A może coś bardziej złożonego?

Bez tego model był elegancką ramą, ale wymagał doprecyzowania, by poradzić sobie z rzeczywistymi obrazami.

No i teraz sedno.

Bo te ograniczenia nie były porażką.

To były drogowskazy.

Dzięki nim kolejni badacze zaczęli szukać modeli, które łączą oddolne i odgórne przetwarzanie, które kodują relacje przestrzenne,

I które potrafią uczyć się cech automatycznie.

Innymi słowy, w niedoskonałościach Pandemonium zapisana była mapa przyszłego rozwoju AI.

Można więc powiedzieć, że Pandemonium było jak dziecięcy rysunek domu.

Prosty, ujmujący, pełen intuicji.

Ale żeby zamieszkać w takim domu, no to trzeba będzie dopisać instalacje, okna i fundamenty.

I to właśnie robili następcy Selfridge'a.

Od demonów do konwolucyjnych sieci neuronowych.

To, co w latach 50. wyglądało jak szalona metafora z poezji, dzisiaj jest podstawą technologii, z której korzystamy na co dzień.

Pandemonium stało się protoplastą nowoczesnych sieci neuronowych, a zwłaszcza CNN, czyli konwolucyjnych sieci neuronowych.

Najpierw jednak, nie wybiegając aż tak w przyszłość, przyszedł rok 1980.

I tutaj japoński badacz Kunihiko Fukashima stworzył model nazwany Neokognitron.

To on po raz pierwszy zbudował komputerową architekturę, która wprost przypominała pandemonium.

Warstwy prostych detektorów, odpowiedników demonów cech oraz warstwy łączące je w coraz bardziej złożone wzorce.

Neokognitron miał jedną wielką przewagę.

Potrafił uczyć się automatycznie i był odporny na przesunięcia obiektów w obrazie.

Dzisiejsze konwolucyjne sieci neuronowe działają dokładnie na tej samej zasadzie.

Mamy wczesne warstwy, które wyłapują proste kształty.

Jak linie, krawędzie czy kąty.

Mamy głębsze warstwy, które budują z tego bardziej złożone elementy.

Oczy, koła samochodów czy litery.

I mamy te najwyższe warstwy, które łączą całość w ostateczne rozpoznanie.

Twarz znajomego, znak drogowy czy guz na zdjęciu RTG.

Brzmi znajomu?

To nic innego jak cyfrowa wersja chóru demonów Selfridge'a.

I właśnie dlatego możemy powiedzieć, że Instagram, Tesla czy systemy diagnostyki medycznej mają wspólnego przodka w literackim pandemonium Johna Miltona i metaforze Olivera Selfridge'a.

Kiedy patrzymy tak na współczesne konwolucyjne sieci neuronowe, to trudno nie uśmiechnąć się do tej metafory.

Selfridge wyobrażał sobie wrzeszczące demony w oku.

Chaotyczne, hałaśliwe, rywalizujące.

A dziś ich prawnuki stały się czymś w rodzaju cyfrowych aniołów stróżów.

Cicho, bez krzyku, pilnują naszego bezpieczeństwa w samochodach, rozpoznają twarze na lotniskach, wspierają lekarzy w diagnostyce.

Hierarchia cech.

Od prostych do złożonych.

I tutaj historia zatacza koło.

Bo to, co kiedyś było akademickim eksperymentem na literach alfabetu czy kodzie Morse'a, teraz napędza technologie warte miliardy dolarów.

Od filtrów upiększających na TikToku, przez systemy rozpoznawania numerów rejestracyjnych, aż po autonomiczne pojazdy.

Wszystko to, to są właśnie prawnuki pandemii.

Teraz zatrzymajmy się na chwilę bliżej naszych czasów.

Bo jak mam nadzieję, każdy się już po tym odcinku zorientował, Pandemonium to nie tylko sucha teoria z lat 50.

Kilka lat temu w Centrum Nauki Kopernika w Warszawie otwarto wystawę o sztucznej inteligencji.

I pośród futurystycznych instalacji, hologramów i interaktywnych ekranów znalazł się właśnie eksponat wyjątkowy, czyli fizyczny model Pandemonium.

Miałam ostatnio okazję być tam na wieczorze dla dorosłych i osobiście mogłam podejść, powciskać przyciski, pobawić się układem demonów i zobaczyć jak wrzeszczą, właściwie tam głównie się świecą, jedno na drugie, aż w końcu pojawia się finalna litera, która jest decyzją.

Instalacja na tyle mnie zafascynowała, że pomyślałam, że właśnie o tym nagram kolejny odcinek.

Bo w tej prostej, trochę nawet

W karykaturalnie zabawnej konstrukcji kryje się początek wszystkiego.

Od tych filtrów na Instagramie, po systemy, które prowadzą samochody.

I że właśnie w tym przejściu od literackiej metafory do technologii przyszłości tkwi cała magia Pandemonium.

W Pandemonium podoba mi się również, że jest piękną, harmonijną mieszanką literatury, matematyki i biologii.

Dla mnie to jedna z tych historii, które pokazują, że nauka nie zawsze rodzi się w laboratorium z białymi fartuchami.

I że właśnie czasem zaczyna się od poezji, od otwartego, wrażliwego umysłu kogoś, kto ma odwagę zobaczyć w piekle instrukcję obsługi percepcji.

Jakie inne, na pierwszy rzut oka być może absurdalne metafory czekają, żeby zmienić nasze myślenie o technologii?

Dziękuję Wam bardzo za wysłuchanie całego odcinka.

Zachęcam do subskrybowania i oceniania kanału.

No i oczywiście do dyskusji w social mediach czy w komentarzach na YouTube.

Słyszymy się oczywiście za dwa tygodnie, a tymczasem trzymajcie się ciepło, łapcie ostatnie promienie słońca tej jesieni i uważajcie na swoje demony.

Playtech Together.