Mentionsy

Od czego zaczęła się nowa era AI?

W tym odcinku skupimy się na odpowiedzeniu na pytanie, jak to się stało, że sztuczna inteligencja przestała być domeną programistów, a zaczęła być dobrem dostępnym niemal każdemu.

wielkie marzenie i długa zima.

W rozdrzanych słońcem ceglanych murach Uniwersytetu Dartmouth spotyka się grupa genialnych matematyków.

Powietrze w sali jest ciężkie od dymu papierosowego i zapachu kredy.

Są młodzi, pełni buzującego zapału i wierzą, że świat leży u ich stóp.

Zapisują na zakurzonej tablicy zdanie, które ma zmienić niebawem globalną ekonomię, choć w tamtym momencie nie do końca zdają sobie z tego sprawę.

Zakładamy, że każdy aspekt uczenia się można tak precyzyjnie opisać, że da się zbudować maszynę, która go zasymuluje.

Byli święcie przekonani, że zanim spadną pierwsze jesienne liście, rozgryzą jak stworzyć sztuczny mózg.

Musicie wiedzieć, że to były dopiero początki myślenia o sztucznej inteligencji.

To spotkanie w tej dusznej sali uznaje się dziś za oficjalne narodziny dziedziny, którą nazwano sztuczną inteligencją.

Dla topornego komputera z lat 60-tych słowo zamek było martwym ciągiem znaków.

Złote, letnie marzenia z datmów umarły, a nad światem nauki o uczeniu maszynowym zapadła długa, chłodna noc.

Zjawisko to do dziś nosi w historii nazwę zimy sztucznej inteligencji.

Praca nad sztuczną inteligencją stała się akademickim dziwactwem pokrytym grubą warstwą kurzu.

Ale głęboko pod tą mroźną pokrywą lodu, powoli, małymi krokami, coś zaczynało kiełkować.

Mamy wreszcie gigantyczne, pulsujące życiem zbiory danych z internetu.

Żeby nauczyć maszyny języka, inżynierowie budują specjalny algorytm, czyli zestaw instrukcji nazwany RNN .

Wyobraźcie sobie, że to Wam zlecono zadanie przetłumaczenia jakiejś grubej książki.

Akt drugi.

Dolina tonie w gotówce.

Mamy superkomputery wielkości boisk piłkarskich i potężne karty graficzne, które wręcz błagają, by dać im jakieś wyzwania.

My tymczasem nadal korzystamy z algorytmu RNN.

Nasze przepiękne, piekielnie drogie i szybkie karty graficzne nie są w pełni wykorzystywane, poza pracą specjalistów od grafiki czy zapalonych graczy.

Czekają aż stare oprogramowanie powoli z mozołem przemieli jedno słowo, żeby dostać następne.

Próbowano to łatać, tworząc mały dodatek nazwany mechanizmem uwagi.

Miał on pomóc sztucznej inteligencji przypomnieć sobie, co widziała na początku tej topornej taśmy produkcyjnej.

Naukowa herezja zespołu z Google.

W jednym z rzęsiście oświetlonych surowych biur Google Brain zamyka się ośmiu badaczy.

Na stole stygnie kawa w papierowych kubkach, a białe tablice są od góry do dołu zamazane gęstym, chaotycznym pismem, plątaniną wzorów i strzałek.

Mieli za zadanie po prostu podreperować stary silnik tłumacza Google.

Zaczęli bawić się małym mechanizmem, który programiści nazywali uwagą.

I tu musimy się na chwilę zatrzymać, bo słowo uwaga jest w tym dokumencie piekielnie mylące.

Nasza ludzka intuicja podpowiada nam, że skupić na czymś uwagę, to znaczy wziąć lupę i wpatrywać się w jeden malutki punkt.

Ignorować resztę świata.

Ale ci naukowcy użyli tego pojęcia w sposób dokładnie odwrotny.

Zamek zaciął się w zimowej kurtce, więc zły rycerz musiał go wyrwać.

W starym systemie próbowała zgadywać, bazując tylko na tym, co pamiętała z poprzednich sekund.

Ale w nowym systemie badacze z Google wymyślili coś genialnego.

Self-attention, czyli mechanizm samouwagi.

Czym zatem jest mechanizm uwagi?

Mechanizm uwagi to nic innego jak matematyczna ocena tego, jak bardzo jedno słowo zależy od drugiego.

Przestajemy patrzeć tylko na jedno słowo po drugim.

Zamiast tego z każdego słowa maszyna wypuszcza tysiące świetlistych, matematycznych nici, które rozbiegają się we wszystkich kierunkach.

W ułamku sekundy algorytm analizuje te nici.

O tym, że zamiast czytać tekst słowo po słowie, od lewej do prawej, maszyna unosi się w górę i patrzy na całą sieć powiązań naraz.

Widzi, które słowa w gigantycznym tekście zwracają na siebie uwagę, nawet jeśli dzieli je od siebie kilka stron.

Kiedy ta dzika, obrazoburcza idea została po raz pierwszy odpalona na serwerach, karty graficzne zaryczały.

Ponieważ zniknęła kolejka słów, maszyny mogły po raz pierwszy w historii przetwarzać cały ten kontekst jednocześnie.

Rozgrzały się do czerwoności, pochłaniając gigantyczne zbiory danych w niewyobrażalnym tempie.

Nadają jej tytuł z nutką arogancji.

Uwaga, to wszystko, czego potrzebujesz.

Polski ślad w Google Brain.

Zmuszenie tych genialnych pomysłów by działały w praktyce to już zupełnie inna historia.

Powiedzmy, że grupa genialnych fizyków wymyśliła na papierze projekt futurystycznego statku kosmicznego o nieskończonej mocy.

Ale żeby ten statek naprawdę oderwał się od ziemi, potrzebujecie świetnego inżyniera.

Kogoś, kto wie, jak wykuć kadłub, jak połączyć tysiące kabli i jak upewnić się, że cała ta wspaniała maszyna nie rozerwie się na strzępy przy pierwszej próbie odpalenia silników.

Wśród ośmiu sygnatariuszy tej wiekopomnej publikacji, obok nazwisk z Doliny Krzemowej, widnieje nazwisko człowieka, który podjął się tego monumentalnego zadania.

Jego rola była absolutnie fundamentalna.

Kiedy zespół wymyślił architekturę Transformera, Łukasz, ówczesny pracownik Google, a obecnie OpenAI, opierając się na swoim matematycznym wykształceniu, pomógł zamienić tę dziką, nieokioł znaną teorię w coś namacalnego.

Współtworzył system nazwany Tensor to Tensor, który był czymś w rodzaju uniwersalnej skrzynki z narzędziami dla sztucznej inteligencji.

Dlaczego to było aż tak krytyczne?

Ponieważ bez tej skrzynki narzędziowej wynarazek Google mógłby na długie lata zostać uwięziony w ich zamkniętych laboratoriach jako skomplikowany, kapryśny i niemożliwy do odtworzenia eksperyment.

Łukasz Kaiser wziął te skomplikowane wzory i ułożył z nich twardy, logiczny fundament.

Skonstruował instrukcje i narzędzia, dzięki którym naukowcy od Tokio przez Londyn aż po Nowy Jork mogli po prostu wziąć ten nowy, potężny silnik, zamontować go w swoich komputerach i bezpiecznie odpalić.

Rozdała się po świecie niczym pożar, oddając potęgę transformerów w ręce badaczy, którzy na tym polskim fundamencie zbudowali wkrótce potęgę dzisiejszego chat GPT.

T w słowie GPT.

Po publikacji tego dokumentu świat wstrzymał oddech.

Okazało się, że maszyna patrząca na sieć powiązań zaczyna rozumieć poezję, programowanie i prawo.

Naukowcy podmienili słowa na piksele, tworząc generatory obrazów.

Podmienili słowa na aminokwasy i system AlphaFold pomaga naukowcom rozwiązywać największe zagadki biologii.

Zatem następnym razem, gdy w ciszy swojego pokoju otworzycie aplikację w telefonie, żeby zapytać sztuczną inteligencję o poradę, wygenerowanie kota lub kolejnego maila, spojrzyjcie na nazwę narzędzia, którego może używacie.

Chat GPT.

G to generative, czyli generatywna.

To owoc dekad naukowych frustracji, lodowatych zim i nagłego buntowniczego przebłysku w deszczowy kalifornijski poranek.

To dowód na to, że czasami, by pójść naprzód, trzeba zburzyć wszystkie mury i po prostu na nowo zwrócić na coś swoją... uwagę.

Dziękuję za wysłuchanie dzisiejszego odcinka.

Historia sztucznej inteligencji to ciekawa część ludzkiej historii, która nadal trwa.

Oryginalną publikację z 2017 roku, od której zaczęła się cała ta rewolucja, znajdziecie w sieci pod hasłem Attention is all you need.

Link do tego historycznego dokumentu zostawiamy oczywiście w opisie tego odcinka.