Rewolucja ChatGPT czyli o co chodzi w modelach językowych (#10)

Pojawił się tzw. świat bloków. I wtedy mamy jakieś zależności koncepcyjne do rozumienia języka naturalnego i różnego rodzaju takie pomysły, które były rozwijane. Cały czas nie mieliśmy jakichś wielkich sukcesów, ale NLP cały czas poszło do przodu. Kolejne rzeczy uzyskiwaliśmy, kolejne elementy przynosiły efekty. W międzyczasie powstały różnego rodzaju mechanizmy bazujące na NLP. Do bardzo znanych oczywiście należy Siri i Alexa, które potrafiły coraz więcej takich elementów realizować. Oczywiście tłumaczenie nasze maszynowe, wszyscy znamy chociażby Google Translatora, który z czasem coraz bardziej zmieniał się w bardziej wyrafinowane elementy. Pod spodem pojawiały się coraz więcej sieci neuronowych do przetwarzania tego. sieci neuronowe, które tam były właśnie typu RNN czy LSTM.

Taki był tego zamysł, takie było działanie z perspektywy przyszłości. Druga rzecz, która się toczyła dość mocno w tym samym czasie i rozwijała. Microsoft bardzo mocno rozwijał rozwiązania związane swoje z chmurą obliczeniową. Coraz więcej pojawiało się GPU od NVIDI między innymi jako procesory do przetwarzania Właśnie sieci głębokiego uczenia i te wszystkie elementy spowodowały że za chwilę będziemy mieli fuzję pewnych koncepcji. Biorąc pod uwagę ten OpenAI i znane nazwiska osób które tworzyły te rozwiązania musimy powiedzieć jeszcze o pewnej rzeczy która miała miejsce w międzyczasie. Otóż w 2017 roku przez Google Został opublikowany artykuł, w którym przedstawiono koncepcję tzw. transformerów.

Mechanizm to jest mechanizm, który chodzi o to, żebyśmy potrafili wychwycić w naszym przetwarzaniu te elementy, które są istotne. Czyli chodzi o to, żebyśmy w danej wypowiedzi, w danym przetwarzaniu umieli wychwycić element istotny. I teraz jeżeli Google wymyślił tą koncepcję właśnie w 2017 roku tych transformerów, czyli budowanie takiego encodera, decodera z tymi wszystkimi elementami, z tym całym embedding, który przez lata też jego koncepcja powstawała, To to już był zamysł do tego, żeby pójść w tą stronę dalej i OpenAI rozwijało tą myśl, wykorzystując właśnie te podwaliny różnych rzeczy i oczywiście też badając swoje, bo tu trzeba też mieć na uwadze, że OpenAI też ciekawe rzeczy z perspektywy tworzenia i budowania realizuje. Wraz ze współpracą z Microsoftem, który zbudował gigantyczne centrum przetworzeniowe i dał pieniądze tak naprawdę na to, żeby wykonać badania i przetwarzania tych rzeczy pod kątem tego działania i powstało coś takiego, co nazywamy GPT.

Także to też trzeba z głową realizować. Pozostaje cały czas wątek jakichś kontrowersji na temat przetwarzania czy analizy tych tekstów źródłowych. Na ile my mamy prawo tak naprawdę wziąć i chwycić jakieś algorytmy, które coś takiego realizują, zebrać jakieś materiały i je przetworzyć, nauczyć się na podstawie nich. Myślę, że będą jeszcze lata mijały zanim ten aspekt zostanie w pełni uregulowany i będziemy mieli przekonanie jak to ma być. W tym momencie raczej nie przejmujemy się tym elementem. Firmy takie jak Microsoft czy Google gwarantują nam bezpieczeństwo jeśli chodzi o strony formalno-prawne z wykorzystaniem takich elementów. Na pewno to będzie temat dyskusyjny, bo budzi sam w sobie pewnego rodzaju kontrowersje i na pewno w jakiś sposób na ten temat będziemy chcieli dyskutować.