Rewolucja ChatGPT czyli o co chodzi w modelach językowych (#10)

Taki był tego zamysł, takie było działanie z perspektywy przyszłości. Druga rzecz, która się toczyła dość mocno w tym samym czasie i rozwijała. Microsoft bardzo mocno rozwijał rozwiązania związane swoje z chmurą obliczeniową. Coraz więcej pojawiało się GPU od NVIDI między innymi jako procesory do przetwarzania Właśnie sieci głębokiego uczenia i te wszystkie elementy spowodowały że za chwilę będziemy mieli fuzję pewnych koncepcji. Biorąc pod uwagę ten OpenAI i znane nazwiska osób które tworzyły te rozwiązania musimy powiedzieć jeszcze o pewnej rzeczy która miała miejsce w międzyczasie. Otóż w 2017 roku przez Google Został opublikowany artykuł, w którym przedstawiono koncepcję tzw. transformerów.

Mechanizm to jest mechanizm, który chodzi o to, żebyśmy potrafili wychwycić w naszym przetwarzaniu te elementy, które są istotne. Czyli chodzi o to, żebyśmy w danej wypowiedzi, w danym przetwarzaniu umieli wychwycić element istotny. I teraz jeżeli Google wymyślił tą koncepcję właśnie w 2017 roku tych transformerów, czyli budowanie takiego encodera, decodera z tymi wszystkimi elementami, z tym całym embedding, który przez lata też jego koncepcja powstawała, To to już był zamysł do tego, żeby pójść w tą stronę dalej i OpenAI rozwijało tą myśl, wykorzystując właśnie te podwaliny różnych rzeczy i oczywiście też badając swoje, bo tu trzeba też mieć na uwadze, że OpenAI też ciekawe rzeczy z perspektywy tworzenia i budowania realizuje. Wraz ze współpracą z Microsoftem, który zbudował gigantyczne centrum przetworzeniowe i dał pieniądze tak naprawdę na to, żeby wykonać badania i przetwarzania tych rzeczy pod kątem tego działania i powstało coś takiego, co nazywamy GPT.

GPT i potem oficjalnie pojawiający się chat, który został upubliczniony i który zrobił niesamowitą furorę w historii tak naprawdę nowych technologii, nowych elementów, które się pojawiają. Nigdy wcześniej się to nie zdarzyło. Czyli pojawił się tak popularny element, gdzie większość ludzi na świecie z niego skorzystało czy korzysta w dalszym ciągu, o czym jeszcze za chwileczkę powiem. I to jest taka historia dosyć ciekawa z tego powodu, że tak naprawdę Nikt na świecie nie był pewien co z tego wyjdzie. Z tego przedsięwzięcia, które zrobił razem OpenAI z Microsoft jako pierwszy. Microsoft i OpenAI zrobili to pierwszy jako tak mocno opublikowany, bo publikując też publicznie ChataGPT. Możliwe, że inne firmy robiły też takie badania i doświadczenia wcześniej, ale nie dzieliły się tego aż na taką szeroką skalę jak zrobił to Microsoft.

Także to też trzeba z głową realizować. Pozostaje cały czas wątek jakichś kontrowersji na temat przetwarzania czy analizy tych tekstów źródłowych. Na ile my mamy prawo tak naprawdę wziąć i chwycić jakieś algorytmy, które coś takiego realizują, zebrać jakieś materiały i je przetworzyć, nauczyć się na podstawie nich. Myślę, że będą jeszcze lata mijały zanim ten aspekt zostanie w pełni uregulowany i będziemy mieli przekonanie jak to ma być. W tym momencie raczej nie przejmujemy się tym elementem. Firmy takie jak Microsoft czy Google gwarantują nam bezpieczeństwo jeśli chodzi o strony formalno-prawne z wykorzystaniem takich elementów. Na pewno to będzie temat dyskusyjny, bo budzi sam w sobie pewnego rodzaju kontrowersje i na pewno w jakiś sposób na ten temat będziemy chcieli dyskutować.