Mentionsy Mentionsy
Backend na froncie
Backend na froncie

BNF odc. 22 Ten o "rewolucji" AI

16.01.2025 ·1 godz 10 min · 5 rozdziałów · 1 sponsor

👉 Sprawdź ofertę kursów na: https://szkoladotneta.pl Ten o "rewolucji" AI W tym odcinku odpowiedzi na pytania: ✔️ Generatywne AI i LLMy - gdzie jesteśmy? ✔️ Dlaczego ten temat jest istotny dla startupów? ✔️ Jakie zawody, zajęcia, paradygmaty są zagrożone? ✔️ Chcę wiedzieć więcej, gdzie się uczyć, jakie community warto obserwować, jakich ludzi? ✔️ I wiele, wiele więcej… 🎧 Podcast Backend na froncie to miejsce, w którym spotykam się z ciekawymi postaciami związanymi z .NETem i programowaniem po to, aby dostarczyć Ci trochę zabawy i masę wiedzy, ale przede wszystkim, żeby dać Ci szersze spojrzenie na możliwości, jakie daje platforma od Microsoftu. 👨‍💻 Prowadzący: Kajetan Duszyński Senior .NET Developer z 10-letnim komercyjnym doświadczeniem w [ASP.NET], Twórca Szkoły Dotneta, kanału na YouTube „Kajetan Duszyński - Szkoła Dotneta”, a także grupy na facebooku „Naucz się .NETa” 🔊 Słuchaj podcastu Backend na froncie tak jak Ci wygodnie: Spotify - https://open.spotify.com/show/74SyTQpIWTM4YvyEPHxwQF Apple Podcasts - https://podcasts.apple.com/pl/podcast/backend-na-froncie/id1563579399 YouTube - https://www.youtube.com/@szkoladotneta 🕵️ Gdzie mnie znajdziesz: Strona: [https://szkoladotneta.pl](https://szkoladotneta.xn--pl-h1t/) Facebook: [https://www.facebook.com/szkoladotneta](https://www.facebook.com/szkoladotneta) Instagram: [https://www.instagram.com/kajetan.duszynski](https://www.instagram.com/kajetan.duszynski) Email: [[email protected]](mailto:[email protected]) 📝 Notatki: linkedin Karola: https://www.linkedin.com/in/horosin/ blog Karola: https://horosin.com ai community: https://huggingface.co/

0:00 · Wprowadzenie i podstawowe informacje 25

Cześć, z tej strony Kajet Anduszyński i witam Cię w podcaście Backend na froncie. Po pierwsze, dziękuję, że tu jesteś. Podcast Backend na froncie to miejsce, w którym spotykam się z ciekawymi postaciami związanymi z dotnetem i programowaniem po to, aby dostarczyć Ci trochę zabawy i masę wiedzy, ale przede wszystkim, żeby dać Ci szersze spojrzenie na możliwości, jakie daje platforma od Microsoftu. Moim dzisiejszym gościem jest Karol Horosin. Karol to programista i twórca produktów wykorzystujących sztuczną inteligencję. Jest autorem bloga, gdzie dzieli się swoimi doświadczeniami i praktycznymi technicznymi rozwiązaniami. Współtworzył Sentimatic.io, narzędzie do analizy pracy call center przy wsparciu AI. Obecnie pracuje jako staff engineer, pomaga korporacjom w stworzeniu strategii AI oraz tworzy własne produkty Meeting Fusion, Airports Registry i wiele innych.

Nexus prezentuje teorię informacji, czyli o tym, Co buduje nasze społeczeństwa, jak wpływa na to przepływ informacji, trochę też o populizmie dzisiejszym. Jeszcze trochę mi tej książki zostało, ale jest na pewno ciekawa. Jeszcze nie mam konkretnego werdyktu, ale jest gdzieś na styku społeczeństw, polityki, ale też takiej teorii informacji i trochę traktuję o AI, więc jest trochę w tematyce, ale na pewno ciekawe. No i myślę, że mogę polecić. A taką inną rzeczą, która gdzieś może jest mniej techniczna, uległem i na Netflixie odpaliłem serial o starożytnej, zaginionej cywilizacji.

To znaczy, czy to jest coś, co jest zupełnie dla nas nowe, czy może właściwie Cały czas tak było, tylko my w tej chwili żyjemy w takiej bańce, którą sobie jakoś sami kreujemy. Myślę, że zdecydowanie można. Jakby nie można ich przenieść jeden do jednego, bo rzeczy się zmieniają. Niektórzy mówią też, że np. AI będzie miało zupełnie inny wpływ niż np. maszyna parowa, ale może dam taki przykład. Są rozmyślania Marka Aureliusza, stoickie myśli. Jak się to czyta, tak, był to cesarz z tamtych czasów, czyli osoba żyjąca wysoko społecznie, ale jak się czyta jego myśli, rozważania moralne, społeczne, jak postępować z innymi, Równie dobrze mógłby to napisać autor, pisząc tę książkę teraz.

I większość osób tak naprawdę ma szanse na życie, jest dużo miejsca. No właśnie, ja mam podobne przemyślenia związane z tym, że czasami mam wrażenie, że trochę się sami napędzamy. Sami napędzamy ten hype po prostu rewolucji, która nie wiadomo jaka miałaby się wydarzyć. A cały czas, mimo wszystko, to jest kontynuacja tej ewolucji, którą widzimy już od lat. I chyba o tym zaraz sobie porozmawiamy. Właśnie w związku z tym, że spotkaliśmy się, żeby porozmawiać sobie o sztucznej inteligencji, mocno o Generative AI.

No i my używaliśmy tego modelu językowego. który już mógł przewidywać kolejne słowa w tekście, do tego, żeby klasyfikować emocje i nastawienie ludzi, też czy są sarkastyczni czy nie, w dużo bardziej skomplikowany sposób niż wcześniej, żeby analizować poziom obsługi klienta, to czy klienci są zadowoleni, czy dobrze reagują na pewne zachowania konsultantów w call center. I ja byłem na początku bardzo sceptyczny, no bo to nie brzmiało jako nic nowego, ale to jak zareagowało społeczeństwo, jak znalazło różne zastosowania i jak sprawiło, że ludzie się otwarli na to, ok, jak możemy zastosować AI, to to była największa zmiana, czyli myślę, że ta zmiana społeczna. Plus nagle znalazło się bardzo dużo pieniędzy na robienie tego researchu i można powiedzieć, że tak naprawdę ta rewolucja została stworzona przez Big Tech, Microsoft sypiący pieniądze dla OpenAI, żeby robić te nowe modele.

AI było obecne dużo wcześniej, tylko zwykle mówiliśmy machine learning częściej i to, co dały modele językowe, na pewno dały ludziom wyobraźnię, sprawiły, że można zastosować je szerzej bez superprzygotowania. Więc to na pewno jest korzyść, ale wciąż, co jest ważne, żeby zaznaczyć, te modele maszyn learningowe, metody maszyn learningowe się stosuje na co dzień, tylko czasem trzeba z klientami przejść przez drogę, ok, nie używamy generative AI, to nie jest model językowy, bo tutaj np. do przewidywania wielkości sprzedaży lepiej użyć klasyczny algorytm, to też jest sztuczna inteligencja, też damy Wam super wyniki, ale model językowy to nie jest to, czego potrzebujecie. Więc AI było, było cały czas.

Było mniej plakietką, tylko bardziej tym, co działa pod spodem i daje wyniki. Ale zdecydowanie modele językowe zwiększyły dostępność i łatwość zaaplikowania jednej z tych technologii AI do jakichś bardziej codziennych zadań. No właśnie, teraz mam wrażenie, że jak idzie się do klienta i chce mu się wcisnąć zwykły, nazwijmy to, machine learning, to wręcz jest ciężej, bo nie jest to aż tak trendy, jak LLM i Generative AI. I to nie jest coś, co jest tak wyhypowane, jak w tym momencie wszystkie modele typu GPT.

A realnie jeśli chodzi o, brakuje mi polskiego słowa, reliability takiego rozwiązania, no to to klasyczne AI zdecydowanie mogłoby się lepiej sprawdzić w wielu przypadkach. Zdecydowanie mamy większą przewidywalność i też jeśli mamy technologię dostosowaną do zastosowania, to dostajemy dokładnie to, czego chcemy. Ale ja myślę, że ogólnie obserwujemy pozytywne zjawisko, bo ja np. pod koniec roku teraz pracowałem nad projektem, gdzie przewidywaliśmy wielkość sprzedaży usług dodatkowych dla Dla bardzo dużego klienta. Klient właśnie otworzył się trochę na tę technologię, bo usłyszeli, OK, jest AI, możemy optymalizować swoje procesy.

I my od początku im powiedzieliśmy, że przez taki okres POC my nawet nie zastosujemy sieci neuronowej, tylko klasyczne podejścia maszyny learningowe. I dostali bardzo zadowalające wyniki i teraz testują je w polu tak naprawdę ze sprzedawcami. Więc myślę, że ogólnie outcome tego wszystkiego jest pozytywny, ale myślę, że jest bardzo dużo mitów nabudowanych na około tego całego AI i myślę, że temu są winni wszyscy, wszystkie te startupy, które budują hype i próbują zbierać coraz więcej pieniędzy. No tak, mam wrażenie, że w momencie też jak pojawił się np. Web 3.0, te wszystkie NFT, blockchain itd., na tym bardzo dużo ludzi zarobiło kosmiczne pieniądze, hype się skończył, ci co mieli zarobić to zarobili, a teraz realnie są firmy, które faktycznie chociażby właśnie w tym blockchainie siedzą.

Jakby ten proces naukowy gdzieś tam nie był taki jak cały czas programowanie i oglądanie tego jak to co piszesz zmienia wyniki, zmienia to co się dzieje. Z danymi jest tak, że jeśli robimy prosty produkt, który korzysta z API AI-owych, jest OK. Ale modele, które są za tymi API, czyli np. GPT od OpenAI, który jest używany do czatu GPT, Te firmy w tej chwili rozbiły się trochę o problem, że wchłonęły cały internet. I te modele są wytrenowane na wszystkim, co było pożyteczne w internecie i jest dostępne. I ciężko jest zgromadzić nowe, wysokiej jakości dane. I dzieją się bardzo ciekawe rzeczy, bo coraz więcej słyszy się o jakichś dealach kupna bibliotek tekstów, jakichś starych czasopism.

Ale też, jak się popatrzy na ofertę pracy, ja na przykład kilka razy takie dostałem, żeby tworzyć zbiory treningowe z wysokiej jakości zbiory treningowe do programowania dla AI. Całym zadaniem było, że będziesz pisać odpowiedzi na pytania programistyczne i kawałki kodu, tak żeby mogły zostać użyte do Do trenowania AI. I teraz jak na przykład sobie popatrzysz, wyszedł w grudniu taki mały model od Microsoftu, który się nazywa FiFour. Swoją drogą polecam, bo można go nawet lokalnie uruchomić i daje świetne efekty, jeśli nie chcecie pytać modeli w chmurze, bo niebezpiecznie. Można sobie zainstalować LM Studio albo inne

Inny problem na przykład, który na przykład mówi, dlaczego nasz AI nie piszą idealnego kodu dla nas, jest dlatego, że kod, na którym one są uczone, to jest kod otwarty z GitHuba, który zwykle jest prosty. One nie były uczone na korporacyjnym kodzie. I nie jest jasne, w jaki sposób miałyby zostać nauczone. Firmy bardzo pilnują swojego IP i nie wyobrażam sobie, żeby którakolwiek firma, z którą pracowałem na przestrzeni lat, nawet jeśli projekt umarł i został zakopany, dała swój kod do treningu. W jaki sposób? Więc jeśli to się stanie, to będzie model dostępny tylko dla nich, a jeśli nie, no to być może firmy AI będą skupowały jakieś takie stare, martwe firmy, które mają dużo kodu i wykorzystywały go do trenowania.

Właściwie internet jest martwy, bo cały content, który tam jest tworzony, albo większość tego contentu, które jest tworzona, jest tworzona przez jakieś boty i tylko powtarzana miliony razy. Wiesz co, to jest ciekawe. Myślę, że jeszcze nie, ale grozi nam to i co zresztą widać po tym, co robiła Meta ostatnio ze swoimi próbami tych botów AI na Instagramie choćby jako użytkowników. Myślę, że też zdecydowanie przyczyniło się do tego to, dlaczego ludzie się tak czują, że ci twórcy, których obserwujemy, to często są zespoły za tymi twórcami. I to są kawałki contentu wyciągane z innych kawałków contentu. Dla przykładu mamy teraz podcast i powiemy kilka ciekawych rzeczy, a potem nasze teamy przygotują z nich serię tweetów, które będziemy skedulować i wrzucać.

I to brzmi trochę nie... jakby było bardzo... Bardzo dobrze przygotowane. I to jest okej, bo to są jakby nasze myśli, ale kto inny je przygotował, więc na pewno ten aspekt gdzieś istniał. Ale myślę, że zdecydowanie to, że AI jest uczone na innym kontencie AI, może sprawiać, że będzie driftować coraz dalej od nas. Czyli te błędy stworzone gdzieś na początku w tych modelach, te błędy logiczne, błędy podejścia do rzeczy, one mogą się propagować w przyszłość. Kiedyś się śmiano, że Windows jest tak zbudowany, że po prostu się nabudowuje warstwy jedna nad drugą i za 100 lat wciąż będzie gdzieś tam kawałki tego Windowsa 3.1 będą działały.

Jeśli będzie możliwe, że każda nasza rozmowa będzie miała potencjał tego, że będzie z AI, to częściej się będziemy spotykać na żywo, bo to będzie jedyny sposób na gwarancję, że masz kontakt z kimś naprawdę. Myślę, że też popularność niektórych narzędzi, które widzimy, też jest pewnym odzwierciedleniem tego, że ludzie się zmęczyli tymi feedami, które są algorytmicznie zastosowane pod nich. Popatrz, że na przykład najwięcej społeczności w tej chwili się dzieje w aplikacjach typu Discord. Które są absolutnym chaosem. Jakby dziesiątki kanałów, ludzie wrzucający wiadomości tam i z powrotem. Tyle społeczności, do których się dołącza. Każdy youtuber, każdy ma tego Discorda. Ale fakt jest taki, że na tym Discordzie się dzieje najwięcej prawdziwych rzeczy.

Jakbym miał na przykład polecać, gdzie szukać informacji, które są najświeższe na dane tematy, na przykład z AI, to dołączajmy do Discordów skupionych naokoło ludzi i naokoło organizacji, które są w tym na bieżąco, bo tam te rzeczy się dzieją dużo szybciej, nawet dużo szybciej niż na takim Twitterze. Tak, to prawda. To prawda, że faktycznie ja też w tej chwili jak szukam jakichś informacji, to głównie na Discordach i jak jakaś strona nawet ma swojego Discorda, to zawsze chętnie tam dołączę, chociaż na chwilę, żeby zobaczyć co się dzieje i czy to żyje i w jaki sposób żyje. No i też Discord ma sporo narzędzi, które potrafią gdzieś, albo inaczej, administratorzy tych wszystkich Discordów bardzo dbają o to, żeby wycinać wszelkie boty i żeby ta komunikacja międzyludzka była tam zachowana.

I chciałbym osobiście, żebyśmy pominęli może te minifirmy, które opakowują czata GPT i tworzą świetne sasy do tworzenia nowych miniatur na YouTube'a i koszą za to nie wiadomo jakie pieniądze. Bardziej chciałbym Cię zapytać o takie realne i długotrwałe wykorzystanie LLM-ów w biznesie, w startupach. Jak to może w ogóle wpłynąć na to, jak przyszłe firmy będą budowane? Ok, to może właśnie popatrzmy na to nie jak można wykorzystać te nowe modele powiedzmy generatywnego AI, bo teraz o tym mówimy, do tworzenia produktów, a nie w produktach.

Ja mam taki przykład. Byłem... To było... Może półtora roku temu byłem w Manchesterze na spotkaniu firmowym w firmie, z którą współpracowałem. I tak jednego dnia wróciłem sobie po południu do hotelu, byłem zmęczony. No ale co robię zmęczony, jak jestem mną, będę programował. I stwierdziłem sobie, że w życiu nie napisałem aplikacji w Swifcie na Maca albo na... Na iPhone. Jakby nigdy nie widziałem tego języka. I stwierdziłem, że dobra, to obejrzę 10-minutowy Quick Start, tak żeby wiedzieć, o co pytać AI. I zainstalowałem tego Xcode'a i zrobiłem, słuchaj, zróbmy prototyp apki do nagrywania spotkań.

I to jest produkt, na którym gdzieś pracuję teraz w tle, ale w zasadzie bez umiejętności tego Swifta w jeden wieczór stworzyłem prototyp aplikacji razem z tą taką miniaturką w status barze, gdzie można klikać nagrywaj, który przechwytywał obraz z ekranu i cały UI do przeglądania tych zapisanych spotkań. To był jeden wieczór. Ja wcześniej nie pisałem w tym języku i nie jestem geniuszem programowania. Jestem pragmatykiem. Jakby też nie pracowałem z wieloma osobami, które są dużo, dużo zdolniejsze ode mnie i są w stanie ogarnąć wielkie systemy w głowie, których ja nie jestem. Ja nie jestem w stanie. Myślę, że moje umiejętności czysto programistyczne są zaawansowane, ale jest dużo, dużo lepszych osób. Więc ja z takim AI byłem w stanie coś stworzyć w jeden wieczór.

Jest podobne narzędzie Bolt AI, one pracują na całych projektach. I w tej chwili jakby trzeba zrobić tego mniej, ale w tamtym momencie przyszedłem do vZero, napisałem czego chcę, wygenerowaliśmy parę komponentów i ja w zasadzie szedłem do Visual Studio Code, wygenerowałem nowy projekt Next.js, dodałem bibliotekę komponentów, z której korzystam i przekleiłem te komponenty, a później już, jak już miałem tą podstawę, łatwiej było nad tym pracować w kontekście całej bazy kodu. I w tej chwili moim workflow'em raczej jest coś takiego, że zaczynam z bazy, którą już mam, czyli jest to ustawiony projekt, biblioteka komponentów i ewentualnie jakieś wzorce i rzeczy, które zrobiłem w poprzednich projektach.

I byłem tak wow. To było super. I dużo z tego wybierania kontekstu to są właśnie jakieś heurystyki. To nie jest żadne AI. Czasem to są heurystyki, czyli oni wybrali OK, idź za linkiem do innego pliku, bo był tu zaimportowany, zobacz co tam jest, wybierz kontekst. Czasem to jest RAG, czyli Retrieval Augmented Generation, czyli wybieranie semantycznie podobnych kawałków tekstu. Z bazy kodu. Więc tak, te techniki... Ja myślę, że taki outcome tutaj, bo możemy sobie dywagować o tym bardzo długo, ale dla ludzi jest taki i dla też programistów, którzy się chcą tym zająć i coś, co ja dowiedziałem, ja odkryłem, że jest super, że wcześniej, kiedy pracowałem nad takim gołym machine learningiem,

BNF odc. 22 Inżynierowie od AI, ale tak naprawdę to jest to samo rozwiązywanie problemów, które robimy jako programiści, tylko one później gdzieś wędrują do AI i trzeba mieć trochę znajomości lingo, takich może największych problemów, ale w zasadzie to jest zwykłe rozwiązanie problemów. Jeszcze zanim przejdziemy dalej, może to jest temat, który niekoniecznie musimy poruszyć dzisiaj, ale co do narzędzi, oprócz tego, że warto samemu eksperymentować, jest też zestaw takich narzędzi, które duże firmy i ogólnie startupy używają, które nie są publiczne.

I to jest bardzo ciekawe, bo ja na przykład w firmie, w której obecnie pracuję, Korzystamy z narzędzia, które nie jest dostępne dla wszystkich. Jest to asystent kodowania, który jest zintegrowany z Visual Studio Code, ale jest to ich własny model bazowany na, wydaje mi się, że jakimś otwartym foundation modelu, który z tego, co widzę, jest dotrenowywany na naszej bazie kodu i działa to fenomenalnie. No właśnie, to jest mam wrażenie to, w którą stronę też powinniśmy iść, bo inni już zaczynają, mam wrażenie, korzystać z tego. Są na przykład asystenci AI w kursach online, gdzie zasilasz

A przechodzimy sobie tak naprawdę przez wszystkie elementy i to też jest super, bo myślę, że takie odczarowanie niektórych elementów też będzie niezwykle potrzebne. Natomiast też dobrze by było, wydaje mi się, porozmawiać trochę na temat tego, Właściwie, bo wspomniałeś o RAGU, to dla mnie jeszcze osobiście niedawno było zupełnie określenie, którego kompletnie nie rozumiałem. Natomiast trzeba też powiedzieć o tym, że AI to nie jest tylko sam LLM pod spodem, a na górze jakiś interfejs do tego, żeby można było wpisać treść albo nagrać jakąś wiadomość i on Ci odpowie głosowo.

Z czego właściwie się składa taki nowoczesny AI? Właśnie, to jest myślę, że dobra też uwaga, bo to co ja wspomniałem, że dużo z tego postępu, który się dzieje naokoło LLM-ów, to jest inżynieria. I właśnie to stworzyło gdzieś ChatGPT i te wszystkie produkty. Taki system zwykle składa się z... Wiadomo, mamy ten model językowy, do którego ostatecznie rzeczy wchodzą i z niego wychodzą, tak? Tylko to, co do niego wchodzi, to często jest... albo jego output jest kierowany przez różne rzeczy. I tutaj właśnie dałeś przykład, że mamy rag. No bo tak, mamy input od użytkownika, Ale mamy też różne sposoby dostępu do wiedzy.

Pokazano pierwszych 25 dopasowań — doprecyzuj frazę, aby zawęzić wyniki. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.