Infrastruktura AI: co wziąć pod uwagę, zanim podpiszesz umowę z hyperscalerem.

Tylko je nie wdrażamy dla żartu. Tylko 6% generuje zwrot z inwestycji. To nam rozwiązuje problemy i jest o 30% tańsze niż ludzie obecnie. Ale za rok te usługi mogą być droższe niż ludzie. I co wtedy zrobimy? Ja na przykład swój 5-godzinny limit robiąc ostatnio jedno z zadań to wypaliłem w 20 minut. Technologia podąża za kasą. Jeżeli nie podąża za kasą, to nic z tego nie ma. To mówimy tylko o ambicjach własnych jako inżynierów. Dzień dobry Państwu. Zapraszamy na kolejny odcinek podcastu Data Driven. Dzisiaj porozmawiamy sobie o chmurze i o tym, jak AI wpływa na wykorzystanie chmury.

Ja nazywam się Błażej Ksycki, a moimi gośćmi są Jarosław Wachowicz, Head of DevOps oraz Adam Gaca, VP of Innovation. Moi mili, pierwsze pytanie, które kieruję od razu do Was, to jest taki trochę może challenge. Od lat budowaliśmy narrację, że chmura to jest jedyna słuszna droga, bardzo wygodna, bardzo praktyczna. Płacimy kobuś abonament, dostajemy w gratisie wsparcie, backupy i nie wiadomo co tam jeszcze. Ale pytanie, czy w nowym świecie, kiedy AI zaczyna odgrywać coraz większą rolę, kiedy zaczynamy rozmawiać o AI Sovereignty i o prywatności danych, czy to dalej jest takie proste?

I przede wszystkim można się oprzeć, albo przynajmniej niektóre organizacje tak to uzasadniają, jeśli chcą uzasadnić rzeczy, które są poza chmurą, że AWS chwali się, że ma około 30% Podaję dokładne dane, ale to jest około 30% marży. Można by tak prosto myśląc wziąć sobie to, że jak my to sami zrobimy, to te 30% jest nasze. Tylko to jest dosyć złudne, bo po pierwsze, oni działają w ogromnej skali. Oni kupują taniej sprzęt, oni kupują taniej energię. Nawet są teraz myśli pod AI, żeby sobie kupić własną elektrownię atomową. Słynna elektrownia, w której kiedyś był wypadek. No ale Microsoft myśli o tym, żeby ją kupić, żeby zasilać centra danych. A to wszystko bardzo obniża koszty, tylko że oni są w stanie to zrobić.

Adamie, a jakby skomplikujmy sobie trochę tą sytuację, może bardziej, bo generalnie no żadną tajemnicą nie jest, że jeżeli chodzi o króle, o chmurę, to trójka najbardziej znanych hyperscalerów to jest AWS, Azure i GCP, a no wielka trójka AI jest zupełnie inna, bo to jest OpenAI, Anthropic i Google. Czy to, że jest taka duża różnica, że ci providerzy się w żaden sposób tak naprawdę nie pokrywają, to otwiera rozmowę o tym, czy iść w chmurę, czy nie? Czy jakby komplikujesz sytuację? Jak porzenić te dwa osobne światy? To jest ciekawe pytanie.

Jeżeli tylko w tej złożonej historii nie znajdzie się zwrot, czyli jakaś firma zastosuje ten AI, skonsumuje te zasoby i będzie kasa, To będzie dla nas trudna sytuacja. Natomiast jeżeli chodzi o taką niezależność czy wybór technologii, to myślę, że większość rozwiązań trochę wyniosła lekcję z tego, co doświadczyliśmy na początku z chmury, gdzie właśnie ten vendor lock-in był Dużo bardziej kosztowne, cięższe, raczej providerzy ułatwili to na przestrzeni czasu i teraz zachęcają incentives, czyli dodatkowymi benefitami, żeby pozostać i gdzieś tam się na długo związać. To myślę, że w obecnym przypadku ten trend jest taki, że my czerpiemy z usług po API, czyli integrujemy się z konkretnymi usługodawcami.

Natomiast w kwestii właśnie tego vendor lockingu, pomiędzy zdecydowaliśmy się na Anthropica, a potem byśmy chcieli przejść do OpenAI, To mi się wydaje, że tu jest bardzo mała bariera przejścia i ona jest związana ze sposobem działania, sposobem interakcji z narzędziami AI, bo jednak tutaj nie mamy, tak jak kiedyś programista nauczył się dotneta i miał przejść na Javę, to to był duży wysiłek, lata pracy wręcz. Natomiast czy ja rozmawiam z ChargeGPT5, czy rozmawiam z Fable5 od Anthropica, to rozmawiam mniej więcej tak samo. Oczywiście w szczegółach się różnią te rozwiązania, jak już sobie zbudujemy jakieś Jakieś agentów takich, którzy tam masowo działają, to jest to pewien koszt przejścia z jednego na drugiego, ale on nie jest, wydaje mi się, tak wysoki, jak w przypadku przejścia z jednej chmury do drugiej.

Ale te zadania takie top notch, to one są ciągle domeną tych modeli Frontier. Zgadzam się z tym. Mamy świeży case teraz wieszczenia zagłady OpenAI z Hugging Face, czyli wycieku LLM-ów poza środowisko kontrolowane i zhakowanie środowiska zewnętrznego. Myślę, że to jest taki przykład, jak głębiej wejdziemy w tą historię, to dlaczego Hugging Face się skutecznie nie wybronił od ataku AI-owego. Dlatego, że ich AI działał na modelach, które są kontrolowane, więc miał wbite guardraces, które zabraniały mu skutecznej obrony.

I dopiero złamali ten atak w momencie, jak skorzystali z Open Wave modeli, które tych gardeli wbudowanych nie mają, czyli są w pełnej kontroli, wiadomo, ponoszą większe ryzyko, ale dopiero wtedy ten wyhamowali. Więc z perspektywy bezpieczeństwa Open Wave daje wręcz większą dozę, chyba że jesteśmy Amerykanami i należymy do firmy, którą rząd namaścił, możemy robić więcej. Taka nieoczyciwa konkurencja. To jest jeden motyw, o którym chciałem mówić. Drugi motyw to Open Source jako sposób inicjatywania otwartego kodu. Cały ten stack open source, bo to nie jest tylko sam LLM. On się sprawdza nawet w małym zastosowaniu. Mamy aktywnych parę projektów, w których klienci wystartowali z powiedzmy niskobudżetową maszyną AI-ową z bardzo wąskim zastosowaniem.

Uważam, że bardzo efektywnie podeszli do problemu, jak uzyskać zwrot wartości z AI i udowodnić tezę, czy to działa. Czyli zawężamy do konkretnego problemu biznesowego i budujemy rozwiązanie, czy to agentyczne, czy wspierające, które będzie ten dany problem adresować. I tu anonimowo pozdrowię Wojtka, Adama i Dawina, którzy takie rozwiązanie wypracowali. Dwaj agenci, którzy w przeciągu pierwszych dni działania Names mentioned by Błażej Ksycki, Jarek Wachowicz.

Myślę, że jest wtedy, największą trudnością będzie po prostu skalowanie, jeżeli chodzi o Open Weight versus każdy inny provider i to, że my sięgając po tych dostawców mamy już jakieś harness, mamy już jakieś governance zaszyte, a tu w tym przypadku musimy coś budować od zera. Natomiast problemem jest skala. Jeżeli mówimy o tym, że biznes korzysta z AI do decydujnego działania, generujemy wiadomości, generujemy dokumenty, analizujemy pewne dokumenty, to to jeszcze nie jest ciężkie użycie, ale w momencie, w którym my robimy raporty, robimy wyliczenia, trenujemy modele i tak dalej, to ta waga ma znaczenie, skala ma znaczenie.

Także to są zupełnie innej skali. Zdecydowanie Trzeba przeanalizować, gdzie my jesteśmy, w jakim miejscu jako organizacja już nie tylko po stronie miękkiej czy kulturowej, ale to, czy my jesteśmy technologicznie gotowi do wykorzystania sztucznej inteligencji, bo to nie jest panaceum na każde rozwiązanie czy na każdy ból. Bardzo często firmy są po wielu procesach nabywania innych biznesów, nie są pointegrowane, jest duży dług technologiczny i odkręcanie tego, dojście do innego, uspójnionego, efektywnego źródła prawdy i danych w organizacji, to jest projekt, który jest w ogóle wymagany, zanim dojdziemy do skutecznego wykorzystania AI, bo tutaj już rosną nam ryzyka i maleje prawdopodobieństwo, że będzie to sukces.

Warto jeszcze właśnie wspomnieć o tym, że do tej pory ceny tokenów, czy ceny usług AI, tych limitów, bo to różnie jest rozliczane, per limit, per token, one były stosunkowo atrakcyjne, a modele, które były wcześniej dostępne, nie paliły tych limitów i tokenów aż tak znowu szybko. Natomiast widać już właśnie na poziomie Fable 5, On pali tokeny straszliwie i ja na przykład swój pięciogodzinny limit robiąc ostatnio jedno z zadań to wypaliłem w 20 minut. Cały limit pięciogodzinny i potem można powiedzieć nie miałem co robić. No mam inne zadania, więc się zająłem czymś innym, ale gdybym był na przykład deweloperem to bym siedział przez 5 godzin i czekał aż mi się limit odnowi. I to są problemy, które trzeba brać pod uwagę, że to będzie szło jeszcze dalej, to znaczy modele będą coraz bardziej potężne i mimo, że pracuje się nad ich optymalizacją, to jednak ciągle jakby tym Złotym Graalem jest, Świętym Graalem ciągle jest możliwość wykonania coraz to bardziej skomplikowanych zadań i coraz lepiej, coraz bardziej jak człowiek lub jeszcze ponad ludzko.

Ale to kosztuje i teraz firmy inwestują ogromne pieniądze i na razie te wszystkie firmy OpenAI i tak dalej, one z tego co wiem, nie mają jeszcze zwrotu z tej inwestycji i to jest raczej lata. I na razie to jest zachęcanie, można powiedzieć trochę uzależnianie rynku od swojej usługi po to, żeby jednak w przyszłości zacząć na tym naprawdę zarabiać i to trzeba brać pod uwagę. To musi być bardzo świadoma decyzja. Mieć jakiś exit plan, co zrobić, jeżeli te firmy, które są wszystkie amerykańskie, wszystkie zależne od tych samych podmiotów, które w nie inwestują, one wszystkie mogą się troszkę jednak zmówić, podnieść ceny i co wtedy zrobimy, nie? Jeżeli bardzo mocno oprzemy swoje usługi na AI i stwierdzimy, to nam rozwiązuje problemy i jest o 30% tańsze niż ludzie obecnie, ale za rok te usługi mogą być droższe niż ludzie i co wtedy zrobimy?

Znowu będziemy przyjmować tych ludzi, których wcześniej Takie przypadki, już mam wrażenie, już pierwsze jaskółki są na rynku, gdzie ktoś zwolnił, już teraz znowu przyjmuje, bo się okazało, że AI nie rozwiązało wszystkich problemów. No właśnie Jarku, cieszę się, że już zapowiedziałeś trochę o tym exit planie. Ja bym chciał pociągnąć ten wątek dalej. Gdy projekty do Ciebie teraz trafiają, czy klienci mają już tą świadomość, że warto być przygotowanym na scenariusz, kiedy będziemy musieli tę technologię opuścić i nie, że to jakoś to będzie, tylko bądźmy już na to przygotowani od początku, czy klienci Dbają o to, żeby nie było vendoru kinu, żeby to były rozwiązania, które są migrowalne, często wolnoźródłowe itd. Czy jakby ten exit plan jest już dostarczony razem z tymi projektami od samego startu?

Powiedziałbym tak, jako exit plan, jako taki, to nie bardzo kojarzę, natomiast klienci raczej ostrożnie podchodzą w ogóle do wdrażania tych case'ów AI'owych. Dużo różnych rzeczy w przedsiębiorstwach dzieje się tak naprawdę, można powiedzieć, oddolnie, to znaczy ludzie używają AI w codziennej pracy, Firma pozwala na to, niektóre firmy muszą przejść pewną drogę, żeby w ogóle pozwolić swoim pracownikom używać AI. Dla nas to był pewien problem u niektórych klientów, że my byśmy mogli dostarczać już większą wartość używając AI w tych case'ach, które my już mamy ogarnięte, opanowane i wiemy, że to działa, ale klient na przykład się nie zgadzał na to, żeby pozwolić na to i klienci raczej są moim zdaniem przeostrożni. Ostrożność jest nie na poziomie, że skaczemy, ale mamy exit plan, tylko raczej nie skaczemy, chodzimy dookoła tego wodospadu i się mu przyglądamy.

Myślę, że to też wynika z dojrzałości organizacji i otwartości zarządów na jakieś ryzyko. Dlatego, że ta technologia niewątpliwie przyspiesza, mamy coraz krótsze iteracje i tego nie da się pominąć. Moja perspektywa jest taka, że może nie wszyscy są gotowi na ten exit AI wchodząc do tej wody, natomiast dużo łatwiej jest rozpocząć ten temat i to zaplanować. Historycznie było to bardzo trudne i skąd się urwaliśmy, natomiast obecna sytuacja i jakieś świeże przypadki pokazują, że jednak warto na to zwrócić uwagę, jest to ocenione.