Fabryka AI on-premise: Jak chronić dane i rozwijać AI na ​własnych warunkach

No i o modelach on-premisowych chyba już tutaj dosyć dęgłębnie powiedzieliśmy, że tutaj przede wszystkim właśnie bezpieczeństwo, zgodność, ta odporność cyfrowa, budowanie właśnie rodzimych własnych kompetencji, ale właśnie jeśli chodzi o minusy, tutaj może trochę odczarujemy to, że właśnie w on-premisie nie możemy robić małych wdrożeń albo małych instalacji, ponieważ Ten świat też, ci dostawcy hardware'u, oni też już dogonili trochę ten taki mindset takich małych iteracji, małych wdrożeń i tutaj Piotr może potwierdzić, są dostępne serwery, sprzęt, który jest... Ok, dla zrealizowania POCA, który jest też łatwo dostępny, bo nie zamawiamy setek kart GPU czy tysięcy, tylko pojedyncze, opakowane już w serwer z softwarem, na którym potem możemy przy użyciu platformy, bądź też bezpośrednio, zmniejszając ten czas do wartości, uruchomić modele i zacząć z nich korzystać.

Z drugiej strony ten sektor właśnie shapers będzie rósł ze względu na to, że będzie coraz więcej ludzi kompetentnych na pokładzie firm, którzy będą umieli doszkolić taki model po to, żeby właśnie skorzystać ze swoich przewag konkurencyjnych, ze swojego tajemniczego know-how. W związku z czym, no i może ostatni bardzo ważny argument, że to jest najbardziej efektywne finansowo. Wziąć gotowe rozwiązanie w postaci modelu już przyuczonego za ciężkie pieniądze i na potężnych ilościach, na tysiącach kart GPU I dołożyć do niego tylko warstwę swojej wiedzy, to co nazywamy w branży RAG, czyli właśnie warstwa naszej wiedzy dołożonej do pudełkowego modelu, która przesądza o tym, że ten model zaczyna bardziej pasować do naszego zastosowania, bardziej rozumieć naszą firmę, być może operować słownictwem naszym nawet poufnym, którego nie możemy na zewnątrz wypuścić i nikt go na zewnątrz nie zna, dlatego trzeba dołożyć tę swoją warstwę.

Wydaje mi się, że właśnie to podejście shapers to jest przyszłość i tych firm będzie coraz więcej. Powiedzcie mi, dlaczego w ogóle my dzisiaj mówimy o tym AI on-premise? Bo to jest takie rozwiązanie, które jest nowe, którego jeszcze dwa czy trzy lata temu nie było. W ogóle nie było takich dywagacji jak AI on-premise. Z czego to wynika? Na pewno nie było go w takim kształcie obejmującym to całe rozwiązanie. To o czym mówiłem wcześniej, czyli nie samo pudełko, nie sam serwer, nie same karty GPU, ale cały framework. Nie przychodzi mi ładne słowo w naszym ojczystym języku. Cała ta otoczka właśnie pozwalająca zarządzać, zadbać o bezpieczeństwo, o raportowanie. Takie rozwiązania rzeczywiście są czymś stosunkowo nowym.

Może modele już takie duże nie rosną, stara się właśnie też optymalizować. No właśnie, bo tutaj, przepraszam, że się tak przerwę, Patryk, ale też ja to pytanie wam zadałem, ale też mam jakieś swoje własne przemyślenia na ten temat, bo jeden powód to jest taki, że wreszcie mamy sprzęt, który pozwala nam uruchamiać takie modele lokalnie, bo jeszcze 2-3 lata temu tego nie było. Mieliśmy jakieś GPU, ale te GPU są nieporównywalnie szybsze obecnie, jakie mamy obecnie. Mam już wyspecjalizowane układy NPU, czyli ten Neural Processing Unit. Plus to, co właśnie powiedziałeś w tej chwili, jest bardzo ważne, że te modele przestały rosnąć, że one rosły. O tym bardzo fajnie opowiadał Wojtek Janusz, nasz wspólny z Neomy. Opowiadał, że modele nam rosły, że mieliśmy najpierw 100 miliardów, 200 miliardów parametrów, bilion parametrów i rosły te modele. Ale teraz mamy taki trend do budowania mniejszych modeli, które mają na przykład kilkadziesiąt albo nawet kilkanaście miliardów parametrów i wykonują swoje zadanie tak samo skutecznie jak te modele,

Tutaj dotykamy tematu, który zahacza prawie o filozofię, ale patrząc z punktu widzenia ekonomisty, jak spojrzymy na zwykłą fabrykę, klasyczną fabrykę, to z jednej strony ona wykorzystuje surowce i pracę ludzi po to, żeby wytwarzać produkty, które mają większą wartość niż ta praca i surowce włożone, żeby uzyskać te produkty. I poprzez analogię możemy myśleć o Fabryce AI jako o czymś takim, gdzie na wejściu muszą być dane i karty GPU, a na wejściu z kolei jest przetworzona informacja, która ma większą wartość niż to, co było na wejściu. To jest takie podejście funkcjonalne, które bardzo dobrze chyba opisuje ideę, czym jest Fabryka AI. Rozmawialiśmy właśnie tutaj o czymś, traktowałbym Fabrykę AI jako coś kompletnego,