Fabryka AI on-premise: Jak chronić dane i rozwijać AI na ​własnych warunkach

Słuchasz podcastu Business Tech Talks powered by BlueSoft. Pokazujemy jak AI, chmura i technologie przyszłości tworzą realną wartość dla organizacji. Rozmowy z liderami i praktykami bez hype'u z perspektywą ludzi, którzy na co dzień kształtują kierunek zmian na styku technologii i biznesu. Wdrożenie narzędzi AI pozwala przyspieszyć i zautomatyzować bardzo wiele procesów. Standardowe narzędzia AI dostarczane przez zewnętrznych dostawców najczęściej działają jednak w chmurze. I wiąże się z tym wiele różnych problemów. Na przykład taki, że nie wiemy, czy nasze dane przypadkiem nie będą wykorzystywane do trenowania modeli sztucznej inteligencji. Nie wiemy, gdzie te dane są w ogóle przetwarzane i przechowywane.

I jesteśmy jeszcze na dokładkę uzależnieni od tych zewnętrznych technologicznych dostawców. Jak zatem chronić nasze dane? Jak zachować naszą technologiczną suwerenność? Najlepiej przez lokalne przetwarzanie danych, czyli tak zwane AI on-premise, czyli uruchamianie właśnie takich modeli sztucznej inteligencji. W naszych serwerowniach, w naszych datacenter czy rozwiązaniach, nad którymi mamy po prostu pełną kontrolę. Dzisiaj w podcaście Business Tech Talks powered by BlueSoft będziemy właśnie rozmawiać o tym lokalnym przetwarzaniu danych AI. Jakie są tego możliwości i jakie ograniczenia? O tym za chwilę porozmawiam z moimi ekspertami. Ja się nazywam Paweł Pilarczyk, a moimi rozmówcami są eksperci. Piotr Palęcki, pasjonat informatyki i oprogramowania związany z branżą IT od 10 lat.

Pracuje w Integrated Solutions, gdzie odpowiada za techniczne wsparcie sprzedaży. Jest takim pośrednikiem między światem biznesu a światem technologii. Cześć Piotrze. Cześć. I Patryk Makieła, tutaj odruchowo spojrzałem Patryk na początku na Ciebie, ale teraz już zwracam się bezpośrednio do Ciebie oczywiście. Patryk Makieła w branży IT również prawie tak samo długo, już od 8 lat. Obecnie pracuje jako Solutions Architect Product Owner Platformy Starboost for AI w BlueSoft i specjalizuje się w Prompt Engineeringu, Generatywnej AI i AI Security. Cześć Patryk. Cześć. Panowie, zacznijmy może od takiego pytania, które nam pozwoli trochę dojść do tej genezy tego, dlaczego chcemy przetwarzać tę sztuczną inteligencję niekoniecznie w chmurze, a być może właśnie lokalnie, czyli AI on-premise.

I myślę, że dobrym takim wstępem do tego będzie opowiedzenie, jak wygląda wdrażanie projektów AI, jak długo w ogóle to trwa, jak wygląda taki proces wdrożenia projektu AI od projektu, od samego pomysłu do faktycznego wdrożenia. No to będzie bardzo zależało od tego, jaki jest zakres tego projektu i również to, o czym już wspomniałeś, czyli czy on jest wdrażany w modelu on-premise, czy też w modelu chmurowym. Od tego wszystkiego będzie zależało i ile to zajmie i faktycznie te ramy są bardzo szerokie, bo pewnie, jak rozmawialiśmy z Patrykiem, to może być od miesiąca do pół roku. Tak, to wszystko... Wydaje mi się, że tutaj bardzo istotny jest ten pomysł i sama inicjatywa biznesowa, czy ograniczamy się w przypadku takiego projektu do pojedynczego rozwiązania, do systemu, bądź do wsparcia konkretnego, istniejącego już procesu i zasilenia go tą technologią, wsparcia.

Czy mówimy o wręcz całym programie? Możemy też, wydaje mi się, podnieść to do rangi transformacji i AI, gdzie chcemy dostarczyć pewną platformę i nie mówię tutaj tylko o technologii, ale też właśnie o procesach, o governance, o umocowaniu tego rozwiązania w organizacji i wykorzystywania go w skali firmy. Może na początku w skali pojedynczych projektów lub business unitów, Names mentioned on-premise.

To jest bardzo ważny punkt, bo zależy jak dobrze jest przygotowana firma, konkretny partner czy klient, z którym pracujemy, właśnie we względzie tych danych. Jeżeli rozmawiamy o tym, co widać, wszyscy się skupiamy na tym AI, ale właśnie zanim przejdziemy do implementacji już samego rozwiązania AI, to najpierw musimy zrobić porządek w danych, To zajmuje czasami sporo czasu i myślę, że tego elementu nie obejmujemy tutaj mówiąc o tym przedziale liczonym w czasie. Też zależy w jakim stanie zastaniemy konkretną organizację. Tak, tak. No właśnie, następuje taka decyzja, że właśnie chcemy wdrożyć AI i mamy w tej sytuacji dwie drogi. Jedna droga to jest taka, że tak powiem, standardowa, czyli uruchamiamy sobie jakąś platformę w chmurze tradycyjnie, bo tam mamy skalowalność, tam mamy dostępność do najnowszych usług.

Druga droga, która jest nowym rozwiązaniem, której jeszcze tak naprawdę niedawno nie było, czyli ta możliwość uruchamiania takiego rozwiązania lokalnie on-premise na naszych własnych rozwiązaniach. W ogóle skąd taki pomysł, żeby uruchamiać taki AI on-premise? Jest kilka argumentów, które przemawiają za tym, żeby poważnie rozpatrywać ten scenariusz i chyba najważniejszym punktem, od którego zawsze trzeba zacząć, to jest właśnie bezpieczeństwo informacji, bezpieczeństwo danych czy suwerenność, jak już żeśmy też tego określenia dzisiaj użyli. Bardzo to zależy oczywiście od sektora, bo każdy sektor rządzi się swoimi prawami i inne informacje traktuje jako te wymagające szczególnej uwagi, ale bez względu na to, czy to będą dane pacjentów w sektorze medycznym, czy to będzie know-how w firmie produkcyjnej,

Names mentioned on-premise W którym możemy uruchomić dosyć mocny model wspierający tego dewelopera, który znajduje się dosłownie przy jego biurku z pełną wiedzą, gdzie jest ten kod, gdzie to jest przetwarzane, gdzie znajdują się te dane. Tak, Patryk wspomniał o bliskości tego AI do użytkownika, a tak naprawdę też chodzi przecież o bliskość do danych, bo mamy dwie możliwości, albo nasze dane Tak, tak, tak.

Tak, tak, tak. Potem ona jest dosłownie implementowana przez różnych... Pod różnymi płaszczykami i nazwami, ale w środku najczęściej tak to się pojawia. Natomiast też pamiętajmy, że sam serwer czy ta NVIDIA DGX to nie jest jeszcze wszystko, bo to pudełko, o którym rozmawiamy, to tak naprawdę w naszych głowach to pudełko obejmuje jeszcze kilka warstw, których... Niekoniecznie użytkownicy czy biznes widzą, ale są niezwykle istotne. Mam na myśli konteneryzację, bo zawsze sztuczna inteligencja lubi się z konteneryzacją, wręcz wymaga jej. Również narzędzia do monitorowania, do zarządzania, czyli governance, zachowania pewnej zgodności ze standardami, z przepisami, których musimy przestrzegać jako organizacja, czy wymagania dotyczące mierzalności odpowiedzialnego AI.

Każdy z nas chyba widzi, że czasy są jakie są i w momencie włączenia tej sztucznej inteligencji do kluczowych procesów biznesowych i tutaj nawet nie mówimy o obecnej perspektywie tych, powiedzmy, asystentów bądź agentów, którzy operują w świecie cyfrowym, ale powiedzmy robotyzację pewnych linii przemysłowych, wpięcie tam modeli, I jeśli w takim etapie jesteśmy uzależnieni od zewnętrznego dostawcy lub też od decydenta, który może jednym podpisem wyłączyć AI dla Polski bądź dla Europy, no wtedy fabryka robi stop. I to jest dosyć istotne, właśnie budowanie też rodzimych kompetencji, budowanie rodzimych rozwiązań i pełna kontrola nad tą technologią.

Ale potem zapominają, że do tego dochodzi jeszcze koszt energii elektrycznej, do tego dochodzi jeszcze koszt klimatyzacji, koszt administracji tymi serwerami, koszt modernizacji, koszt w ogóle utrzymania całego rozwiązania, koszt zabezpieczenia. I nagle te koszty są dodatkowe, o których w ogóle nie mieli na początku pojęcia. To się wszystko podsumuje. Wychodzi ten TCO, ten Total Cost of Ownership, to po tych kilku latach okazuje się, że takie rozwiązanie wcale nie jest takie tanie, jak się na początku wydawało. I czy w przypadku właśnie takiego AI on-premise jesteśmy w stanie to policzyć? Ile nas będzie takie rozwiązanie kosztowało właśnie na przestrzeni takich pięciu lat w porównaniu do tego, jakbyśmy sobie wykupili po prostu subskrypcję? Niewątpliwie w modelu on-premise możemy to policzyć dużo starannie i dużo bardziej precyzyjnie przewidzieć te koszty niż w przypadku chmury. Wynika to z tego, że w chmurze zawsze opieramy się na kalkulatorach, które pozwalają nam wyestymować, przewidzieć w przybliżeniu, w jaki sposób będziemy korzystali z tej chmury, a potem dopiero następuje zderzenie z rzeczywistością.

I też koszty na pewno zespołu, dlatego że wdrażanie AI wiąże się z budowaniem całkiem nowych kompetencji. W wielu firmach tych kompetencji dzisiaj po prostu nie ma, więc trzeba nawet w momencie, jeżeli zlecamy, a jest to bardzo dobry kierunek, dużo prac swoim podwykonawcom, którzy tak jak integrator, tak jak nasza firma, my właśnie adresujemy pewne Obszary, w których klient już nie musi budować własnych kompetencji związanych chociażby z zarządzaniem konteneryzacją, z utrzymaniem tej całej infrastruktury do poziomu platformy, od której już mogą pracować sobie naukowcy danych lub danolodzy, jak po polsku się to bardzo ładnie nazywa. W każdym razie to jest koszt ludzi. Tak czy siak to jest koszt jeszcze zasobów ludzkich, o którym też nie należy zapominać.

Mamy największe bezpieczeństwo w przypadku takich modeli, możemy kontrolować lepiej koszty, mamy również kontrolę nad różnymi regulacjami prawnymi, o którym trochę tutaj Piotrze wspomniałeś, czyli jesteśmy przygotowani na różne regulacje typu RODO, zabezpieczenie danych osobowych. Jest bardzo dużo takich regulacji, które możemy spełnić dzięki właśnie takim rozwiązaniom. Natomiast teraz pytanie brzmi, jakie dane w takim razie nie powinny wychodzić właśnie do chmury i powinny zostać w chmurze? Jakie organizacje w pierwszej kolejności powinny się decydować na takie rozwiązania AI on-premise? Jakiego typu właśnie kategorie, sektory, branże to są te, które będą największymi beneficjentami AI on-premise?

No, tutaj każdy sektor ma swoją charakterystykę i swoje dane, więc patrząc na największą popularność AI na razie, to możemy sobie wymienić sektory finansowy, edukacyjny, Chociaż to może być zaskakujące z perspektywy naszego polskiego podwórka, ale tak. Finansowy, edukacyjny, manufacturing, ale mówię o takim zaawansowanym manufacturingu, tam gdzie są wysokie technologie. To są sektory, które w pierwszej kolejności sięgają po AI, a zarazem mają bardzo dużo do ukrycia. Jeżeli chodzi o patenty, o jakieś prace rozwojowe, jeszcze nie chronione patentami informacje, to są takie rzeczy, które bezwzględnie firmy w tym sektorze chronią.

Jak byśmy mieli porównać sobie AI on-premise i AI w cloudzie, a także AI hybrydowe, takie rozwiązania też hybrydowe mamy, to jakie byście tutaj wskazali takie zalety i wady jednego, drugiego i trzeciego rozwiązania? Wydaje mi się, że przede wszystkim to, o czym już wspominałem właśnie, że w przypadku tego AI w Cloudzie mamy tutaj bardzo ważny benefit w postaci tego szybkiego dostępu do innowacji. Ale oczywiście zaraz wada też tego.

Wydaje mi się, że właśnie to podejście shapers to jest przyszłość i tych firm będzie coraz więcej. Powiedzcie mi, dlaczego w ogóle my dzisiaj mówimy o tym AI on-premise? Bo to jest takie rozwiązanie, które jest nowe, którego jeszcze dwa czy trzy lata temu nie było. W ogóle nie było takich dywagacji jak AI on-premise. Z czego to wynika? Na pewno nie było go w takim kształcie obejmującym to całe rozwiązanie. To o czym mówiłem wcześniej, czyli nie samo pudełko, nie sam serwer, nie same karty GPU, ale cały framework. Nie przychodzi mi ładne słowo w naszym ojczystym języku. Cała ta otoczka właśnie pozwalająca zarządzać, zadbać o bezpieczeństwo, o raportowanie. Takie rozwiązania rzeczywiście są czymś stosunkowo nowym.

Alternatywa, no to jeżeli zapłacisz komuś, kto ci przyniesie tego sokoła już złożonego. I to jest właśnie nasza rola, tak naprawdę jako integratora, że bierzemy jedno z tych gotowych rozwiązań, dokładając do niego jeszcze naszą wiedzę związaną z tym, jak to wszystko podkładać, jak to wszystko wyskalować, jak dobrać odpowiednie rozwiązanie, bo jest ich wiele. Ale my to przekładamy na coś, co nazywamy referencyjnymi architekturami i mamy po prostu taką architekturę, która się nazywa AI Ready i oznacza z punktu widzenia klienta, że dostaje coś, co jest dostosowane do jego rozmiaru, A jeśli chodzi o sam też kierunek, to taki aspekt techniczny, to o czym już wspominaliśmy, właśnie wzrost tego zapotrzebowania

Wręcz pojawiają się modele, które mają po kilka miliardów parametrów i dostawcy tych modeli wręcz zachęcają, ja też sam akurat ostatnio miałem do czynienia właśnie z takim modelem VL-em, do dostosowywania tego modelu, bo przez to, że on nie jest taki duży, nam jest dużo łatwiej właśnie przeprowadzić pewien Fabryka AI on-premise. Od jakiegoś czasu właśnie też pojawiają się takie architektury Mixture of Experts, gdzie w trakcie inferencji właśnie nie wszystkie te parametry są aktywowane, co na koniec przekłada się na to, że jest po prostu mniejsze zużycie podczas tej inferencji.

Więc to zapotrzebowanie, różnica w modeli i chyba tak mówiąc, ogólnie też już o tym wspominaliśmy, właśnie też te czasy. Dzień dobry. Dzień dobry. Dzień dobry. Przyszłość i te trendy, które obserwujemy, to właśnie już nie są aplikacje, nie są proste czaty, bądź wręcz agenci, którzy potrafią poklikać nam po, powiedzmy, po naszym systemie, bądź uderzyć jeszcze do kilku innych systemów, ale już takie fizyczne zastosowanie AI właśnie w takim świecie fizycznym, tutaj chyba wysyłałem ci przed chwilą podcastem,

Taki ciekawy film, gdzie taki humanoidalny robot pracuje w fabryce. Tak, Figure 02. Dokładnie. I on ma tą inteligencję. Tam jest ten albo jest model embedded, albo jest on hostowany gdzieś blisko tej fabryki. Musimy mieć nad tym kontrolę. I to jest właśnie też ważne, że w końcu dostęp do takich rozwiązań AI on-premise jest dostępny nie tylko dla największych korporacji, których stać na to, żeby kupić sobie jakieś potężne data center, tylko ten bardziej dostępny, bardzo szybki sprzęt, który bardzo staniał. To jest dosłownie tam grube dziesiątki procent o tyle Powiedzcie mi jeszcze, co to jest Fabryka AI? Jak się ma do tych rozwiązań, o których dzisiaj rozmawiamy?

Tutaj dotykamy tematu, który zahacza prawie o filozofię, ale patrząc z punktu widzenia ekonomisty, jak spojrzymy na zwykłą fabrykę, klasyczną fabrykę, to z jednej strony ona wykorzystuje surowce i pracę ludzi po to, żeby wytwarzać produkty, które mają większą wartość niż ta praca i surowce włożone, żeby uzyskać te produkty. I poprzez analogię możemy myśleć o Fabryce AI jako o czymś takim, gdzie na wejściu muszą być dane i karty GPU, a na wejściu z kolei jest przetworzona informacja, która ma większą wartość niż to, co było na wejściu. To jest takie podejście funkcjonalne, które bardzo dobrze chyba opisuje ideę, czym jest Fabryka AI. Rozmawialiśmy właśnie tutaj o czymś, traktowałbym Fabrykę AI jako coś kompletnego,

Można sprowadzić właśnie tę fabrykę AI do takiej też normalnej, standardowej fabryki, no bo gdy popatrzymy na te modele, ja też spotkałem się z takim określeniem, że model jest niczym innym jak pewną funkcją. On przyjmuje na wejście tokeny i na wyjście tokeny. Jeśli spłaszczymy tą fabrykę jako środowisko uruchomienia we tych modeli, no to to jest po prostu pewna fabryka, pewna linia, która pozwala nam przetwarzać Names mentioned in English.

I to, co było linią produkcyjną kiedyś, dzisiaj odpowiednikiem linii produkcyjnej w Fabryce AI są workflows, albo data flows, albo workflows, czyli przepływy danych, przepływy pracy, które odbywają się w domenie na ekranie, w wirtualnej można powiedzieć, ale całkiem na końcu realne dane uzyskujemy, które stanowią swoją wartość. Panowie, myślę, że my dość kompleksowo wytłumaczyliśmy to pojęcie AI on-premise i myślę, że nasi widzowie i słuchacze Mam nadzieję, że są zachęceni do tego, żeby trochę zgłębić ten temat, żeby zainteresować się, czy akurat w ich organizacji tego typu rozwiązanie będzie lepszym rozwiązaniem niż AI w chmurze albo AI hybrydowe. Albo być może, tak jak tutaj Patryk mówił, że warto rozważyć takie rozwiązanie też Właśnie to AI hybrydowe, jako to optymalne dla swojej organizacji, ale żeby otworzyć się właśnie na tą możliwość przetwarzania tego AI lokalnie, bo zwiększa to nasze bezpieczeństwo.

To co powiedzieliśmy tutaj, podkreślaliśmy wielokrotnie, że to jest najważniejsze. www.bluetooth.com Może nie dla wszystkich, ale dla dużo większej grupy osób niż rok czy dwa lata temu ze względu na malejący koszt sprzętu i lepszą optymalizację samych modeli. No i im więcej używasz, tym mniej płacisz, jeżeli chodzi o on-premise. Można sobie dzięki temu również w dłuższej perspektywie zredukować koszty. Więc warto pochylić się nad tym rozwiązaniem AI on-premise.