Mentionsy

Pokazujemy jak AI, chmura i technologie przyszłości tworzą realną wartość dla organizacji.

Wdrożenie narzędzi AI pozwala przyspieszyć i zautomatyzować bardzo wiele procesów.

Standardowe narzędzia AI dostarczane przez zewnętrznych dostawców najczęściej działają jednak w chmurze.

Najlepiej przez lokalne przetwarzanie danych, czyli tak zwane AI on-premise, czyli uruchamianie właśnie takich modeli sztucznej inteligencji.

Dzisiaj w podcaście Business Tech Talks powered by BlueSoft będziemy właśnie rozmawiać o tym lokalnym przetwarzaniu danych AI.

Obecnie pracuje jako Solutions Architect Product Owner Platformy Starboost for AI w BlueSoft i specjalizuje się w Prompt Engineeringu, Generatywnej AI i AI Security.

Panowie, zacznijmy może od takiego pytania, które nam pozwoli trochę dojść do tej genezy tego, dlaczego chcemy przetwarzać tę sztuczną inteligencję niekoniecznie w chmurze, a być może właśnie lokalnie, czyli AI on-premise.

I myślę, że dobrym takim wstępem do tego będzie opowiedzenie, jak wygląda wdrażanie projektów AI, jak długo w ogóle to trwa, jak wygląda taki proces wdrożenia projektu AI od projektu, od samego pomysłu do faktycznego wdrożenia.

Możemy też, wydaje mi się, podnieść to do rangi transformacji i AI, gdzie chcemy dostarczyć pewną platformę i nie mówię tutaj tylko o technologii, ale też właśnie o procesach, o governance, o umocowaniu tego rozwiązania w organizacji i wykorzystywania go w skali firmy.

Jeżeli rozmawiamy o tym, co widać, wszyscy się skupiamy na tym AI, ale właśnie zanim przejdziemy do implementacji już samego rozwiązania AI, to najpierw musimy zrobić porządek w danych,

No właśnie, następuje taka decyzja, że właśnie chcemy wdrożyć AI i mamy w tej sytuacji dwie drogi.

W ogóle skąd taki pomysł, żeby uruchamiać taki AI on-premise?

Tak, Patryk wspomniał o bliskości tego AI do użytkownika, a tak naprawdę też chodzi przecież o bliskość do danych, bo mamy dwie możliwości, albo nasze dane

Również narzędzia do monitorowania, do zarządzania, czyli governance, zachowania pewnej zgodności ze standardami, z przepisami, których musimy przestrzegać jako organizacja, czy wymagania dotyczące mierzalności odpowiedzialnego AI.

I jeśli w takim etapie jesteśmy uzależnieni od zewnętrznego dostawcy lub też od decydenta, który może jednym podpisem wyłączyć AI dla Polski bądź dla Europy, no wtedy fabryka robi stop.

I czy w przypadku właśnie takiego AI on-premise jesteśmy w stanie to policzyć?

I też koszty na pewno zespołu, dlatego że wdrażanie AI wiąże się z budowaniem całkiem nowych kompetencji.

Więc to jest kolejny bardzo ważny aspekt, więc chyba tak jak Piotr tutaj powiedział, mogę się zgodzić, że to zależy, ale też w obronie Cloud'a też taka wydaje mi się ciekawa perspektywa, która może zainteresować słuchaczy, to to, że...

Jakie organizacje w pierwszej kolejności powinny się decydować na takie rozwiązania AI on-premise?

Jakiego typu właśnie kategorie, sektory, branże to są te, które będą największymi beneficjentami AI on-premise?

No, tutaj każdy sektor ma swoją charakterystykę i swoje dane, więc patrząc na największą popularność AI na razie, to możemy sobie wymienić sektory finansowy, edukacyjny,

To są sektory, które w pierwszej kolejności sięgają po AI, a zarazem mają bardzo dużo do ukrycia.

Ale również retail, bo na przykład z punktu widzenia firm, które zajmują się handlem wielkopowierzchniowym, dane ich klientów, dane lojalnościowe, to jest podstawowy know-how tych firm i tak samo wypłynięcie takich informacji w sposób niekontrolowany może stanowić problem i może być przesłanką do tego, żeby te dane przetwarzać we własnej serwerowni albo w serwerowni providera.

Jak byśmy mieli porównać sobie AI on-premise i AI w cloudzie, a także AI hybrydowe, takie rozwiązania też hybrydowe mamy, to jakie byście tutaj wskazali takie zalety i wady jednego, drugiego i trzeciego rozwiązania?

Wydaje mi się, że przede wszystkim to, o czym już wspominałem właśnie, że w przypadku tego AI w Cloudzie mamy tutaj bardzo ważny benefit w postaci tego szybkiego dostępu do innowacji.

Pewne krytyczne procesy czy dane przetwarzać właśnie w on-premise, ale z drugiej strony mamy tą elastyczność, którą daje nam cloud i jeśli firma ma dobrze zaimplementowany data governance, jest dosyć sprawnie w stanie poruszać się pomiędzy danymi, które mogą być przetwarzane u siebie, mogą być przetwarzane lub mogą być przetwarzane w cloudzie.

Gdzie maker to są właśnie te duże organizacje, takie jak OpenAI, Meta, Anthropic, które budują modele od podstaw.

Powiedzcie mi, dlaczego w ogóle my dzisiaj mówimy o tym AI on-premise?

W ogóle nie było takich dywagacji jak AI on-premise.

Ale my to przekładamy na coś, co nazywamy referencyjnymi architekturami i mamy po prostu taką architekturę, która się nazywa AI Ready i oznacza z punktu widzenia klienta, że dostaje coś, co jest dostosowane do jego rozmiaru,

Fabryka AI on-premise.

Przyszłość i te trendy, które obserwujemy, to właśnie już nie są aplikacje, nie są proste czaty, bądź wręcz agenci, którzy potrafią poklikać nam po, powiedzmy, po naszym systemie, bądź uderzyć jeszcze do kilku innych systemów, ale już takie fizyczne zastosowanie AI właśnie w takim świecie fizycznym, tutaj chyba wysyłałem ci przed chwilą podcastem,

I to jest właśnie też ważne, że w końcu dostęp do takich rozwiązań AI on-premise jest dostępny nie tylko dla największych korporacji, których stać na to, żeby kupić sobie jakieś potężne data center, tylko ten bardziej dostępny, bardzo szybki sprzęt, który bardzo staniał.

Powiedzcie mi jeszcze, co to jest Fabryka AI?

I poprzez analogię możemy myśleć o Fabryce AI jako o czymś takim, gdzie na wejściu muszą być dane i karty GPU, a na wejściu z kolei jest przetworzona informacja, która ma większą wartość niż to, co było na wejściu.

To jest takie podejście funkcjonalne, które bardzo dobrze chyba opisuje ideę, czym jest Fabryka AI.

Rozmawialiśmy właśnie tutaj o czymś, traktowałbym Fabrykę AI jako coś kompletnego,

Można sprowadzić właśnie tę fabrykę AI do takiej też normalnej, standardowej fabryki, no bo gdy popatrzymy na te modele, ja też spotkałem się z takim określeniem, że model jest niczym innym jak pewną funkcją.

I to, co było linią produkcyjną kiedyś, dzisiaj odpowiednikiem linii produkcyjnej w Fabryce AI są workflows, albo data flows, albo workflows, czyli przepływy danych, przepływy pracy, które odbywają się w domenie na ekranie, w wirtualnej można powiedzieć, ale całkiem na końcu realne dane uzyskujemy, które stanowią swoją wartość.

Panowie, myślę, że my dość kompleksowo wytłumaczyliśmy to pojęcie AI on-premise i myślę, że nasi widzowie i słuchacze

Mam nadzieję, że są zachęceni do tego, żeby trochę zgłębić ten temat, żeby zainteresować się, czy akurat w ich organizacji tego typu rozwiązanie będzie lepszym rozwiązaniem niż AI w chmurze albo AI hybrydowe.

Właśnie to AI hybrydowe, jako to optymalne dla swojej organizacji, ale żeby otworzyć się właśnie na tą możliwość przetwarzania tego AI lokalnie, bo zwiększa to nasze bezpieczeństwo.

Więc warto pochylić się nad tym rozwiązaniem AI on-premise.