Zaawansowany chatbot na Twojej stronie!
Najprostszym rozwiązaniem na podpięcie chatbota na stronę było zawsze podpięcie się do gotowych modeli hostowanych online, na przykład ChatGPT. Nie mamy tutaj jednak dużej kontroli nad tym jakie scenariusze chat może realizować, ograniczone są możliwości zarządzania jego zaawansowanymi funkcjami a przede wszystkim jesteśmy mocno zależni od zewnętrznych dostawców pod względem dostępności rozwiązań i cenników. Jak zatem zrobić to inaczej?Zapraszamy do śledzenia naszych social media:https://www.linkedin.com/company/UniqSofthttps://www.instagram.com/UniqSoftTeamhttps://www.facebook.com/UniqSoftPL#ai #chatbot #sztucznainteligencja #chatgpt #openai #bityparzystości #uniqsoft
Cześć! Witam w kolejnym odcinku Bity Parzystości. Dzisiaj powiem trochę więcej o tym, jak funkcjonują dzisiaj chatboty i jak zrobić je dobrze. Na początku podpinano po prostu czaty GPT do stron internetowych, natomiast ma to swoje bardzo poważne wady i ograniczenia. Jak można zrobić to inaczej? Jakie rozwiązania są dzisiaj dostępne? Jak zrobić to zgodnie z przepisami? Zapraszam serdecznie do odcinka. Podpinanie czata GPT do stron internetowych było w początkach boomu na AI dość popularne. Było to relatywnie proste, czat GPT nie był jeszcze wtedy tak drogi i wydawało się, że jest to dość dobre rozwiązanie.
Jak to więc osiągnąć? Sugerowaną przez nas i nasz zespół metodą do pracy z modelami i wykorzystywanie ich bezpośrednio w obsłudze chatbota na stronie internetowej jest wykorzystywanie wdrożeń lokalnych i modeli uruchamianych lokalnie. Spróbujmy się teraz zastanowić nad kilkoma aspektami, które bierzemy pod uwagę. Mamy kwestie możliwości i ograniczeń. Mamy kwestie ewentualnych kosztów i problemów obsługi. Kwestie związane chociażby z aktualizacją, czyli na przykład co, kiedy są dostępne lepsze modele. Okazuje się, że nie zawsze dostępność lepszych modeli jest dobra do wdrożeń AI. No i wreszcie co z prywatnością, bezpieczeństwem, RODO czy AI Act.
Ok, to teraz po kolei. Jeżeli chodzi o kwestie możliwości. Podpięcie się pod API i wykorzystanie czata z poziomu bezpośrednio np. API restowego jest dość szybkie do wdrożenia. No bo podłączamy się tak do wielu różnych innych bramek, więc w bardzo podobny sposób podłączamy się również do API i korzystamy z modelu. Ktoś zapewnia infrastrukturę, ktoś tym zarządza i dba o to, żeby ten chat był cały czas dostępny. No właśnie, więc dlaczego by uruchamiać samodzielnie wdrożenie? W momencie, kiedy uruchamiamy wdrożenie lokalnie z wykorzystaniem modeli AI, musimy przede wszystkim zapewnić serwer GPU. Musi mieć on odpowiednią pamięć.
Według naszych research, one nie są aż tak powszechnie dostępne. Paradoksalnie dużo łatwiejsze do pozyskania są serwery do trenowania modeli, których koszty mogą być naprawdę znaczące. My tutaj musimy rozgraniczyć, że do uruchamiania lokalnego potrzebujemy modeli do uruchamiania AI, które mają zupełnie inne pamięci. Mówimy tutaj przede wszystkim chociażby o VRAM, czyli tej pamięci, która pozwala na załadowanie modelu. W praktyce rozmowy na chatbotach odbywają się przy wymianie krótkiej wiadomości i możemy użyć raczej mniejszych modeli. Nie potrzebujemy modeli rozumujących, nie potrzebujemy zaawansowanych zastosowań. Nam się sprawdza na przykład chociażby Liama 3.1 w wersji 8 miliardowej.
Ale tutaj ten model lokalny jest po prostu utrzymywany tylko na serwerze i za tokeny już nie płacimy w ogóle. Sprowadzamy się więc do takiego pricing modelu, gdzie w skrajnym wypadku, jeżeli nagle mamy większy ruch na stronie internetowej, nasz chatbot może zacząć wolniej odpowiadać, ale nie zacznie np. generować nam większych kosztów. To już jest bardzo duży plus. Kolejna rzecz, prywatność i bezpieczeństwo. Najczęściej w rozmowach o AI słyszę, że największym problemem może być trenowanie na naszych danych. Ba, nawet wielokrotnie w umowach na projekty AI znajdujemy zapisy z klauzulami by zapewnić, że jeżeli AI wykorzystamy w projekcie to model nie będzie trenowany na naszych danych.
Dostępne są naprawdę świetne europejskie serwerownie, nawet polskie serwerownie, które hostują niewielkie modele AI z wykorzystaniem kart graficznych właśnie rzędu 8, 12, 16, 32 GB VRAM. I w tym momencie z taką serwerownią podpisujemy sobie umowę powierzenia i mamy po prostu podprocesora, który odpowiada za dane osobowe, które wysyłamy, a nie że z automatu, powiedzmy by design, dane wysyłamy do Stanów Zjednoczonych i w pełni nie kontrolujemy retencji, przechowywania. Ok, a teraz kwestie trenowania modelu. Bardzo często dostaję pytanie, czy jeżeli lokalnie wdrożę model AI, czy będzie on w stanie uczyć się z rozmów, albo nawet co w wypadku, kiedy będziemy chcieli taki model wymienić.
Jesteśmy po prostu postawieni pod ścianą i możemy nie mieć takiej możliwości, żeby na przykład w odpowiedni sposób zareagować, I na przykład jedynym rozwiązaniem, jeżeli nie możemy sobie pozwolić na niektóre niewłaściwe scenariusze, może być po prostu wyłączenie na jakiś czas narzędzia. A teraz wyobraźmy sobie, że samodzielnie hostujemy model AI. Mamy pewne scenariusze akceptacyjne w umowie. Chat ma się zachowywać w określony sposób. Mamy zawsze możliwość wymiany modelu na inny, ale robimy to wtedy, kiedy my chcemy, na naszych zasadach. Przygotowujemy się w środowisku deweloperskim do aktualizacji modelu, przeprowadzamy testy akceptacyjne, żeby czat zachowywał się tak, jak my chcemy i w tym momencie jesteśmy w stanie uruchomić nowe środowisko wtedy, kiedy jesteśmy do tego gotowi.
Ok, no i mamy jeszcze aspekt prawny, regulacyjny. Chciałbym się skupić przede wszystkim na dwóch rzeczach, czyli RODO i AI-ACT. Jeżeli chodzi o RODO, trochę już wspomniałem, mówimy o pewnej poufności i bezpieczeństwie przechowywania danych i też pewnym obszarze, gdzie te dane są przechowywane i przetwarzane. W wypadku podłączenia się do OpenAI, to te dane są z automatu wysyłane do Stanów. W Europie jesteśmy w stanie wynająć sobie serwer z GPU, mieć umowę powierzenia i dane przetwarzać zgodnie z GDPR w Polsce jako RODO. Tutaj też możemy zachować większą prywatność i bezpieczeństwo, ponieważ kontrolujemy cały łańcuch, czyli od momentu kiedy te wiadomości są wysyłane w czacie do momentu kiedy są przetwarzane, a trzeba pamiętać o tym, że LLM przetwarzają wiadomości w postaci jawnej.
Więc musimy zapewnić na poziomie organizacyjnym odpowiednich umów i innych środków technicznych bezpieczeństwo przetwarzania tych danych. No ale mamy jeszcze AI Act. Oprócz różnych regulacji, które są związane chociażby z klasyfikacją ryzyka, tego typu rozwiązania, powinno nam zależeć na tym, żeby tutaj wpaść w ten poziom nazywany potocznie średnim. W AI Act są zapisane jako ograniczone ryzyko, ponieważ jest to taki poziom, w którym mamy obowiązek informacyjny, Ale wejście w poziom wysoki względem AI Act wymaga już na nas certyfikacji, dokumentowania tego jak wykorzystujemy AI, może być potrzeba rejestrowania tego gdzieś centralnie itd.
To my jako dostawca tych obowiązków mamy dużo więcej. Ważne jest, żeby taki czat nie miał np. upraszczając pewnej decyzyjności, trackowania, bo wtedy rzeczywiście pojawia się duże ryzyko, że wpadniemy w poziom wysoki, Ale oczywiście zawsze, tak jak też przed każdym projektem, który my realizujemy, musi to podlegać analizie ryzyka dokładnej. Natomiast ok, zakładamy, że jesteśmy na tym poziomie, nazwijmy go średnim, to w tym momencie mamy obowiązek informacyjny, On został już wprowadzony tak bardziej powiedzmy dobitnie i potwierdzony 2 sierpnia 2026 roku. Wtedy głośno się mówiło o tym, że będzie trzeba oznaczać reklamy czy grafiki, że zostały wygenerowane przy pomocy AI, ale mniej trochę się mówi o tym, że dokładnie te same przepisy wprowadziły konieczność oznaczania również chatbotów.
Ważne jest to, że takiego chatbota trzeba w sposób bezpośredni i wyraźny oznaczyć, że rozmawiamy z AI, chyba że jest to oczywiście ewidentne w trakcie rozmowy. To co my stosujemy to zmokowaną pierwszą wiadomość. Czyli kiedy uruchamiamy chata, to nie chat wysyła pierwszą wiadomość, ale po prostu podstawiamy ją sztucznie, w 100% panując nad jej treścią. W ten sposób jesteśmy w stanie zapewnić, że w każdym wdrożeniu tego typu informacja zostanie przekazana. Możemy stosować też jakieś dodatkowe oznaczenia np. w postaci ikony bota przy wiadomości czy podpisach na samym czacie. Stosujemy czasami np. strony FAQ, czyli informacje w jaki sposób odbywa się ta rozmowa.
Ważne jest to, że AI Act definiuje, że takiego chatbota należy oznaczyć. Na sam koniec jeszcze chciałbym powiedzieć w ogóle o samej kwestii związanej z funkcjami takiego chatbota, ponieważ myślimy najczęściej jako o pewnej bazie wiedzy, którą chatbot ma i może nią dysponować. Natomiast dzisiejsze rozwiązania mogą dużo więcej. Przede wszystkim wiedza to nie jest tylko załadowanie rack do czata. Można realizować coś takiego, że czat ma wiedzę ładowaną w locie. To znaczy jesteśmy w stanie albo bezpośrednio w trakcie rozmowy zaciągać tego typu dane z wektorowych baz danych i tej wiedzy może być dużo więcej, Chatbot wtedy może się bardziej sugerować tym, że ma pewną wiedzę wskazywaną z baz, więc łatwiej możemy doprowadzić do takiego scenariusza, że on odpowiada, że w danym scenariuszu po prostu nie wie, niż będzie zmyślał.
Trochę niwelujemy to, żeby on korzystał z tej wiedzy wyuczonej, ale na przykład jeżeli opieramy się o dane ze stron internetowych, skrapowanych z jakichś miejsc, sczytywanych, to tak na dobrą sprawę taki chatbot przy odpowiednim podpięciu takiej dynamicznej wiedzy może korzystać z niej niemal w czasie rzeczywistym. Dodatkowo dzisiaj w AI, w modelach językowych, bardzo wielu dostępny jest tools calling, function calling, czyli chatbot jest w stanie uruchamiać sobie narzędzia. Dla nas najlepiej chatboty sprawdzają się w takim scenariuszu, gdzie one odpowiadają, ta część AI odpowiada za komunikację z użytkownikiem i pewne rozdzielanie zadań. Chatbot wtedy jest w stanie skorzystać sobie z narzędzi i na przykład jeżeli ma wykonać jakąś kalkulację, sprawdzić coś, to jest w stanie wtedy uruchomić sobie narzędzie, przekazać z rozmowy dane, które pozyskał od użytkownika, może nawet je walidować,
Pokazano wszystkie 13 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
Najprostszym rozwiązaniem na podpięcie chatbota na stronę było zawsze podpięcie się do gotowych modeli hostowanych online, na przykład ChatGPT. Nie mamy tutaj jednak dużej kontroli nad tym jakie scenariusze chat może realizować, ograniczone są możliwości zarządzania jego zaawansowanymi funkcjami a przede wszystkim jesteśmy mocno zależni od zewnętrznych dostawców pod względem dostępności rozwiązań i cenników. Jak zatem zrobić to inaczej?
Zapraszamy do śledzenia naszych social media:
https://www.linkedin.com/company/UniqSoft
https://www.instagram.com/UniqSoftTeam
https://www.facebook.com/UniqSoftPL
#ai #chatbot #sztucznainteligencja #chatgpt #openai #bityparzystości #uniqsoft