Podcast AI #3 - Wpadka Deloitte, czyli halucynacje AI w praktyce

Dzień dobry, witamy w kolejnym odcinku podcastu Witalni Wspieramy Rozwój. Ze mną jest dzisiaj ponownie Szymon, a jak jest ze mną Szymon to oznacza, że będziemy rozmawiali o sztucznej inteligencji. A tak naprawdę zaczniemy od tego, co się wydarzyło, jaki można powiedzieć wręcz faka powstał w dużej znanej firmie konsultingowej, jaką jest Deloitte. Z aferą w tle, ze sztuczną inteligencją w tle, także temat idealny dla nas. A tak naprawdę zaczęło się to wszystko od bardzo prostej rzeczy, o której myśmy już rozmawiali w pierwszym odcinku, czyli o halucynacjach. Szymon, przypomnij proszę tak chociaż w dwóch, trzech zdaniach co to jest i przejdziemy do omówienia tej całej sprawy. Tak, no to jak już chyba dwa razy przy każdym odcinku podcastu pada ta definicja, ale podajmy ją po raz kolejny, bo wydaje mi się, że jak zresztą na dzisiejszym przykładzie widać, chyba nigdy nie będzie za dużo powtarzania tego, czyli halucynacja, czyli zmyślanie pewnego rodzaju informacji przez czat.

Jak wiemy, coraz częściej teraz korzystamy z tych różnego rodzaju narzędzi opartych o sztuczną inteligencję. No i wydaje nam się, że tworzą one takie piękne, idealne treści, podają nam rzetelne dane, analizują przecież pięknie te dane. Jednak tak naprawdę AI potrafi też tworzyć informacje, które brzmią tylko pozornie prawdziwie, bądź wyglądają praktycznie prawie że jak prawdziwe, a tak naprawdę nie mają one pokrycia w rzeczywistości. I to jest cała ta nasza Niestety halucynacja, z której no niestety nie pozbędziemy się jej. Ona będzie zawsze towarzyszyła gdzieś tej sztucznej inteligencji, zwłaszcza w tych tematach, co do których nie jest ona w stu procentach tak bardzo dobrze obeznana. I wydaje mi się, że dobrze jest dzisiaj porozmawiać właśnie na przykładzie firmy Deloitte i przy okazji pod sam koniec omówimy sobie kilka sposobów, dzięki którym

Będziemy w stanie zmniejszyć to ryzyko w naszej codziennej pracy, żeby na taką halucynację się złapać. Pokażemy kilka prostych sposobów, które naprawdę działają i pozwolą nam uniknąć takiej sytuacji, Kacper, chciałbyś przybliżyć o co dokładnie chodziło w tej aferze? Ale rzeczywiście. Tutaj akurat w przypadku tej halucynacji sytuacja była o tyle, powiedziałbym, specyficzna, że te błędy wyglądały dosyć prawdziwie. Do błędów za chwilę przejdziemy, ale pokrótce o co w tym wszystkim chodziło. Czyli tak, rząd australijski zatrudnił oddział Deloitte'a australijski do przygotowania audytu rządowego programu dotyczącego nakładania kar na bezrobotnych.

Wartość tego całego zlecenia była, to było 440 tysięcy dolarów australijskich. Deloitte przygotował odpowiedni audyt, raport do tego audytu. No i później ten audyt został ponownie sprawdzany, weryfikowany, czytany. Nie przez już pracownika urzędu, tylko przez zewnętrznego walidatora. I to właśnie on doszedł do tego i znalazł błędy, które były po prostu Halucynacją czatu, do czego też firma Deloitte się przyznała, że żeby przyspieszyć proces pracy nad raportem, używała modelu czatu GPT, chyba czwórki jeszcze do tego projektu.

Dobrze pamiętam? Tak, 4o, 4o, bo to w ogóle jest zlecenie jeszcze z 2024 roku. Dokładnie tak, a to dopiero nie tak dawno temu całość wyszła, natomiast początkowo Deloitte chciał, żeby o tym nie informować, niemniej jednak informacja w końcu przedarła się do opinii publicznej, no i żeby Deloitte chcąc ratować swój wizerunek, Oddał część wynagrodzenia dla rządu w wysokości mniej więcej jednej piątej, około 22% wartości kontraktów, czyli tam około 100 tysięcy tych dolarów australijskich. Natomiast same błędy, które występowały, nie były to błędy aż tak, powiedziałbym, że oczywiste.

Że jednak może nie są te rzeczy aż tak dobrze weryfikowane, że takie, że tak powiem, powiedzmy pozornie proste błędy przeszły. Już ci tłumaczę. Nomen omen, kiedyś pracowałem w Deloitte też. Tylko nie australijskim, a polskim i może nie w takich kwestiach audytowych, tylko bardziej podatkowych, ale w Deloitte. Więc trochę mogę się podzielić, jak to mniej więcej wygląda i myślę, że to wszędzie na świecie jest gdzieś tam Podobnie, za część informacji za sprawdzenie odpowiadają najczęściej konsultanci, czy to juniorzy, czy to seniorzy, w zależności od tego jaka część raportu jest robiona, to raz różnego stopnia konsultanci za to odpowiadają. I teraz oni najczęściej pracują w bardzo ścisłej współpracy z menedżerem odpowiedzialnym za dany projekt.

Bo już powiedzmy ten partner czytający dalej nie jest do sprawdzania takich bardzo trywialnych błędów. Ale tak naprawdę już sami konsultanci, czy to juniorzy, czy zwykli konsultanci, czy seniorzy, no nie powinni po prostu tego typu błędu popełnić. Jest to zwyczajnie karytgodne i to już w tym miejscu nie powinno postać. I moim zdaniem powinno się też wprowadzić do firmy, szczególnie takich dużych, Jakieś standardy korzystania z tego. Ja nie wiem, czy w tamtym momencie był taki standard Deloitte, że np. do researchy nie można używać sztucznej inteligencji. Albo, że jeżeli już używacie, to double check wszystko po prostu, nim pokażemy to komukolwiek. No i myślę, że ostatecznie za weryfikację powinien odpowiedzieć ten manager, on to jednak jakby jest patronem tego projektu od takiej strony wykonawczej.

Okej, a powiedz mi, a tak jeszcze z trochę innej beczki, ale pozostając w temacie właśnie wykrywania tych rzeczy i może to trochę teraz zgeneralizuję pytanie nawet nie tylko w kontekście sztucznej inteligencji, ale ogólnie właśnie firm konsultingowych, czy Czy firmy konsultingowe często, że tak powiem, biorą trochę odpowiedzialność właśnie za tego typu sytuacje i czy te sytuacje, może one są bardzo rzadkie, ale na przykład kiedy się one już wydarzą, to czy one będą starały się właśnie tak wstanąć, powiedzieć, no dobrze, no troszeczkę, że tak powiem, źle zrobiliśmy, postarajmy się to jakoś naprawić, czy może właśnie raczej zamieść to pod dywan, bo tutaj ta reakcja Deloitte'a właśnie była też bardzo, że tak powiem, bardzo krytykowana, ponieważ

To, co powiedział Racz, jeden z walidatorów, który znalazł te błędy, że jest to sytuacja karygotna właśnie z tego względu, że gdyby oni podmienili jedno złe źródło na jedno dobre, to byłoby ok, że jeszcze, że tak powiem, można by to było jakoś tam sobie uwzględnić. Ale tutaj, jeżeli oni podmienili kilkanaście tych źródeł i często te kilkanaście źródeł trzeba było podmienić na kilka innych źródeł, żeby udowodnić to samo, to tak naprawdę te tezy, które były założone, nie można powiedzieć, że one są pewne, że one są w stu procentach takie, jak Deloitte je tam przedstawia. Tylko to jest mocno, że tak powiem, tam jest to szarpane trochę pod tą jakąś tezę, którą oni stawiają dokładnie w tym raporcie. Ja się z całym nie zapoznałem, więc dokładnie nie mogę powiedzieć, o jaką tezę chodzi. Natomiast właśnie Raj mówi o tym dobrze, że Jeżeli jest taka sytuacja, w której trzeba o wiele więcej źródeł podać, żeby potwierdzić tak naprawdę to samo, co wcześniej wynikało z jakiegoś pojedynczego źródła, to mamy tu jakiś znaczący problem z wiarygodnością w ogóle całego tego badania.

Oni po raz drugi, jeżeli zostali poproszeni o przedstawienie dokładnej listy źródeł, podali znowu źródła, w których były błędy związane z generowaniem przez sztuczną inteligencję i dopiero wtedy tak naprawdę sprawa Wszelkie prawa zastrzeżone. Wszelkie prawa zastrzeżone. Jak każdy inny produkt, tak naprawdę, czy tam usługa. Ta usługa jest premium. Te firmy, czy to Deloitte, czy to EY, czy ten cały Big Four w Polsce i jeszcze kilka innych firm, jakby bazują na tym, że mają niesamowitą rzetelność i bardzo dobrą

I wydaje mi się, że teraz będą musiały się one mieć o wiele bardziej nabaczności niż wcześniej. I jeszcze tak bym cię chciał dopytać. Jestem jeszcze ciekawy, bo jestem prawie przekonany co do jednej rzeczy, że sytuacja Deloitte to nie jest jedyna sytuacja, w której coś takiego się wydarzyło, tylko jedyna, w której ktoś się zorientował, że to się wydarzyło. Znaczy tak, ale powiem Ci właśnie, miałem Ci jeszcze podesłać jedną rzecz a propos tego, no teraz może wywołam jeszcze jeden właśnie taki przykład, że coraz więcej jest osób, które zaczynają się bawić w szukanie właśnie tego typu rzeczy. Wydaje mi się, że to o czym ja chcę jeszcze dodać tutaj jest związane właśnie z aferą, nie wiem czy afera to duże słowo może, ale powiedzmy dobrze, że już afera Deloitte'a to jest

I jeszcze do tego właśnie chcąc nawiązać, tak wiesz, my nie jesteśmy super wielkimi PR-owcami, ale jak myślisz, co twoim zdaniem taka firma na przykład jak Deloitte mogła zrobić, żeby z tej sytuacji wyjść trochę bardziej obronną ręką? W sensie wiadomo, mleko się już rozlało i nie będą w stanie w 100% się jakby obronić przed tym, no wykorzystali tą sztuczną inteligencję finalnie, ale co mogli zrobić, żeby trochę Wydaje mi się, że powinni być dużo, dużo bardziej, od pewnego momentu już, dużo bardziej transparentni. Powiedzieć, gdzie zostało to użyte, dlaczego to zostało użyte, co się stało, jak to naprawić, to przede wszystkim rzetelnie po prostu powiedzieć, okej, te źródła były błędne, te są dobre.

Ta pełna metodologia nigdy nie zostanie tak jakby zdradzona, jak się z tej sztucznej inteligencji korzysta. Wiesz co, wydaje mi się, że coś takiego jednak będzie. Tu za duże pieniądze wchodzą w grę, żeby to gdzieś tam całkowicie odpuszczać i że będzie takie ramowe wykorzystanie, że na przykład jeżeli jesteśmy Deloittem i robimy raport, to sztuczna inteligencja zostanie wykorzystana do, i będzie to wylistowane na takiej zasadzie, na przykład do części research. Do edycji tekstu, czyli pokazania, że do edycji tekstu w takim kontekście, że stylistycznie tekstu. Na przykład sztuczna inteligencja, nie wiem, wygeneruje grafiki do raportu i tego typu rzeczy, żeby gdzieś tam zaznaczyć, gdzie to będzie, czego się spodziewać, a nie będzie to już takie, że no my używamy albo nie używamy, w sumie to...

I chciałem cię jeszcze zapytać na koniec, czy chciałbyś coś jeszcze dodać właśnie do tematu tutaj, o którym cały czas rozmawiamy, czyli tej awantury związanej z Deloittem. Wiesz co, chyba tak naprawdę Chyba tak naprawdę powiedzieć ostatnią rzecz, czyli o tej właśnie polityce wykorzystania sztucznej inteligencji. Myślę, że to będzie coraz ciekawszy temat i to jest częściej przewijający się, że firmy będą chciały być transparentne. To znaczy, jeżeli płacimy za jakąś usługę, jeżeli płacimy na przykład za copywriting w jakiejś firmie,

I dlatego też, wracając troszeczkę do tego Deloitte'a, można niektóre rzeczy pominąć, bo prawdopodobnie jak tam były jakieś źródła, czy ktoś wypisał jakieś książki, powołując się na źródła, duża część z nich była poprawna, a któryś jeden się gdzieś zapodział, który nie był. Dlatego przede wszystkim trzeba czatu, czatu można używać w momencie, kiedy ty wiesz, co tak naprawdę chcesz, bo on będzie cię zawsze próbował przekonać do swojego, tak jak próbował ciebie, a nie zawsze to jest po prostu jakkolwiek prawdziwe. Tak, natomiast to rozwiązaniem jest bardzo prostym, bo wystarczy, że tak powiem, to sprawdzenie krzyżowe jest bardzo fajne, bo nie odnosi się nawet do konkretnego faktu, ale ja mu mogę wrzucić cały mój tekst, jakiś konkretny jego fragment i poprosić go o walidację tych rzeczy.