ChatGPT, Claude czy Gemini? Jak wybrać właściwy model?
W dzisiejszym odcinku podcastu „Business Tech Talks powered by BlueSoft” gościmy Rafała Bielickiego, Solutions Architecta w BlueSoft i autora pionierskiego projektu „MortAI Kombat”. Rozmawiamy o wynikach kompleksowego porównania pięciu wiodących modeli AI (ChatGPT, Claude, Gemini, Copilot i Meta AI), analizując ich wydajność w 47 zadaniach z 10 różnych kategorii, takich jak matematyka, debugowanie kodu czy tworzenie strategii biznesowych. Skupiamy się na tym, dlaczego nie istnieje jeden uniwersalny lider w dziedzinie sztucznej inteligencji, jakie zaskakujące błędy popełniają modele w analizie obrazu oraz jak organizacje powinny podchodzić do wyboru konkretnego „silnika” AI w zależności od specyfiki problemu.
Który chat AI jest najlepszy? Chat GPT? Na pewno jest najpopularniejszy. To może Google Gemina jest lepszy? Niestety odpowiedź wcale nie jest taka prosta. To nie jest tak, że te modele to jest wyścig sprint, że kto pierwszy na mecie jest najlepszy. To jest tak jakby biec naraz w 10 różnych kierunkach. Nie było do tej pory takiej jednej kompleksowej publikacji, która odpowiadała na to pytanie. I ty postarowiłeś się to zrobić. Wyróżniłeś 5 takich zaskoczeń. Jakież było moje zdziwienie, że żaden model nie podał poprawnej odpowiedzi. Niestety pokutuje trochę takie podejście, że skoro jest to maszyna, to powinna działać deterministycznie. Zero-jedynkowo, tak. Zero-jedynkowo, dwa plus dwa jest zawsze cztery. Tu niestety tak nie jest. Są specjalizacje po prostu modeli. To też jest coś, czego w większości użytkownicy nie są świadomi. Rekomendacją jest, żeby przy takich wdrożeniach w ramach organizacji mieć możliwość wyboru silnika, który pod spodem jest wykorzystywany.
Takim, które... Najbardziej mnie zaskoczyło, to był... Który czat AI jest najlepszy? Czat GPT? Na pewno jest najpopularniejszy. To może Google Gemina jest lepszy? Nie, na pewno Klot. Wszyscy ostatnio mówią, że Klot jest najlepszy. To są oczywiście takie pytania, które zadają sobie wszyscy już od wielu miesięcy, którzy korzystają z generatywnej sztucznej inteligencji. Niestety odpowiedź wcale nie jest taka prosta. Rafał Bilicki z Bluesoft przez wiele miesięcy przeprowadzał testy, przetestował wiodące modele, przeprowadził kilkaset różnych testów w kilkudziesięciu różnych środowiskach.
No i w takim razie co z tych testów wyszło? Który model jest najlepszy? Czy rzeczywiście klot? Słuchacie podcastu Business Tech Talks Powered by Bluesoft. Ja się nazywam Paweł Pilaczyk, a do rozmowy zaprosiłem oczywiście Rafała Bilickiego, Solutions Architect w Bluesoft i autora projektu Mortai Combat. Cześć Rafał. Cześć Paweł. Bardzo się cieszę, że dołączyłeś tutaj do rozmowy, że znalazłeś czas, żeby ze mną chwilkę porozmawiać. Dzięki za zaproszenie. Super, bardzo fajnie, że jesteś. To w takim razie... Powiedz mi, czy to jest tak, że tobie też zadają wszyscy pytania, który model jest najlepszy? Tak się domyślam, bo ja takie pytania regularnie dostaję. Który model wybrać? Czy wybrać Chata GPT, czy Gemini'a, czy Copilota? Dokładnie tak. I to zarówno prywatnie, jak i zawodowo z tym pytaniem się spotykam. Odpowiedź nie jest taka jednoznaczna.
Pytanie jest proste, a odpowiedź... jest dość złożona oraz, że w powszechnej opinii na hasło model AI to wszyscy mają w głowie ChatGPT. Jaki synonim, tak jak buty Nike albo Word jako edytor tekstu, wiadomo, że jest to synonim. Oczywiście jest to ogromny sukces OpenAI, że w ten sposób jest kojarzony, natomiast Wiemy, że tych modeli jest więcej i już sama świadomość tego, że jest ich więcej, jest już jakimś krokiem do przodu. Natomiast to nie jest tak, że te modele to jest jak wyścig, sprint, że kto pierwszy na mecie jest najlepszy. To jest tak jakby biec naraz w dziesięciu różnych kierunkach i każdy model w ten sposób biegnie i stwierdzenie, że ten jest lepszy,
Do tego przygotowałem 47 zadań w 10 różnych kategoriach. Kategorie typu rozwiązywanie zadań matematycznych, debagowanie kodu, kreatywne pisanie, pisanie biznes case'ów i strategii biznesowych, tematy wrażliwe, wykrywanie uprzedzeń, analiza obrazów. Multimodalność. Tak, multimodalność, dokładnie. No i oczywiście też tłumaczenia. To nie wszystkie kategorie, ale takie były w każdej. Po kilka zadań usiadłem do testowania i się okazało, że to nie jest takie proste.
Wyróżniłeś pięć takich zaskoczeń, które były dla ciebie, no właśnie, zaskakujące. Powiedz coś na ich temat. Takim, które Najbardziej mnie zaskoczyło, to był test właśnie w tej kategorii multimodalności, który polegał na tym, że zadałem modelom bardzo prostą zagadkę, taką wizualną. Czyli dostały na wejściu obrazek, wygenerowany. I na tym obrazku był regał z książkami. Tam miał 4 czy 5 półek. Na półce stały książki. No i takie miały kolorowe okładki.
Obok tego regału był taki flipchart i na tym flipchartzie była zagadka. I było napisane Klucz znajduje się za piątą książką na drugiej półce od góry, licząc od lewej. I prompt do tego zadania był bardzo prosty. Rozwiąż zagadkę przedstawioną na obrazku i podaj kolor książki, za którą jest ten klucz. Pięcioletnie dziecko by rozwiązało takie testy. No dokładnie. A nawet może trzy. A może nawet trzy, tak. Natomiast jakieś było moje zdziwienie, że żaden model nie podał poprawnej odpowiedzi. I to mimo wielokrotnych prób. To naprawdę byłem w szoku. To jakiś naprawdę zbiorowy przypadek daltonizmu.
Dlatego, że po prostu już... Nawet zrobiłem coś takiego, że wyedytowałem ten obrazek i zrobiłem X na tej okładce tej konkretnej książki. I powiedziałem, no dobrze, to powiedz mi, drogi Czacie, Dżeminaju, Klozie, jaki jest kolor książki, na której jest X. I też nie. Ale tak zupełnie przestrzelone. Nie były w stanie podać liczby półek w tym regale. Więc to w ogóle była jakaś abstrakcja. Byłem naprawdę w szoku, dlatego że No jednak te modele są reklamowane, wiodące, najbardziej popularne i ta funkcjonalność, że można im zadać dowolne materiały i one z tego wyciągną jakiś insight.
Tak, wydaje się, że jest taka kluczowa, podstawowa. Dokładnie, dokładnie. I te obrazy czy filmy w tej chwili tak generowane już są dużo lepsze. Teraz bardziej realistyczne? Ale rzeczywiście dzisiaj mamy z takimi obrazami, które są generowane w tej chwili do czynienia, one są już absolutnie fotorealistyczne. Model Seedance, ten chiński, albo Cling Motion Control, to są modele, które generują te obrazy i wideo, absolutnie fotorealistyczne, ale w drugą stronę, gdy chcemy sobie analizować ten obraz, to się pojawiają problemy. Ty wskazałeś jeszcze wiele innych problemów. Powiedzieliśmy o tych pięciu, na których zwyciężyła G1, była ta multimodalność. Na przykład tłumaczenia. To jest coś, co mnie zaskoczyło w tym swoim spostrzeżeniu. I kolejny temat, bo można by pomyśleć, że to będzie najprostsza z tych kategorii. Właśnie, to rzeczywiście wszystkie modele to 100, 70 języków, modele językowe, dokładnie.
Miliardy tekstów czytają we wszystkich możliwych językach powinno być prosto. A okazało się, że miały zaskakujące trudności niektóre i co śmieszniejsze, te modele, które były najlepsze albo przodujące w jakichś złożonych analizach, w projektowaniu systemów, jakichś strategii biznesowych, nagle okazało się, że nie potrafią w sposób naturalny tłumaczyć tekstu. Czyli klot, tak na przykład? Tak, dokładnie. piję do kloda, który był właśnie takim prymusem, jeśli chodzi o te złożone analizy, a tutaj nagle tak jakby tracił taką naturalny flow tego tekstu i te jego tłumaczenia były bardzo takie książkowe.
Takie jak z nauki angielskiego z podstawówki, powiedzmy. Natomiast z kolei zaskoczeniem drugim w tej samej kategorii był CoPilot, który do tego momentu, a to była jedna z ostatnich kategorii, to chyba siódma czy ósma, więc już ileś było przetestowanych. Do tego momentu CoPilot powiedzmy był takim średniakiem. Gdzieś w połowie stawki się plasował. Dość szybki, ale te jego odpowiedzi często wymagały tam dopracowania i powiedzmy szału nie ma. Natomiast tutaj... Każdy test, jeśli chodzi o tłumaczenie, Copilot najlepszy. No właśnie. I to też jakby raz, że zaskoczenie.
Dwa, że jakby pokazuje, że są specjalizacje po prostu modeli. I to też jest coś, czego większości użytkownicy nie są świadomi. To jest to, od czego zaczęliśmy, że jeden model, który do wszystkiego. Tak mi się wydaje, że to są wszystkie modele, które mniej więcej są takie same. Tak, że wszystkie są mniej więcej takie same i będą w podobny sposób odpowiadać. No to tutaj jakby pokazuje, że są różnice często dość duże w zależności od tego, o co pytamy de facto. A jakość kontra szybkość? No tutaj też różnice są bardzo duże. Oczywiście mamy liderów, jeśli chodzi o szybkość i tutaj chyba w ogóle najszybszy ze wszystkich modeli jest Meta.
Potem przeważnie Copilot. W środku stawki jest właśnie Gemini z czatem, a najwolniejszy zawsze de facto jest Clot. Ale to jakby ta prędkość, no oczywiście ona jest właściwie odwrotnie proporcjonalna do jakości w tym momencie. I o ile, jakby te różnice są naprawdę znaczące, jeśli chodzi o prędkość, bo na to samo zapytanie, na tego samego prompta meta odpowiada na przykład w 30 sekund, klot odpowiada w 5 minut. to różnica jest już znacząca z punktu widzenia użytkownika, który faktycznie musi czekać na tę odpowiedź.
Ale problem polega na tym, że w te 30 sekund Meta AI wyrzuca z siebie Coś, co właściwie jest... Bezużyteczne. Bezużyteczne, tak. On jest tak szybki, że aż bezużyteczny. Właśnie. Klot właśnie z drugiej strony strasznie długo mieli, ale jak już coś wypluje z siebie, to w większości przypadków jest to wysokiej jakości. Natomiast są też tutaj... powiedzmy kwestia tego, ile razy na przykład trzeba pytać taki model, bo prawie nigdy nie jest tak, że pierwsza odpowiedź jest idealna i od razu... Czyli teraz mówisz o tych iteracjach, które są potrzebne,
Tak jak mówiłem, jednym z tych kryteriów oceniania była liczba iteracji, które doprowadziły do akceptowalnej odpowiedzi. I tutaj też jest tak, że mamy powiedzmy dwa rodzaje iteracji. Ale tutaj jak mówisz właśnie o tej szybkości i powiedziałeś, że meta jest najszybszy z tych modeli, z których testowałeś. Tak. Ale czy te odpowiedzi z takiej meta w ogóle jest sens wykorzystywać do jakichkolwiek celów, czy w ogóle byś powiedział, nie, zostawmy meta w ogóle? Na dzień dzisiejszy, tak... Eufemistycznie mówiąc, powiedziałbym, że w takiej formie, w jakiej jest, to bym nie wykorzystywał go.
Nie rekomendujesz, okej. Nie rekomendował. Właściwie chyba w żadnym z tych testów meta nie był wyżej niż drugi od końca. Więc faktycznie to było też zaskakująco słabe po prostu. Ale jak potrzebuje jakiegoś turbo szybkiego tweeta wrzucić, bo akurat coś się wydarzyło, To bym rekomendował, jakby takiego szybkiego tweeta, to bym rekomendował Gemini'a. Nawet Gemini'a? Nawet Gemini'a, bo jest szybki. Jest odpowiedni taki balans między szybkością a jakością odpowiedzi. Bo meta jest bardzo szybki, ale na przykład wyrzuca z siebie właściwie taki strumień świadomości.
Taki tekst, nawet nie podzielony na kapity, to się ciężko czyta w ogóle po prostu. Jeszcze jedno, na co zwróciliś uwagę w przypadku tych zaskoczeń, to etyka komunikacji kryzysowej. To cię też zaskoczyło. Tak, to było też coś ciekawego. Tutaj chodziło w tym zadaniu, że mamy fikcyjną firmę, która produkuje drony. No i okazało się, że w jakichś tam testach wyszło, że jest jakaś taka krytyczna awaria części baterii w części partii, które zostały wyprodukowane. No i trzeba wystosować taki komunikat prasowy o wycofaniu tych modeli. Nie dość, że spada dron, to może jeszcze, nie wiem, spaść na kogoś, niebezpieczeństwo i tak dalej.
W mieście na samochód komuś. W związku z czym trzeba taki komunikat prasowy No i było jawnie w tym promptzie powiedziane, że ma być reassuring and transparent. Czyli nic nie ukrywamy, mówimy jak jest, ale podkreślamy, że wszystko jest pod kontrolą i pracujemy. No więc też wydaje się w miarę proste i modele poradziły sobie z tym całkiem nieźle, natomiast to zaskoczenie, o którym tutaj wspominasz, to był Gemini, dlatego że on jakby w tym komunikacie prasowym, który napisał, w taki dość bezczelny sposób manipulował tym przekazem, tą komunikacją.
Po prostu malował trawę, mówił, że właściwie to już jest gotowa poprawka i tylko jest kwestia tam wysłania. że nie zaproponował na przykład zwrotu kosztów dla użytkowników, którzy zakupili, tylko że jak już mamy właściwie gotowe, jak tutaj, jeśli wasz dron jest z tej partii, no to możemy tam jakby wysłać jakiś tam poprawiony. Przy czym takich informacji nie było w prompcie. Sam sobie to wymyślił w ogóle. Sam sobie to wymyślił. No i to było takie trochę zaskakujące. Więc go dopytywałem, dlaczego tak? Miało być transparentnie, prawda? I on odpowiedział, że dla niego, ponieważ pisze z punktu widzenia organizacji, najważniejsze jest ochrona cen akcji wszystkich akcjonariuszy i interesariuszy.
W związku z czym pisze to z punktu widzenia, tak żeby było najlepiej dla organizacji, więc trochę tam manipuluje tym przekazem i to jest okej. I on to bronił w taki no trochę cyniczny sposób, ale jak się nad tym zastanowić, no wszystko się zgadza. No i to było o tyle Było trochę zaskakujące, bo pozostałe modele też oczywiście trochę w tę stronę szły, ale w dużo łagodniejszy sposób. To nie było aż tak jawne. Takie bardziej zachowawcze były. No i to tak jakby dało mi do myślenia o tyle, że w sumie nie powinno to dziwić nawet, dlatego że na czym się te modele uczą?
No uczą się na faktycznych sytuacjach jakichś kryzysowych, jakieś materiały, które miały, jakieś inne press releases, które były robione. A jak działają organizacje? No tak, żeby chronić własne interesy. No tak. No tak, ale nie były uczone, żeby zachować się inaczej, nie? Tak. Gdybym się uparł, to mógłbym tego Gemini'a zmusić do tego, żeby złagodził ten komunikat i zrobił go bardziej w stylu tych poprzednich. Natomiast to pokazuje No właśnie taką trochę specyfikę poszczególnych modeli, ten ich trochę taki charakter. I też pokazuje, że te pierwsze odpowiedzi niekoniecznie muszą być takie, jakich oczekujemy, więc trzeba...
Trzeba być bardzo uważnym w tym momencie po prostu. Czy w takim razie ty, jakbyś miał wybrać, to byś wybrał konkretny model, czy jednak byś wykorzystywał różne modele do różnych rzeczy i też wspomniałeś o tym, że te modele mają takie różne osobowości. Czy możesz jakoś tak scharakteryzować, czym się te osobowości wyróżniają? Tak, no w tej chwili faktycznie do różnych zadań wykorzystuję różne modele. Tak, no w tej, po tylu... Czyli nie masz swojego ulubionego takiego... Nie, nie mam, natomiast faktycznie, tak jak mówię, wykorzystuję różne. Jeśli mam czas, tak jakby mogę pozwolić sobie na to, żeby poczekać i temat jest jakiś złożony, to wtedy kloda.
Jakieś architektury referencyjne, jakieś dokładne przygotowanie przykładów do jakichś case'ów biznesowych. Wtedy Claude, również ze względu na to, że wtedy ta jego gadatliwość jest zaletą. To jest taki właśnie gadatliwy profesor, który będzie nauczał z ambony, ale faktycznie mówi dużo i to ładnie jest napisane, ma to sens. Ale jeśli na przykład chodzi o takie bardziej przyziemne techniczne sprawy, w szczególności kod, to tutaj częściej używam
Chata GPT. A to zaskoczenie, bo najczęściej się mówi, że właśnie ten klot jest taki dokładny. No tutaj być może teraz musiałbym powtórzyć część tych testów, natomiast wtedy, kiedy testowałem właśnie te techniczne aspekty, to na przykład przy tym debagowaniu kodu, bo zadałem mu taki spory kod Pythonowy i miały modele znaleźć błędy, poprawić oraz napisać, w czym tkwił błąd i dlaczego ich rozwiązanie jest lepsze, czyli taką dość kompleksową analizę tego kodu zrobić. I oczywiście Claude bardzo długą analizę, fantastycznie wyglądającą, z kolorowaniem fragmentów kodu, więc wyglądało to super.
No tylko, że się potem okazało, jak się wczytałem, to się okazało, że po pierwsze, kilku błędów nie wychwycił, po drugie, dodał kilka od siebie. To już w ogóle było słabe. Natomiast z kolei czat GPT dla tego samego zadania, dwa czy trzy razy krótsza analiza, ale jakby odpowiedź, jakby ten poprawiony kod był w punkt zrobiony. Czyli włapał wszystkie te błędy. Tak, więc tutaj jakby o rozpisanie tak jakby nie wiem, komponentów architektury i tak dalej, to zrobi to pewnie lepiej Cloud, ale jak trzeba przykładowe jakieś interfejsy napisać albo zdebugować kod, to większe zaufanie mam teraz do czata.
Pokazano pierwszych 25 dopasowań — doprecyzuj frazę, aby zawęzić wyniki. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Rozmowa z Rafałem Bilickim z Bluesoft o porównaniu różnych modeli chat AI, takich jak ChatGPT, Google Gemini, Claude i Copilot.
Analiza problemów i zaskoczeń w modelach AI, takich jak brak odpowiedzi na zadane pytania i nieporozumienia w tłumaczeniach.
Opis wybranych przez Rafała modeli AI do porównania, takich jak ChatGPT, Google Gemini, Claude, Copilot i Meta AI.
Opis zaskoczeń w modelach AI, takich jak brak odpowiedzi na zadane zadanie w kategorii multimodalności i nieporozumienia w tłumaczeniach.
Porównanie modeli AI w różnych kategoriach, takich jak tłumaczenia, szybkość odpowiedzi i etyka komunikacji kryzysowej.
Porady w wyborze modelu AI w zależności od zadania, takie jak wybór ChatGPT dla bardziej technicznych zadań i Claude dla architektury referencyjnej.
Podsumowanie rozmowy i radę złotą, że trzeba być ostrożnym w użyciu modeli AI, zwłaszcza w przypadku liczb i arytmetyki.
Rafał Bilicki omawia, jak organizacje powinni wybierać odpowiedni model AI w zależności od zadania, które mają do wykonania.
Podsumowano rozmowę, podkreślając, że nie ma jednego najlepszego modelu AI, a raczej należy wybrać model w zależności od zadania.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
W dzisiejszym odcinku podcastu „Business Tech Talks powered by BlueSoft” gościmy Rafała Bielickiego, Solutions Architecta w BlueSoft i autora pionierskiego projektu „MortAI Kombat”. Rozmawiamy o wynikach kompleksowego porównania pięciu wiodących modeli AI (ChatGPT, Claude, Gemini, Copilot i Meta AI), analizując ich wydajność w 47 zadaniach z 10 różnych kategorii, takich jak matematyka, debugowanie kodu czy tworzenie strategii biznesowych. Skupiamy się na tym, dlaczego nie istnieje jeden uniwersalny lider w dziedzinie sztucznej inteligencji, jakie zaskakujące błędy popełniają modele w analizie obrazu oraz jak organizacje powinny podchodzić do wyboru konkretnego „silnika” AI w zależności od specyfiki problemu.