ChatGPT, Claude czy Gemini? Jak wybrać właściwy model?
W dzisiejszym odcinku podcastu „Business Tech Talks powered by BlueSoft” gościmy Rafała Bielickiego, Solutions Architecta w BlueSoft i autora pionierskiego projektu „MortAI Kombat”. Rozmawiamy o wynikach kompleksowego porównania pięciu wiodących modeli AI (ChatGPT, Claude, Gemini, Copilot i Meta AI), analizując ich wydajność w 47 zadaniach z 10 różnych kategorii, takich jak matematyka, debugowanie kodu czy tworzenie strategii biznesowych. Skupiamy się na tym, dlaczego nie istnieje jeden uniwersalny lider w dziedzinie sztucznej inteligencji, jakie zaskakujące błędy popełniają modele w analizie obrazu oraz jak organizacje powinny podchodzić do wyboru konkretnego „silnika” AI w zależności od specyfiki problemu.
Który chat AI jest najlepszy? Chat GPT? Na pewno jest najpopularniejszy. To może Google Gemina jest lepszy? Niestety odpowiedź wcale nie jest taka prosta. To nie jest tak, że te modele to jest wyścig sprint, że kto pierwszy na mecie jest najlepszy. To jest tak jakby biec naraz w 10 różnych kierunkach. Nie było do tej pory takiej jednej kompleksowej publikacji, która odpowiadała na to pytanie. I ty postarowiłeś się to zrobić. Wyróżniłeś 5 takich zaskoczeń. Jakież było moje zdziwienie, że żaden model nie podał poprawnej odpowiedzi. Niestety pokutuje trochę takie podejście, że skoro jest to maszyna, to powinna działać deterministycznie. Zero-jedynkowo, tak. Zero-jedynkowo, dwa plus dwa jest zawsze cztery. Tu niestety tak nie jest. Są specjalizacje po prostu modeli. To też jest coś, czego w większości użytkownicy nie są świadomi. Rekomendacją jest, żeby przy takich wdrożeniach w ramach organizacji mieć możliwość wyboru silnika, który pod spodem jest wykorzystywany.
Takim, które... Najbardziej mnie zaskoczyło, to był... Który czat AI jest najlepszy? Czat GPT? Na pewno jest najpopularniejszy. To może Google Gemina jest lepszy? Nie, na pewno Klot. Wszyscy ostatnio mówią, że Klot jest najlepszy. To są oczywiście takie pytania, które zadają sobie wszyscy już od wielu miesięcy, którzy korzystają z generatywnej sztucznej inteligencji. Niestety odpowiedź wcale nie jest taka prosta. Rafał Bilicki z Bluesoft przez wiele miesięcy przeprowadzał testy, przetestował wiodące modele, przeprowadził kilkaset różnych testów w kilkudziesięciu różnych środowiskach.
Pytanie jest proste, a odpowiedź... jest dość złożona oraz, że w powszechnej opinii na hasło model AI to wszyscy mają w głowie ChatGPT. Jaki synonim, tak jak buty Nike albo Word jako edytor tekstu, wiadomo, że jest to synonim. Oczywiście jest to ogromny sukces OpenAI, że w ten sposób jest kojarzony, natomiast Wiemy, że tych modeli jest więcej i już sama świadomość tego, że jest ich więcej, jest już jakimś krokiem do przodu. Natomiast to nie jest tak, że te modele to jest jak wyścig, sprint, że kto pierwszy na mecie jest najlepszy. To jest tak jakby biec naraz w dziesięciu różnych kierunkach i każdy model w ten sposób biegnie i stwierdzenie, że ten jest lepszy,
bo coś tam, to jest bardzo trudne i niejednoznaczne. Nie było do tej pory takiej jednej kompleksowej publikacji, która odpowiadała na to pytanie. I ty postarowiłeś się to zrobić? Za każdym razem jak potrzebowałem pomocy właśnie AI, to już nie, że tylko czata, tylko właśnie chciałem sprawdzić, a co ciekawe, co mi odpowie inny. I tak sobie porównywałem te odpowiedzi. Do tego pojedynku wybrałeś pięć modeli. Tak, oczywiście. Chat, GPT i Cloud, do tego Gemini, Copilot i Meta AI. Taką piątkę wybrałem. Wszystkie czynniki były potem za pomocą wzoru brane pod uwagę, żeby pewną numeryczną wartość uzyskać, takiego scoringu, żeby jednak jakoś te modele porównać.
Ale problem polega na tym, że w te 30 sekund Meta AI wyrzuca z siebie Coś, co właściwie jest... Bezużyteczne. Bezużyteczne, tak. On jest tak szybki, że aż bezużyteczny. Właśnie. Klot właśnie z drugiej strony strasznie długo mieli, ale jak już coś wypluje z siebie, to w większości przypadków jest to wysokiej jakości. Natomiast są też tutaj... powiedzmy kwestia tego, ile razy na przykład trzeba pytać taki model, bo prawie nigdy nie jest tak, że pierwsza odpowiedź jest idealna i od razu... Czyli teraz mówisz o tych iteracjach, które są potrzebne,
W warunkach organizacji nie można korzystać z tych ogólnodostępnych modeli, żeby dane nie wyciekały itd. Ale właśnie dlatego organizacje wdrażają AI w swojej infrastrukturze, żeby tę izolację zachować. I tutaj rekomendacją jest, żeby przy takich wdrożeniach w ramach organizacji, mieć możliwość wyboru silnika, który pod spodem jest wykorzystywany. Bo nawet w Bluesoftcie mamy w ten sposób tego naszego Blue AI zrobionego, że on pod spodem, znaczy Po zalogowaniu mamy klasyczny jakiś tam prompt, który możemy sobie wpisać, ale możemy sobie wybrać, czy korzystamy z czata GPT, czy w jakiejś tam konkretnej wersji, czy tam z kopajota, czy tam z innych.
Każdy jest do czegoś innego. Tutaj opowiedziałeś, Rafał, że Gemini jest najbardziej kreatywny, ChatGPT taki dość najbardziej uniwersalny, Cloud do tych zaawansowanych rzeczy, Copaello do tłumaczenia, Meta, AI na razie czekamy. To tak bardzo szybko podsumowując to, co powiedziałeś. Chciałem zachęcić naszych słuchaczy do tego, żeby zajrzeli sobie na profil Rafała. Rafał Bilicki, przypominam, na LinkedIn. Poszedł szereg materiałów, gdzie są takie wnioski w poszczególnych postach na profilu LinkedIn Rafała Bilicki. dotyczących tego raportu. Cały raport, co prawda w 100% nie jest udostępniony, ale streszczenie znajdziecie bardzo łatwo, jeżeli wpiszecie Mortai Combat w Google. Wyskakuje wynik od razu na pierwszym miejscu, link do tego streszczenia. Ale też chcieliśmy Wam tutaj zobowiązać się z Rafałem, że przygotujemy dla Was PDF-a, który będzie do ściągnięcia poniżej tego odcinka podcastu i w tym PDF-ie będą wybrane prompty i zadania.
Pokazano wszystkie 7 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Rozmowa z Rafałem Bilickim z Bluesoft o porównaniu różnych modeli chat AI, takich jak ChatGPT, Google Gemini, Claude i Copilot.
Analiza problemów i zaskoczeń w modelach AI, takich jak brak odpowiedzi na zadane pytania i nieporozumienia w tłumaczeniach.
Opis wybranych przez Rafała modeli AI do porównania, takich jak ChatGPT, Google Gemini, Claude, Copilot i Meta AI.
Opis zaskoczeń w modelach AI, takich jak brak odpowiedzi na zadane zadanie w kategorii multimodalności i nieporozumienia w tłumaczeniach.
Porównanie modeli AI w różnych kategoriach, takich jak tłumaczenia, szybkość odpowiedzi i etyka komunikacji kryzysowej.
Porady w wyborze modelu AI w zależności od zadania, takie jak wybór ChatGPT dla bardziej technicznych zadań i Claude dla architektury referencyjnej.
Podsumowanie rozmowy i radę złotą, że trzeba być ostrożnym w użyciu modeli AI, zwłaszcza w przypadku liczb i arytmetyki.
Rafał Bilicki omawia, jak organizacje powinni wybierać odpowiedni model AI w zależności od zadania, które mają do wykonania.
Podsumowano rozmowę, podkreślając, że nie ma jednego najlepszego modelu AI, a raczej należy wybrać model w zależności od zadania.
Rozdziały i streszczenia generowane automatycznie. Pełna transkrypcja nie jest publikowana — wyszukaj frazę, aby zobaczyć dopasowane fragmenty.
Kliknij, aby znaleźć fragmenty, w których pada.
W dzisiejszym odcinku podcastu „Business Tech Talks powered by BlueSoft” gościmy Rafała Bielickiego, Solutions Architecta w BlueSoft i autora pionierskiego projektu „MortAI Kombat”. Rozmawiamy o wynikach kompleksowego porównania pięciu wiodących modeli AI (ChatGPT, Claude, Gemini, Copilot i Meta AI), analizując ich wydajność w 47 zadaniach z 10 różnych kategorii, takich jak matematyka, debugowanie kodu czy tworzenie strategii biznesowych. Skupiamy się na tym, dlaczego nie istnieje jeden uniwersalny lider w dziedzinie sztucznej inteligencji, jakie zaskakujące błędy popełniają modele w analizie obrazu oraz jak organizacje powinny podchodzić do wyboru konkretnego „silnika” AI w zależności od specyfiki problemu.