Better Dev Club #9 - Benchmarki AI, czyli wydajność vs. cena
Zapisz się na newsletter żeby zawsze być na bieżąco z nowościami: https://betterdevclub.pl/newsletter🔗do 9 odcinka Better Dev Club Weekly:GDPval-AA Leaderboard | Artificial AnalysisHumanity's Last ExamDwóch MS MVP:Piotr StappKajetan Duszyńskizajmują się przeglądem nowości z zakresu szeroko pojętego AI, nowoczesnych narzędzi.
Zależy, który wybierzesz, tak? No bo, jak gdyby, bądźmy szczerzy, no, jak nagle powiesz, że wiesz, że to tak, jak zrobiłeś taki ogólnik, no, no to nie. Jak zrobisz ogólnik, pod którym wybiorę ten najlepszy, najnowszy i w ogóle, no to akurat chyba w tym momencie tak. Ale ten, ale Claude, Opus 4.5, z tego co pamiętam, depcze mu mocno po piętach, bo też tego dużo wymaga, no. No właśnie, i tutaj dochodzimy do sedna naszej rozmowy realnie, bo mamy oczywiście, jako ludzie techniczni, uwielbiamy benchmarki. Mamy benchmarki telefonów i benchmarki wszystkiego właściwie, co się tylko da, benchmarki ID i innych rzeczy.
No i oczywiście modele też mają swoje benchmarki. I Ty sam mi podesłałeś właśnie jeden benchmark, w którym, no wiadomo, że do benchmarku wystawia się swoich najlepszych zawodników. I tam jakbyśmy porównali GPT-5 i GPT-2... No nie, tam co Ci podesłałem, to tam są wszyscy zawodnicy, tam jest 47 modeli. No to swoją drogą oczywiście, no ale wiadomo, że wygrywają Ci najmocniejsi, nie? I w topce są ci najmocniejsi. No i tutaj mamy sytuację taką, że możemy sobie porównać GPT-5 II High, Cloda Opus 4-5 i Gemini 3 Pro.
No i pytanie brzmi, czy 10 juniorów zastępuje jednego seniora? To oczywiście do Was pytanie, drodzy widzowie. Różne to bywa, zależy pewnie od zadań. Natomiast jest tak, że rzeczywiście modele w tej chwili OpenAI-owe wygrywają w benchmarku pod tytułem Jesteśmy Najlepsze, ale niestety wygrywają też w tym drugim benchmarku Jesteśmy Totalnie Najdrożsi. Żeby było zabawnie, jak spojrzymy na te benchmarki, to też podobnie jest z Clodem. To znaczy Clod w tej chwili 4,5, też akurat w tym miejscu, w którym gadamy, ale to nie jest tak, że to jest jedyny taki benchmark. Oczywiście Clod też jest drogi, natomiast Geminarie są tańsze.
Znacząco tańsza jest rzeczywiście optymalizacja tego, jak gdyby, i to nie chodzi, znaczy, dobra, i teraz, co znaczy tańsze? Tańsze to znaczy dwóch, jak gdyby, z dwóch stron, nie? Jedno to jest ilość tokenów, które potrzeba zużyć, żeby wygenerować odpowiednią odpowiedź, nie? I to jest taki Powiedziałbym, że benchmark totalnie abstrakcyjny, bo ile kosztuje jeden token, to oczywiście jest wtórna. Jak sobie klikniecie w ten link pod naszym podcastem, to będziecie mogli sobie sami zobaczyć. Postaram się spreparować taki, żeby rzeczywiście to było w miarę widać. Może już będą nowsze modele albo cokolwiek innego, jak będziecie klikali.
A drugi właśnie, drugi ten, to jest jak gdyby porównanie czysto, czysto kosztowe. Trzecie, które też warto sobie zwrócić uwagę, to jest porównanie pod tytułem, tylko to już trzeba wyklikać jak gdyby, to jest kwestia tak naprawdę, jak bardzo to kosztuje ta, nazwijmy to inteligencja tego modelu, nie? No i to zaczyna się robić już zdecydowanie ciężkie, to już się zaczyna robić jak gdyby takie kombinowane. To też trzeba by było, żebyście mieli czas, ochotę zrozumieć jak dokładnie ten konkretny benchmark funkcjonuje, co on znaczy, że on mierzy inteligencję, jak to znaczy, że to w ogóle działa. Ale śmieszne nawet jest to, że jak w ogóle zaczniecie patrzeć, bo tu akurat w tym benchmarku Gem Night 3 w ogóle jest normalnie, to znaczy Pro jest lepsze niż Flash, oczywiście nie w kwestii cenowej.
Natomiast jak wejdziecie sobie na oficjalne ogłoszenie Google'owe, to tam jest nawet napisane, że Gemini 3 Flash pokonało Gemini 3 Pro w SWS Verified Benchmark. Czyli w takim benchmarku, który testuje kodowanie, nazwijmy to, agentowe. Co jest w ogóle zabawne, nie? W sensie, że sam Google mówi o tym, że Flash jest lepszy w kodowaniu niż trójka, co jest w ogóle zabawne, nie? Ale tu dochodzimy do takiej chyba clou tego odcinka. Że zaczynamy się bawić nie tylko w to, co jest lepsze, ale w to, co jest tańsze. Bo z jednej strony oczywiście każdy z nas chciałby zadać jedno pytanie czatowi.
Natomiast do samego benchmarku jeszcze tak, żeby być zupełnie szczerym i tutaj autentycznym, to trzeba powiedzieć, że jeden, pierwszy benchmark, który będziemy podsyłać i linkować, czyli Artificial Analysis. Ten, w którym GPT jest mistrzem w każdej kategorii i kosztowej, i wydajnościowej, i inteligencji, no to autorem tego benchmarku jest nie kto inny jak OpenAI. Więc trzeba na to czy brać jakąś poprawkę?
Nie wiem, ale tak właśnie jak nie przez przypadek wspominałem wcześniej o benchmarkach smartfonów, bo już kilkukrotnie wychodziły sytuacje, w których były benchmarki, które faworyzowały pewne telefony i faworyzowały pewne sprzęty. Jak tam się odpowiednio sypnęło hajsem, nie? A SWE Bench jest bardziej niezależny, z tego co wiem. Tyle, że on jest faktycznie skupiony bardziej na rozwiązywaniu zadań kodowych, że tak powiem, niż właśnie Artificial Analysis. Także jak rozmawiamy sobie programista do programisty, to pewnie dla nas bardziej wartościowym jest SWE Bench.
To swoją drogą, a już tak na zakończenie jeszcze możemy powiedzieć o tym, bo ja się dzisiaj o tym dowiedziałem i chyba to jest dosyć świeża sprawa, że Meta w końcu wyszła z piwnicy i kupiła Manus AI. Także myślę, że to też będzie kwestia tego, że oni chcą jednak dołączyć do tego pociągu i nie będą się skupiać tylko na swoich rajbanach. Zobaczymy, co z tego wyjdzie, a wiemy, że meta też potrafi namieszać. No dobra, to tym optymistycznym... A nie, może jeszcze jedną rzecz. Jak chcecie śmieszny benchmark, to jeszcze w linku jest jeszcze... będzie jeszcze jeden, to się nazywa Ostatni test ludzkości, albo Humanity Last Exam, jak wolicie.
Pokazano wszystkie 9 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
Zapisz się na newsletter żeby zawsze być na bieżąco z nowościami: https://betterdevclub.pl/newsletter
🔗do 9 odcinka Better Dev Club Weekly:
GDPval-AA Leaderboard | Artificial AnalysisHumanity's Last ExamDwóch MS MVP:
Piotr Stapp
Kajetan Duszyński
zajmują się przeglądem nowości z zakresu szeroko pojętego AI, nowoczesnych narzędzi.