Mentionsy Mentionsy
Better Dev Club
Better Dev Club

Better Dev Club #9 - Benchmarki AI, czyli wydajność vs. cena

01.01.2026 ·20 min 22 s

Zapisz się na newsletter żeby zawsze być na bieżąco z nowościami: https://betterdevclub.pl/newsletter🔗do 9 odcinka Better Dev Club Weekly:GDPval-AA Leaderboard | Artificial AnalysisHumanity's Last ExamDwóch MS MVP:Piotr StappKajetan Duszyńskizajmują się przeglądem nowości z zakresu szeroko pojętego AI, nowoczesnych narzędzi.

Że jak się rozmawia, albo jak się słyszy rozmowy przy stole, oczywiście przy moim stole wigilijnym musiała być rozmowa na temat czata GPT. I czat GPT jest teraz, mam wrażenie, takim określeniem trochę jak Pampersy. Albo jak Adidasy. Niech będzie, niech będzie. Ale wiesz o czym mówię, że to jest jakby... No tak, no wiem, mam Adidasy Nike'a. Dokładnie, dokładnie tak. I ChatGPT jest teraz takim parasolem, płaszczem, czy jakkolwiek to nazwać, dla określenia wszystkich LLM-ów, dla osób, które kompletnie się na tym nie znają. I nawet jeśli korzystają z Gemini, bo akurat weszli w Google'a i kliknęli, to i tak to jest dla nich ChatGPT.

No i oczywiście modele też mają swoje benchmarki. I Ty sam mi podesłałeś właśnie jeden benchmark, w którym, no wiadomo, że do benchmarku wystawia się swoich najlepszych zawodników. I tam jakbyśmy porównali GPT-5 i GPT-2... No nie, tam co Ci podesłałem, to tam są wszyscy zawodnicy, tam jest 47 modeli. No to swoją drogą oczywiście, no ale wiadomo, że wygrywają Ci najmocniejsi, nie? I w topce są ci najmocniejsi. No i tutaj mamy sytuację taką, że możemy sobie porównać GPT-5 II High, Cloda Opus 4-5 i Gemini 3 Pro.

Czyli trzech największych graczy z trzema najmocniejszymi modelami. Doklikaj w tym linku, co Ci wysłałem. Doklikaj sobie jeszcze Gemini Flash, bo już jest. Jak Ci go podsyłałem parę dni temu, to go nie było. Ale możesz sobie doklikać Gemini 3 Flash. Bo śmiesznie się dodaje na tym. Jak ty sobie klikasz i patrzysz na wyniki, to ja spróbuję troszeczkę powiedzieć w ogóle o czym gadamy, no bo cały dowód w dzisiejszych czasach polega na tym samym co od zawsze, czyli junior programista albo junior model jest tańszy niż senior model albo senior programista.

Natomiast jak wejdziecie sobie na oficjalne ogłoszenie Google'owe, to tam jest nawet napisane, że Gemini 3 Flash pokonało Gemini 3 Pro w SWS Verified Benchmark. Czyli w takim benchmarku, który testuje kodowanie, nazwijmy to, agentowe. Co jest w ogóle zabawne, nie? W sensie, że sam Google mówi o tym, że Flash jest lepszy w kodowaniu niż trójka, co jest w ogóle zabawne, nie? Ale tu dochodzimy do takiej chyba clou tego odcinka. Że zaczynamy się bawić nie tylko w to, co jest lepsze, ale w to, co jest tańsze. Bo z jednej strony oczywiście każdy z nas chciałby zadać jedno pytanie czatowi.

Jak rozmawiamy sobie jak, duże słowo, przedsiębiorca do przedsiębiorcy, no to Artificial Analysis może być dla nas lepszą miarą, bo może nam zastąpić marketingowców, którzy wiemy, że nam się przydali przy podcaście. I w paru innych zawodach mogliby nam pomóc, których my nie potrafimy wykonywać. Natomiast patrząc na analizę od OpenAI właśnie, to wychodzi, że GPT od... Od Gemini jest na pewno trochę lepszy.

No ja mówię, póki co, póki to nagrywamy jeszcze teraz na gorąco i zaraz wypuszczamy kolejne odcinki, to ja cały czas mogę mówić, że faktycznie używam Gemini jako mojego głównego modelu i ja jestem z każdej strony zadowolony, bo też jak sobie patrzę za każdym razem na wykorzystanie tokenów i jak on świetnie sobie radzi z cashowaniem tych tokenów, znaczy z cashowaniem Names mentioned in the previous episode.

I na ten moment jest to dla mnie pierwszy model jako go-to do wszelkich zadań i do kodowania, bo faktycznie ostatnio też się dogadałem z AntiGravity i modelem Gemini tam i do wszelkiej innej pracy. Może jestem już za bardzo przyzwyczajony, Ale to jest też kwestia, bo cały czas sprawdzam, próbuję sobie porównywać w innych modelach i po prostu te odpowiedzi z Gemini mi osobiście najbardziej odpowiadają. Może to jest kwestia tego, że najwięcej czasu spędziłem nad tym, żeby sobie to odpowiednio skonfigurować przy moich projektach. Może to jest kwestia po prostu jakiejś preferencji tego, w jaki sposób on odpowiada, bo Cloda na przykład już miałem dosyć, jak go wykorzystywałem, bo robił swoje i pierdzielił jeszcze przez dwie strony o jakichś głupotach dodatkowo i ta odpowiedź była taka rozmyta, a tutaj faktycznie jest to bardzo wygodne.

Natomiast fajnie, że są, fajnie, że coraz więcej mówi się o takich benchmarkach i coraz bardziej zwracamy na to uwagę, to znaczy jak nieduże różnice są tak naprawdę pomiędzy tymi modelami, bo w przypadku SWE Bench różnica pomiędzy Clodem, Gemini a GPT jest naprawdę minimalna, a cena jednak robi swoje. A wiesz, to też jest jak gdyby pokazanie pewnej roboty, która pewnie wszystkich czeka. Tak jak Google zaczął ją robić, pozostali jeszcze nie. Skoro Google'owi się udało zrobić to sześć, chyba rzeczywiście sześć razy taniej, no to why not OpenAI, nie? W sensie, why not Anthropic? On nie zrobił tą robotę.

Pokazano wszystkie 8 dopasowań. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.