Mentionsy Mentionsy
Better Dev Club
Better Dev Club

Better Dev Club #9 - Benchmarki AI, czyli wydajność vs. cena

01.01.2026 ·20 min 22 s

Zapisz się na newsletter żeby zawsze być na bieżąco z nowościami: https://betterdevclub.pl/newsletter🔗do 9 odcinka Better Dev Club Weekly:GDPval-AA Leaderboard | Artificial AnalysisHumanity's Last ExamDwóch MS MVP:Piotr StappKajetan Duszyńskizajmują się przeglądem nowości z zakresu szeroko pojętego AI, nowoczesnych narzędzi.

Nie, ja coś za bardzo przesadziłem. Europejczycy nie gęsi, swój model mają. O, to lepiej. Więc bardzo rzeczywiście lubię Kloda. Przyznam szczerze, że nie przepadam za OpenAI-owymi. Nie wiem dlaczego. Przynajmniej w tym momencie, o może to tak bym powiedział. W tym momencie jakoś za nimi nie przepadam. Lubię też Google'owe. Szczególnie ich najnowsze dziecko, czyli Flash 3. Lubię go między innymi dlatego, że to jest ten sam produkt, który w sumie jest przy groku, bo jest dobry i tani. No właśnie, to ja mam chyba podobne, to znaczy tak, z GPT już od bardzo dawna nie kojarzę, nie korzystam, ale ciekawe jest to, to ostatnio się nad tym w czasie wigilii zastanawiałem tak swoją drogą.

Że jak się rozmawia, albo jak się słyszy rozmowy przy stole, oczywiście przy moim stole wigilijnym musiała być rozmowa na temat czata GPT. I czat GPT jest teraz, mam wrażenie, takim określeniem trochę jak Pampersy. Albo jak Adidasy. Niech będzie, niech będzie. Ale wiesz o czym mówię, że to jest jakby... No tak, no wiem, mam Adidasy Nike'a. Dokładnie, dokładnie tak. I ChatGPT jest teraz takim parasolem, płaszczem, czy jakkolwiek to nazwać, dla określenia wszystkich LLM-ów, dla osób, które kompletnie się na tym nie znają. I nawet jeśli korzystają z Gemini, bo akurat weszli w Google'a i kliknęli, to i tak to jest dla nich ChatGPT.

Natomiast jak wejdziecie sobie na oficjalne ogłoszenie Google'owe, to tam jest nawet napisane, że Gemini 3 Flash pokonało Gemini 3 Pro w SWS Verified Benchmark. Czyli w takim benchmarku, który testuje kodowanie, nazwijmy to, agentowe. Co jest w ogóle zabawne, nie? W sensie, że sam Google mówi o tym, że Flash jest lepszy w kodowaniu niż trójka, co jest w ogóle zabawne, nie? Ale tu dochodzimy do takiej chyba clou tego odcinka. Że zaczynamy się bawić nie tylko w to, co jest lepsze, ale w to, co jest tańsze. Bo z jednej strony oczywiście każdy z nas chciałby zadać jedno pytanie czatowi.

Natomiast fajnie, że są, fajnie, że coraz więcej mówi się o takich benchmarkach i coraz bardziej zwracamy na to uwagę, to znaczy jak nieduże różnice są tak naprawdę pomiędzy tymi modelami, bo w przypadku SWE Bench różnica pomiędzy Clodem, Gemini a GPT jest naprawdę minimalna, a cena jednak robi swoje. A wiesz, to też jest jak gdyby pokazanie pewnej roboty, która pewnie wszystkich czeka. Tak jak Google zaczął ją robić, pozostali jeszcze nie. Skoro Google'owi się udało zrobić to sześć, chyba rzeczywiście sześć razy taniej, no to why not OpenAI, nie? W sensie, why not Anthropic? On nie zrobił tą robotę.

Pokazano wszystkie 4 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.