Better Dev Club #9 - Benchmarki AI, czyli wydajność vs. cena

Nie, ja coś za bardzo przesadziłem. Europejczycy nie gęsi, swój model mają. O, to lepiej. Więc bardzo rzeczywiście lubię Kloda. Przyznam szczerze, że nie przepadam za OpenAI-owymi. Nie wiem dlaczego. Przynajmniej w tym momencie, o może to tak bym powiedział. W tym momencie jakoś za nimi nie przepadam. Lubię też Google'owe. Szczególnie ich najnowsze dziecko, czyli Flash 3. Lubię go między innymi dlatego, że to jest ten sam produkt, który w sumie jest przy groku, bo jest dobry i tani. No właśnie, to ja mam chyba podobne, to znaczy tak, z GPT już od bardzo dawna nie kojarzę, nie korzystam, ale ciekawe jest to, to ostatnio się nad tym w czasie wigilii zastanawiałem tak swoją drogą.

Czyli trzech największych graczy z trzema najmocniejszymi modelami. Doklikaj w tym linku, co Ci wysłałem. Doklikaj sobie jeszcze Gemini Flash, bo już jest. Jak Ci go podsyłałem parę dni temu, to go nie było. Ale możesz sobie doklikać Gemini 3 Flash. Bo śmiesznie się dodaje na tym. Jak ty sobie klikasz i patrzysz na wyniki, to ja spróbuję troszeczkę powiedzieć w ogóle o czym gadamy, no bo cały dowód w dzisiejszych czasach polega na tym samym co od zawsze, czyli junior programista albo junior model jest tańszy niż senior model albo senior programista.

A drugi właśnie, drugi ten, to jest jak gdyby porównanie czysto, czysto kosztowe. Trzecie, które też warto sobie zwrócić uwagę, to jest porównanie pod tytułem, tylko to już trzeba wyklikać jak gdyby, to jest kwestia tak naprawdę, jak bardzo to kosztuje ta, nazwijmy to inteligencja tego modelu, nie? No i to zaczyna się robić już zdecydowanie ciężkie, to już się zaczyna robić jak gdyby takie kombinowane. To też trzeba by było, żebyście mieli czas, ochotę zrozumieć jak dokładnie ten konkretny benchmark funkcjonuje, co on znaczy, że on mierzy inteligencję, jak to znaczy, że to w ogóle działa. Ale śmieszne nawet jest to, że jak w ogóle zaczniecie patrzeć, bo tu akurat w tym benchmarku Gem Night 3 w ogóle jest normalnie, to znaczy Pro jest lepsze niż Flash, oczywiście nie w kwestii cenowej.

Natomiast jak wejdziecie sobie na oficjalne ogłoszenie Google'owe, to tam jest nawet napisane, że Gemini 3 Flash pokonało Gemini 3 Pro w SWS Verified Benchmark. Czyli w takim benchmarku, który testuje kodowanie, nazwijmy to, agentowe. Co jest w ogóle zabawne, nie? W sensie, że sam Google mówi o tym, że Flash jest lepszy w kodowaniu niż trójka, co jest w ogóle zabawne, nie? Ale tu dochodzimy do takiej chyba clou tego odcinka. Że zaczynamy się bawić nie tylko w to, co jest lepsze, ale w to, co jest tańsze. Bo z jednej strony oczywiście każdy z nas chciałby zadać jedno pytanie czatowi.

Tam jest podane to w ELOSCORE, który jak sobie doczytałem jest stosowany też m.in. do oceny szachistów na świecie. Nie do końca wiem jak to się liczy, ale na pewno nie jest tak, że on wychodzi jako 6 razy lepszy. A jest 6 razy droższy. A już jak porównamy go do flasha, no to w ogóle tam jest przepaść. A faktycznie w międzyczasie sobie doklikałem tego flasha, no i flash się pojawia tuż za pro. I to te różnice punktowe są minimalne. Więc faktycznie tutaj optymalizacja, mam wrażenie, że została wykonana troszeczkę lepiej.