Better Dev Club #9 - Benchmarki AI, czyli wydajność vs. cena

No i pytanie brzmi, czy 10 juniorów zastępuje jednego seniora? To oczywiście do Was pytanie, drodzy widzowie. Różne to bywa, zależy pewnie od zadań. Natomiast jest tak, że rzeczywiście modele w tej chwili OpenAI-owe wygrywają w benchmarku pod tytułem Jesteśmy Najlepsze, ale niestety wygrywają też w tym drugim benchmarku Jesteśmy Totalnie Najdrożsi. Żeby było zabawnie, jak spojrzymy na te benchmarki, to też podobnie jest z Clodem. To znaczy Clod w tej chwili 4,5, też akurat w tym miejscu, w którym gadamy, ale to nie jest tak, że to jest jedyny taki benchmark. Oczywiście Clod też jest drogi, natomiast Geminarie są tańsze.

Nie wiem, ale tak właśnie jak nie przez przypadek wspominałem wcześniej o benchmarkach smartfonów, bo już kilkukrotnie wychodziły sytuacje, w których były benchmarki, które faworyzowały pewne telefony i faworyzowały pewne sprzęty. Jak tam się odpowiednio sypnęło hajsem, nie? A SWE Bench jest bardziej niezależny, z tego co wiem. Tyle, że on jest faktycznie skupiony bardziej na rozwiązywaniu zadań kodowych, że tak powiem, niż właśnie Artificial Analysis. Także jak rozmawiamy sobie programista do programisty, to pewnie dla nas bardziej wartościowym jest SWE Bench.

Natomiast fajnie, że są, fajnie, że coraz więcej mówi się o takich benchmarkach i coraz bardziej zwracamy na to uwagę, to znaczy jak nieduże różnice są tak naprawdę pomiędzy tymi modelami, bo w przypadku SWE Bench różnica pomiędzy Clodem, Gemini a GPT jest naprawdę minimalna, a cena jednak robi swoje. A wiesz, to też jest jak gdyby pokazanie pewnej roboty, która pewnie wszystkich czeka. Tak jak Google zaczął ją robić, pozostali jeszcze nie. Skoro Google'owi się udało zrobić to sześć, chyba rzeczywiście sześć razy taniej, no to why not OpenAI, nie? W sensie, why not Anthropic? On nie zrobił tą robotę.