Better Dev Club #9 - Benchmarki AI, czyli wydajność vs. cena
Zapisz się na newsletter żeby zawsze być na bieżąco z nowościami: https://betterdevclub.pl/newsletter🔗do 9 odcinka Better Dev Club Weekly:GDPval-AA Leaderboard | Artificial AnalysisHumanity's Last ExamDwóch MS MVP:Piotr StappKajetan Duszyńskizajmują się przeglądem nowości z zakresu szeroko pojętego AI, nowoczesnych narzędzi.
Natomiast do samego benchmarku jeszcze tak, żeby być zupełnie szczerym i tutaj autentycznym, to trzeba powiedzieć, że jeden, pierwszy benchmark, który będziemy podsyłać i linkować, czyli Artificial Analysis. Ten, w którym GPT jest mistrzem w każdej kategorii i kosztowej, i wydajnościowej, i inteligencji, no to autorem tego benchmarku jest nie kto inny jak OpenAI. Więc trzeba na to czy brać jakąś poprawkę?
Nie wiem, ale tak właśnie jak nie przez przypadek wspominałem wcześniej o benchmarkach smartfonów, bo już kilkukrotnie wychodziły sytuacje, w których były benchmarki, które faworyzowały pewne telefony i faworyzowały pewne sprzęty. Jak tam się odpowiednio sypnęło hajsem, nie? A SWE Bench jest bardziej niezależny, z tego co wiem. Tyle, że on jest faktycznie skupiony bardziej na rozwiązywaniu zadań kodowych, że tak powiem, niż właśnie Artificial Analysis. Także jak rozmawiamy sobie programista do programisty, to pewnie dla nas bardziej wartościowym jest SWE Bench.
Jak rozmawiamy sobie jak, duże słowo, przedsiębiorca do przedsiębiorcy, no to Artificial Analysis może być dla nas lepszą miarą, bo może nam zastąpić marketingowców, którzy wiemy, że nam się przydali przy podcaście. I w paru innych zawodach mogliby nam pomóc, których my nie potrafimy wykonywać. Natomiast patrząc na analizę od OpenAI właśnie, to wychodzi, że GPT od... Od Gemini jest na pewno trochę lepszy.
Pokazano wszystkie 3 dopasowania. Transkrypcja generowana automatycznie i niesprawdzana ręcznie — może zawierać błędy.
Kliknij, aby znaleźć fragmenty, w których pada.
Zapisz się na newsletter żeby zawsze być na bieżąco z nowościami: https://betterdevclub.pl/newsletter
🔗do 9 odcinka Better Dev Club Weekly:
GDPval-AA Leaderboard | Artificial AnalysisHumanity's Last ExamDwóch MS MVP:
Piotr Stapp
Kajetan Duszyński
zajmują się przeglądem nowości z zakresu szeroko pojętego AI, nowoczesnych narzędzi.