Mentionsy

ARC-AGI-3, czyli benchmarka, który miał swoją premierę zaledwie kilka dni temu i już stał się obiektem gorących debat w środowisku AI.

Odcinek pełen mięsa, więc nie ma na co czekać i przejdźmy do pierwszego tematu, czyli Arc-AGI-3.

Założyciele tej fundacji patrzą na ten cały potencjał sztucznej inteligencji w ogóle obecnej generacji modeli nieco inaczej, co udowadniają wydając na rynek ARC-AGI-3.

No bo kiedy Arc-AGI-3 został wydany, to okazało się, że ludzie, którzy brali udział w tym badaniu, którzy byli taką próbką kontrolną dla agentów AI, byli w stanie przejść 100% środowisk testowych, czyli można powiedzieć takich plansz, po których poruszamy się, rozwiązując zadania w tym benchmarku.

I zresztą Arc-AGI-3 to potwierdza.

Natomiast, żeby porozmawiać o całym temacie testowania AI i całej historii Arc-AGI, to na początku chcemy Wam przedstawić autora tego badania, czyli właśnie François Chollet.

No i jak Przemku wyglądało ARC-AGI-1?

To jest taki zbiór, który dziś znamy jako ARC-AGI.

No i ten Arc-AGI niestety gdzieś tam się załamał pod takim podejściem.

A to wszystko dlatego, że te dane, te zadania po prostu zaczęły się pojawiać w internecie odpowiednio często i same modele zaczęły znać konwencję Arc AGI-1, pomimo tego, że nikt ich tego wprost nie uczył.

I to się potwierdziło w momencie, kiedy Arc AGI-1 pojawił się na rynku.

Ten sam Arc AGI-1 zawierał zaledwie 100 zadań.

Zadania z Arc-AGI-1.

Wtedy już była ta świadomość problemów, które wcześniej zidentyfikowaliśmy i postanowiono tę sytuację naprawić, wydając drugą wersję tego benchmarku, czyli Arc-AGI-2.

Przyliterowano same zadania w Arc AGI 2.

No ale mieliśmy kolejne konkursy i tutaj najwyższy wynik to było 24%, no czyli znacznie niżej w przypadku Arc AGI, no ale cały czas mieliśmy tak naprawdę ten sam problem.

Mianowicie Arc AGI było benchmarkiem statycznym.

No i z tego tytułu Cholet i ArcPrize doszli do wniosku, że Arc-AGI-2 jeszcze nie jest tym ostatecznym benchmarkiem, o który tak naprawdę walczą, który tak naprawdę chcą stworzyć, więc zabrali się raz jeszcze do roboty.

No i tutaj właśnie przechodzimy do naszej świeżej premiery, jaką jest Arc-AGI-3.

Tak, poza tym elementem logiki i rozumowania, można powiedzieć, że doszedł tutaj element rozrywkowy, bo Arc AGI 3 stało się grą samą w sobie.

Nie tylko jakby inną grą w stosunku do Arc AGI 1 i 2, ale po prostu grą, w którą można pograć, gdzie można się pobawić w przechodzeniu, w realizowaniu tych wszystkich questów, leveli, które tam autorzy dla nas

No i ja w tego Arc-AGI-3 zagrałem, dość intuicyjnie można tutaj rozpoznać, o co chodzi, natomiast to nie jest tak, że wszystko jest faktycznie podane na tacy.

Następnie mamy różne warianty tego benchmarku i to akurat są lekcje wyniesione z Arc AGI 1 i 2.

No i też mamy walidację środowisk w tym Arc-AGI-3, czyli

No i Przemku, jakie właśnie opinie w społeczności wywołało Arc-AGI-3?

U mnie akurat pojawia się tutaj pewien zgryz, kiedy słyszę ten kontrargument, bo patrzę też w tym momencie, kiedy sobie to nagrywamy na leaderboard Arc-AGI-2 i wcześniej też mieliśmy już takie rozróżnienie, które w zasadzie powodowałoby, że już nawet poprzednia wersja tego benchmarku byłaby wystarczająca, bo patrzę sobie tutaj na Arc-AGI-2.

Natomiast można pewnie to odbić w ten sposób, że Chain of Thought też nie był tutaj tworzony pod rozwiązywanie Arc AGI.

No bo o ile my ludzie, ja, ty czy każdy kto słucha tego podcastu możemy sobie pograć w te gry z Arc AGI 3 w przeglądarce i mamy coś na zasadzie Game Boya z przyciskami, tak modele dostają po prostu JSON, czyli tekstową, symboliczną reprezentację danego levelu, danej sceny, z którą muszą sobie poradzić.

Modele już dzisiaj są w stanie dobrze interpretować obrazy, natomiast jakby włączenie tego trybu i tak nie zmieniłoby stanu rzeczy, nie sprawiłoby, że na przykład ten Arc-Agi-3

Rozwiązanie symbolika AI, które tutaj proponuje architekturę orkiestratora i subagentów zostało zdyskwalifikowane z oficjalnego leaderboardu jako benchmark specific harness, czyli takie rozwiązanie, które po prostu działało, ale zostało stworzone tylko po to, żeby rozwiązywać Arc-AGI-3.

Ciężko powiedzieć tak naprawdę, czy ten stosunek pomiędzy postępami w ARC-AGI będzie odzwierciedleniem też bardzo dużych postępów w zakresie realizacji zadań chociażby programistycznych.

Może być tak, że modele staną się dużo lepsze właśnie w rozwiązywaniu Arc AGI, a nie zrobią ogromnych postępów w zakresie dołożenia zadań programistycznych, a też może być tak, że zrobią ogromne postępy w zakresie osiągania efektów biznesowych, a cały czas w Arc AGI będą miały wyniki słabe i nikogo to specjalnie nie będzie interesowało, no poza wąską grupą badaczy, którzy chcą się

W takim tygodniu premiery tego Arc AGI-3

W Polsce też jednak mocno patrzy się na to, co potrafią surowe modele, trochę tak jak tutaj twórca ARC-AGI-3 i taki obóz na pewno w tej debacie też jest.

I też ważny milestone, 30 marca firma AGI Bot wyprodukowała dziesięciotysięcznego robota humanoidalnego.