Mentionsy

I mamy również drugą wersję leaderboardu, czyli community, gdzie już mogą modele korzystać z harnessów, gdzie jest samo reportowanie.

Jako o całym tym pakiecie modelu w połączeniu z harnessem.

No nie pytamy po API, nie wysyłamy fragmentu kodu i nie kopujemy go z powrotem, tylko korzystamy z Cloud Coda, kursora, kodeksa, który ma właśnie ten agent harness, który daje nam

Na pewno jednym z takich najgorętszych punktów całej tej debaty jest właśnie wątek harnessu i tego, czy harness to jest element całego rozwiązania, czy to jest jakiś sposób na hakowanie tego czy innego testu.

Część społeczności mówi, że bez harnessu tak naprawdę działamy tak, jak gdyby człowiekowi zabrać zmysły, że modele już dzisiaj domyślnie tak naprawdę są budowane pod kątem obsługi, narzędzi i

Natomiast sami tutaj członkowie fundacji ARC Prize kontrargumentują, mówiąc, że człowiek nie potrzebuje dedykowanego harnessu per każdy problem, który rozwiązuje.

Natomiast z ich punktu widzenia ten harness to jest jakieś tam rozszerzenie mające umożliwiać modelowi rozwiązywanie tych zadań.

No i teraz moje pytanie brzmi, czym jest tak naprawdę chain of thought jakby w relacji do harnessu, do całej tej dyskusji?

Wydaje mi się dla mnie osobiście, że harness jest takim kolejnym etapem w całej tej grze pod tytułem robimy modele, one mają swoje ograniczenia, potem wprowadzamy Chain of Thought, uczymy te modele rozumowania w taki, a nie inny sposób.

A następnie obudowujemy je harnessem, uczymy je obsługi narzędzi.

Natomiast dla mnie jest to rozszerzenie takie samo, jak sam harness jest rozszerzeniem i powinno się to brać pod...

Rozwiązanie symbolika AI, które tutaj proponuje architekturę orkiestratora i subagentów zostało zdyskwalifikowane z oficjalnego leaderboardu jako benchmark specific harness, czyli takie rozwiązanie, które po prostu działało, ale zostało stworzone tylko po to, żeby rozwiązywać Arc-AGI-3.

I te harnessy też po prostu do tego służą, więc myślę, że i mocniej tutaj pan Szolle, którego zresztą bardzo lubię i też śledzę jego publikacje, będzie trzymał się tych wszystkich wyłączeń i tego twardego rozgraniczenia surowego modelu od, powiedzmy, takich zastosowań komercyjnych, od rozwiązań, które są stosowane komercyjnie, tym raczej będzie bardziej na tym tracił.

Natomiast ja jestem gdzieś tam po stronie takich praktycznych zastosowań, więc im lepszy harness, im lepszy reasoning, to dla mnie jest po prostu tylko zysk taki praktyczny.