Mentionsy

benchmarku, w tym razie tym razem na przykładzie benchmarku metr pokażemy jakie są słabości mierzenia w ten sposób efektywności modeli, tak żebyście lepiej rozumieli, że często te liczby podawane w ramach nowych anonsmentów modeli wcale nie wnoszą tak wiele do realnego progresu, do zrozumienia jak te modele się

takie zmiany wprowadza, mamy tutaj taką zaawansowaną kontrolę nad parametrami, nad elementami stałymi obrazu podczas edycji, można sobie wyizolować i zachować poszczególne fragmenty, można lepiej zadbać o podobieństwo rysów twarzy, o oświetlenie sceny, o kompozycję albo o tonację kolorów, czyli wszystko to, co znowu właśnie konwertuje to narzędzie z takiego modelu hobbystycznego już do realnego narzędzia.

Teraz po opowieściach o standardach jeszcze troszkę rantu na temat benchmarków, również jeden z takich stałych, powtarzających się fragmentów tego naszego podcastu, takich motywów przewodnich, bo na koniec tego odcinka, w tej ostatniej części opowiemy Wam o tym, jak zyskujący na popularności wykres czasu pracy modeli sztucznej inteligencji rozwijany przez organizację METR.

Na początku może Marcin przytoczmy kilka takich problemów tych współczesnych benchmarków zanim do samego metra przejdziemy, no bo wiemy, że z benchmarkami różnie bywa, wiemy, że można w różny sposób wpływać na te wyniki, więc jakie takie ogólne problemy tutaj trzeba byłoby zidentyfikować, na co warto zwracać uwagę.

Jeżeli mamy jakąś metrykę, która staje się jednocześnie celem, no to ona przestaje też być dobrą metryką.

Teraz Przemku omówmy, jak to wygląda w przypadku samego metru, jakie tam mamy problemy.

No i tutaj właśnie autor tego tekstu, który chcemy omówić, on wskazuje, że jest to istotny gdzieś tam istotny wskaźnik pokazujący postępy na tym polu generatywnej sztucznej inteligencji, ale bardzo łatwo go zaburzać i właśnie ten metr plot, który stał się takim standardem, takim częstym punktem odniesienia,

Jeśli przyjrzymy się tym zadaniom, które rozwiązują modele właśnie, które są oceniane pod kątem tego metru plotu, tego horizon left,

Jeśli chodzi o samą tę metodę badania, którą tutaj organizacja METR przyjęła, ona tutaj bierze konkretne typy zadań, które są właśnie przykładane do działania modelu.

No więc to wszystko kończy się tak, że metr nie tyle pokazuje jak długo zaczynają pracować modele, co pokazuje jak długo one są w stanie pracować właśnie w zakresie tej wąskiej specjalizacji właśnie.

Ogólnie ten benchmark ma dużo sensu i tak jak mówisz, zdolność tych modeli do wykonywania jakichś dłuższych zadań samodzielnie jest istotną metryką tego, do czego one są zdolne.