Claude Opus 5 rozbija benchmark ARC-AGI-3. Co to oznacza dla AI?

Twórcy benchmarku ARC-AGI, który ma mierzyć prawdziwą inteligencję maszyn, ogłosili właśnie nowego lidera. Model Claude Opus 5 od Anthropic uzyskał wynik 30,2% w najtrudniejszej wersji testu – ARC-AGI-3. To skok o niemal 400% w porównaniu do poprzedniego rekordu (7,8%), który należał do GPT-5.6 Sol (Max) od OpenAI. Co ważniejsze, Opus 5 rozwiązał pięć zupełnie nowych środowisk, z czego cztery na poziomie człowieka lub wyższym. Wynik ten stawia go również wyraźnie przed własnymi modelami Anthropic z rodziny „Fable”, które osiągały około 20%.

Jak Opus 5 osiągnął taki wynik?

Według analizy ARC Prize, kluczem do sukcesu jest znacznie lepsze rozumowanie logiczne. To właśnie ono pozwala modelowi na bardziej autonomiczną eksplorację, planowanie i wykonywanie działań w nieznanych środowiskach. Podczas testów zaobserwowano zachowania, których wcześniej nie widziano u żadnego modelu. Opus 5 samodzielnie tłumaczył zadania na notację algebraiczną i po raz pierwszy w historii formułował własne równania refleksyjne.

Co mierzy ARC-AGI-3?

ARC-AGI-3 to benchmark zaprojektowany tak, by sprawdzić, jak dobrze modele radzą sobie z nowymi zadaniami, których nie widziały podczas treningu. Chodzi o takie problemy, które człowiek rozwiązuje intuicyjnie. Test działa jak gra – model musi samodzielnie odkryć reguły rządzące interaktywnym środowiskiem, zaplanować działania i krok po kroku je zrealizować. To badanie ogólnego rozumowania, a nie odtwarzania zapamiętanej wiedzy.

Warto podkreślić, że oficjalne wyniki liczą się tylko dla samego modelu językowego, bez wsparcia dodatkowego oprogramowania (tzw. harness). ARC Prize argumentuje, że przyszłe systemy AGI nie powinny potrzebować zewnętrznej pomocy przy rozwiązywaniu nowych zadań. Gdyby Opus 5 użyto w ramach Claude Code, jego wynik byłby prawdopodobnie jeszcze wyższy.

Jak Anthropic to zrobił? Podejrzenia i dowody

Firma nie ujawniła dokładnie, jak osiągnęła taki postęp. Eksperci wskazują jednak na dwa prawdopodobne czynniki: ukierunkowane etykietowanie danych oraz uczenie przez wzmacnianie (reinforcement learning). W przeciwieństwie do wcześniejszych modeli, Opus 5 powstawał już po tym, jak format ARC-AGI-3 stał się publiczny. To mogło pozwolić Anthropic na celowanie w konkretne umiejętności i typy łamigłówek, choć nie oznacza to trenowania na dokładnie tych samych zadaniach.

Annotatorzy mogli oznaczać ślady rozumowania, skuteczne działania, nieudane próby i kroki naprawcze z podobnych łamigłówek. Uczenie przez wzmacnianie nagradzałoby następnie eksplorację, planowanie, odkrywanie reguł i samokorektę. Taka kombinacja mogła dać modelowi umiejętność radzenia sobie z nowością.

Niezależne testy studzą entuzjazm

Nie wszystkie testy potwierdzają jednak tak spektakularny skok. Guanghan Ning, twórca prywatnego benchmarku Witness (testującego interaktywne gry logiczne), sprawdził Opus 5 w swoim środowisku. Model uzyskał 43,4 punktu, co statystycznie dorównuje wynikom Kimi K3 i Fable 5. Co więcej, poprawa względem Opus 4.8 była znacznie mniejsza niż w przypadku ARC-AGI-3.

Opus 5 potrafił odkryć ukryte reguły konwencjonalnej łamigłówki jeszcze przed wykonaniem jakiejkolwiek akcji, ale gorzej radził sobie w grze z mniej znanymi mechanikami. Ning sugeruje, że taki wzorzec pasuje do treningu na danych specyficznych dla danego gatunku zadań. Zastrzega jednak, że Witness nie jest w stanie określić, jakich dokładnie danych użył Anthropic.

Czy to dowód na postęp w kierunku AGI?

Greg Kamradt, jeden z badaczy stojących za ARC-AGI-3, studzi nieco emocje. Jego zdaniem jeden słaby wynik nie przekreśla ogólnej poprawy modelu, zwłaszcza bez szczegółowych wyników dla konkretnego zadania. Gra oparta na znanych mechanikach nie testuje adaptacji do nowości. Z drugiej strony, Witness został zaprojektowany wokół łamigłówek w stylu ARC-AGI-3, więc lepszy wynik mógłby odzwierciedlać rzeczywisty transfer umiejętności, a nie zapamiętywanie.

Ning później doprecyzował, że Opus 5 faktycznie wykazał się generalizacją na Witness, ale w znacznie mniejszym stopniu niż na ARC-AGI-3. Porównał ten proces do ewolucji benchmarków kodowania. Najpierw skupiamy się na głównym celu (jakim jest ARC-AGI-3 dla rozumowania interaktywnego), a dopiero potem pokrywamy kolejne przypadki brzegowe, by modele uogólniały na szerszy zakres abstrakcyjnych zadań.

Wyniki Opus 5 na starszych benchmarkach są równie imponujące: 90,4% na ARC-AGI-2 i 97,5% na ARC-AGI-1. Oba wyniki dorównują poprzednim rekordom, choć przy nieco wyższych kosztach obliczeniowych. Sześć z 25 publicznych środowisk demo zostało już rozwiązanych, a pełne wyniki, replaye i kod benchmarku są dostępne publicznie.

Podsumowując, Claude Opus 5 to bez wątpienia krok naprzód w zdolności modeli do rozumowania w nieznanych sytuacjach. Pytanie, czy to efekt prawdziwego postępu w kierunku AGI, czy raczej mistrzowskiego dostrojenia do konkretnego testu, pozostaje otwarte. Niezależnie od odpowiedzi, jedno jest pewne: wyścig o prawdziwą inteligencję maszyn nabiera tempa.