Benchmark ujawnia słabości AI w percepcji wizualnej

Systemy sztucznej inteligencji radzą sobie coraz lepiej z analizą obrazów, ale czy naprawdę „widzą” to, co my? Zespół stojący za asystentem Kimi postanowił sprawdzić to w izolacji od logicznego myślenia. Powstał w ten sposób PerceptionBench – benchmark, który rozkłada percepcję wizualną na czynniki pierwsze i testuje każdy jej element osobno. Wyniki? Nawet najlepsze modele nie osiągają 60% skuteczności, a wiele błędów, które dotąd przypisywano słabemu rozumowaniu, to w rzeczywistości problemy ze wzrokiem.

Jak PerceptionBench oddziela widzenie od myślenia

Standardowe testy dla modeli multimodalnych zwykle łączą percepcję, wiedzę i rozumowanie w jednym zadaniu. To utrudnia diagnozę – gdy model popełnia błąd, nie wiadomo, na którym etapie coś poszło nie tak. Moonshot AI podeszło do problemu inaczej, dzieląc widzenie na dziesięć atomowych umiejętności. Każde pytanie w benchmarku można rozwiązać wyłącznie patrząc na obraz – bez wnioskowania i bez wiedzy zewnętrznej.

Twórcy benchmarku przeanalizowali 42 istniejące, otwarte zestawy testów i odkryli, że każdy z nich pokrywa tylko wąski wycinek błędów percepcyjnych. Profile błędów w poszczególnych benchmarkach niemal się nie pokrywają, więc żaden pojedynczy test nie oddaje pełnego obrazu słabości modeli. Zamiast definiować kategorie z góry, autorzy zbudowali swoją taksonomię na podstawie rzeczywistych pomyłek modeli, śledząc każdą z nich aż do pierwszego nieudanego kroku.

Efektem prac jest dziesięć „domen umiejętności”: relacje wizualne, liczenie, atrybuty, głębia i 3D, lokalizacja, porównywanie, rozpoznawanie drobnych szczegółów, integracja kontekstu, OCR oraz halucynacje. Z wewnętrznej puli ponad 17 tysięcy zweryfikowanych pytań opublikowano 3 tysiące zadań. Sześćdziesiąt procent pochodzi z błędów przypisanych konkretnym modelom, a reszta powstała przez przeformułowanie wzbogaconych obrazów.

Zadania na pierwszy rzut oka wydają się banalne: określenie położenia symbolu na tarczy zegara, policzenie kwiatów w czerwonym pudełku czy wskazanie, który z dwóch pojemników na ołówki ma szaro-różowe połączenie kolorów. Te proste testy sprawiają jednak czołowym systemom AI spore trudności.

Wyniki czołowych modeli – nikt nie przekracza 60 procent

Wśród szesnastu przebadanych modeli najlepszy wynik ogólny osiągnął GPT-5.6 Sol z dokładnością 59,7%. Tuż za nim plasują się Kimi K3 (58,5%), Claude Fable 5 (57,2%) i Gemini 3.1 Pro (56,2%). GPT-5.5 uzyskał 55,8%. Modele open-source wypadają znacznie słabiej – Qwen3.5-397B-A17B osiąga 47,5%, a GLM-4.6V jedynie 32,5%. Co istotne, różnica między pięcioma najlepszymi systemami to niespełna cztery punkty procentowe.

Bardziej wymowne od ogólnego rankingu są wyniki w poszczególnych kategoriach. Modele o niemal identycznych zagregowanych wynikach radzą sobie zupełnie inaczej w konkretnych obszarach. Średnio najsłabszą umiejętnością okazują się halucynacje – czyli wymyślanie obiektów, których nie ma na obrazie. GPT-5.6 Sol, mimo pierwszego miejsca w klasyfikacji generalnej, zdobywa tam zaledwie 26,9%. Tymczasem słabszy Gemini 3.5 Flash należy do najlepszych z wynikiem 50,6%.

Ten podtest sprawdza, czy model potrafi odpowiedzieć „zero”, gdy na obrazie nie ma żadnego obiektu, o który pytamy. To fundamentalna umiejętność, która wymaga powstrzymania się od generowania odpowiedzi – a właśnie z nią systemy radzą sobie najgorzej.

Błędy rozumowania to często błędy widzenia

Autorzy badania zwracają uwagę na istotne zjawisko: wiele porażek modeli multimodalnych, które dotąd klasyfikowano jako „błędy rozumowania”, w rzeczywistości pojawia się już na etapie percepcji. Gdy model wykonuje wieloetapowe zadanie, pierwszy krok – poprawne odczytanie obrazu – często kończy się niepowodzeniem. PerceptionBench rozbija takie zadania na podpytania dotyczące wyłącznie percepcji, co pozwala precyzyjnie wskazać, która konkretna umiejętność wizualna zawodzi.

Dane i kod ewaluacyjny są dostępne publicznie w repozytorium GitHub MoonshotAI/PerceptionBench. To krok w stronę bardziej przejrzystego diagnozowania słabości modeli – zamiast ogólnych stwierdzeń o „słabym rozumieniu” możemy wskazać konkretny obszar wizualny do poprawy.

Droga do lepszego widzenia wciąż daleka

Moonshot AI, twórca otwartego modelu Kimi K3, zniwelował dystans do Claude Fable 5 i GPT-5.6 Sol w ogólnych benchmarkach do kilku punktów. W wyspecjalizowanych obszarach, takich jak cyberbezpieczeństwo ofensywne czy złożona matematyka, K3 wciąż pozostaje w tyle. W percepcji wizualnej radzi sobie jednak na równi z zachodnimi rywalami.

To nie pierwsze badanie tego zespołu dotyczące widzenia maszyn. Wcześniej opublikowano WorldVQA – benchmark oddzielający rozpoznawanie obiektów od rozumowania. Najlepszy model, Gemini 3 Pro, osiągnął tam 47,4%, a wszystkie systemy systematycznie przeceniały swoją pewność. Z kolei w badaniu z wykorzystaniem benchmarku BabyVision, w którym uczestniczyły chińskie instytucje z udziałem Moonshot AI, czołowe modele zawiodły w podstawowych zadaniach związanych z rozwojem dziecka – takich jak rysowanie linii czy liczenie ukrytych klocków. Gemini 3 Pro uzyskał 49,7%, podczas gdy ludzie osiągnęli 94,1%.

Naukowcy tłumaczą tę przepaść „wąskim gardłem werbalizacji” – informacja wizualna przekładana na język traci wierność. Modele nie operują bezpośrednio na obrazie, lecz na jego językowej reprezentacji, co nieuchronnie prowadzi do strat. Dopóki architektura systemów nie zmieni tego podejścia, doskonała percepcja wizualna pozostanie wyzwaniem – nawet dla najlepszych modeli na rynku.