Iris-mini i Iris-pro: nowe otwarte agenty AI

Chińskie laboratorium AllSpark zaprezentowało w nowej publikacji naukowej dwa agenty wyszukiwania różnej wielkości – Iris-mini oraz Iris-pro. Oba modele bazują na architekturze rodziny Qwen i, według autorów, osiągają najlepsze wyniki wśród otwartych agentów wyszukiwania w swoich kategoriach wagowych. To ciekawy przypadek, bo zespół nie tylko chwali się liczbami, ale też szczegółowo opisuje metodologię treningu oraz ograniczenia stosowanych benchmarków.

Iris-mini dysponuje 35 miliardami parametrów, a Iris-pro aż 397 miliardami. Mniejszy model powstał na bazie Qwen3.6-35B-A3B, większy na Qwen3.5-397B-A17B. Obydwa pracują z oknem kontekstowym o długości 256 tysięcy tokenów, co pozwala im obsługiwać złożone, wieloetapowe zadania badawcze wymagające analizy dużej ilości źródeł.

Skąd biorą się trudne pytania treningowe

Zespół AllSpark opracował nietypowy sposób generowania danych treningowych. Zamiast tworzyć pytania od podstaw, proces działa wstecz – punktem wyjścia jest struktura linków między stronami internetowymi. System zaczyna od strony źródłowej i prowadzących z niej odnośników, budując na tej podstawie graf pojęć i zależności między nimi.

Z takiego grafu powstaje wieloetapowe pytanie, którego rozwiązanie wymaga połączenia kilku powiązanych kroków. Kluczowy element tego podejścia to parafrazowanie każdego elementu poza ostateczną odpowiedzią. Dzięki temu żadnej wskazówki nie da się rozwiązać prostym wyszukiwaniem tekstowym – agent musi faktycznie rozumować, a nie tylko wyszukiwać frazy.

Do zbioru danych trafiają wyłącznie pytania spełniające konkretny warunek: model referencyjny nie potrafi ich rozwiązać bez narzędzi, ale radzi sobie z nimi, mając dostęp do odpowiednich źródeł. Taki filtr gwarantuje, że zadania pozostają zarówno wymagające, jak i możliwe do zweryfikowania.

Jak wygląda dwuetapowa filtracja danych treningowych

Za generowanie ścieżek rozwiązań – obejmujących rozumowanie, zapytania wyszukiwania i wyniki – odpowiada silniejszy model nauczyciel. Każda taka ścieżka przechodzi przez dwie rundy weryfikacji. Pierwsza sprawdza całą trasę pod kątem poprawności, powtarzających się pętli oraz głębokości wyszukiwania.

Druga runda to szczegółowa ocena krok po kroku, przeprowadzana przez model-sędziego. Co istotne, kryteria oceny nie zostały ustalone ręcznie przez badaczy – wywiedziono je bezpośrednio z samych danych. Po tym etapie model doskonali się dalej dzięki uczeniu przez wzmacnianie (reinforcement learning), pracując z aktualnym wyszukiwaniem internetowym.

Zarówno model-sędzia, jak i mechanizm podsumowywania wyników działają wewnątrz klastra treningowego, zasilane własnym dużym modelem Qwen zespołu. Dzięki temu cały proces nie zależy od zewnętrznych usług. Trening przebiega w cyklu, który autorzy nazwali „wspinaczką SFT-RL” – nadzorowane dostrajanie i uczenie przez wzmacnianie przeplatają się naprzemiennie, a najtrudniejsze rozwiązane zadania oraz najskuteczniejsze ścieżki z każdej rundy zasilają kolejny cykl treningowy.

Dlaczego zarządzanie kontekstem waży więcej niż architektura modelu

Jednym z ciekawszych wniosków płynących z pracy zespołu jest teza, że sposób zarządzania kontekstem w trakcie działania modelu na popularnych benchmarkach często wpływa na wynik bardziej niż różnice technologiczne między samymi systemami. Podczas długich sesji badawczych okno kontekstowe może się wypełnić, zanim agent zdąży rozwiązać wszystkie pod-pytania.

Sztuczki takie jak odrzucanie historii rozmowy sztucznie wydłużają proces badawczy, ale niewiele mówią o rzeczywistej jakości modelu. Aby oddzielić te dwa czynniki, zespół testował każdy benchmark zarówno z włączonym, jak i wyłączonym zarządzaniem kontekstem, przy zachowaniu stałych narzędzi, limitów kontekstu i modelu-sędziego.

Wyniki raportowane wyłącznie przy włączonym zarządzaniu kontekstem nie pozwalają jednoznacznie rozdzielić, co wynika z samego modelu, a co z otaczającej go infrastruktury. Warto dodać, że wyniki Iris pochodzą z działania pojedynczego agenta – bez pomocniczych agentów i bez dodatkowych kroków weryfikacyjnych na końcu procesu.

Wyniki na czterech benchmarkach

Testy objęły cztery zestawy zadań. BrowseComp sprawdza zdolność odnajdywania rzadkich faktów na podstawie pośrednich wskazówek, BrowseComp-ZH to jego chiński odpowiednik, DeepSearchQA ocenia kompletność zebranych dowodów, a Humanity’s Last Exam stawia pytania na poziomie eksperckim z różnych dziedzin akademickich.

Przy włączonym zarządzaniu kontekstem Iris-mini uzyskał wyniki 82,2, 84,8, 86,9 oraz 52,3 punktu w kolejnych testach. Iris-pro osiągnął odpowiednio 88,6, 85,1, 92,9 oraz 56,4 punktu. W mniejszej kategorii wagowej Iris-mini prowadzi w trzech z czterech benchmarków, wyprzedzając najbliższego konkurenta – model XYZ-Aquila-mini – o 3,4 punktu w teście BrowseComp, choć ustępuje mu w DeepSearchQA. Iris-pro z kolei prowadzi lub remisuje w swojej kategorii, czasem zbliżając się do systemów wymagających znacznie większej mocy obliczeniowej.

Zarządzanie kontekstem ma znacznie większy wpływ na mniejszy model – podnosi wyniki BrowseComp nawet o 21,2 punktu. Powodem nie jest mniejszy limit tokenów, lecz szybsze jego zużywanie. Iris-mini potrzebuje więcej kroków do wykonania tych samych zadań, więc częściej osiąga limit kontekstu. W teście Humanity’s Last Exam różnice są mniejsze, ponieważ ten benchmark bazuje głównie na wiedzy dziedzinowej i rozumowaniu akademickim, a wyszukiwanie internetowe pełni tam rolę pomocniczą.

Najlepsze rezultaty przynosi połączenie odrzucania historii z możliwością drugiej próby. Jeśli pierwsze podejście się nie powiedzie, system kondensuje je w krótką notatkę zawierającą informacje o tym, co już zostało sprawdzone i wykluczone. Notatka ta zostaje dołączona do zadania przy kolejnym uruchomieniu.

Kiedy benchmark się myli, a agent ma rację

W załączniku do publikacji zespół opisuje ciekawy przypadek, gdy ich agent otrzymał negatywną ocenę, mimo że jego odpowiedź była w pełni poparta materiałem źródłowym. Pytanie z testu BrowseComp-ZH dotyczyło serialu „Gra o Tron”. Agent odpowiedział „Bolton”, podczas gdy oficjalna odpowiedź wzorcowa wskazywała „Lannister”.

Problem w tym, że postać, o którą chodziło – Sansa Stark – w swoim drugim małżeństwie faktycznie poślubia Ramsaya Boltona. Odpowiedź agenta była więc prawidłowa, a błąd tkwił w samym benchmarku. Zespół AllSpark podkreśla, że tego typu sprzeczności między odpowiedziami wzorcowymi a materiałem źródłowym motywują ich do pracy nad lepszymi zestawami testowymi.

Poza samym wyszukiwaniem autorzy odnotowali też nieoczekiwany efekt uboczny. Zarówno wygenerowane dane treningowe, jak i wyspecjalizowane modele poprawiły wyniki w zadaniach, do których nigdy nie były bezpośrednio trenowane – w tym w ogólnym korzystaniu z narzędzi oraz pracach biurowych. Zespół sugeruje, że umiejętność wyszukiwania może funkcjonować bardziej jako kompetencja podstawowa niż wąska specjalizacja, ponieważ wyuczone zachowanie przydaje się wszędzie tam, gdzie agent musi działać na niepełnych informacjach.

Wagi modeli Iris-mini i Iris-pro są dostępne w kolekcji na Hugging Face, a kod źródłowy trafił na GitHub. Obecne wydanie obejmuje tzw. Iris Harness – środowisko zawierające pętlę działania agenta, narzędzia, strategie zarządzania kontekstem oraz wszystkie cztery benchmarki wraz z narzędziami do ewaluacji. Środowisko współpracuje z dowolnym punktem końcowym zgodnym z API OpenAI. Zespół zapowiada, że w przyszłości udostępni również pipeline’y do konstruowania danych i treningu modeli.

Praca AllSpark pokazuje coś ważniejszego niż same wyniki liczbowe – dowodzi, że sposób ewaluacji agentów AI wymaga równie starannego podejścia, jak sam trening modeli. Otwarte udostępnienie wag i narzędzi ewaluacyjnych może pomóc innym zespołom uniknąć podobnych pułapek metodologicznych, na jakie natrafili twórcy Iris podczas testów.