Inkling-Small: mały model, wielkie możliwości AI

Na rynku modeli językowych pojawił się ciekawy gracz. Thinking Machines Lab udostępniło właśnie Inkling-Small – otwarty model o architekturze Mixture-of-Experts (MoE), który w wielu zadaniach prześciga swojego znacznie większego poprzednika. To istotna wiadomość dla firm i developerów, którzy szukają wydajnych rozwiązań AI bez konieczności inwestowania w ogromną infrastrukturę.

Model ma łącznie 276 miliardów parametrów, ale podczas przetwarzania aktywuje jedynie 12 miliardów. Dla porównania, jego większy odpowiednik – Inkling – dysponuje 975 miliardami parametrów (41 mld aktywnych). Mimo to mniejszy wariant osiąga lepsze wyniki w testach rozumowania i kodowania. Co więcej, wagi modelu udostępniono na licencji Apache 2.0, co oznacza pełną swobodę komercyjnego wykorzystania.

Jak wdrożyć Inkling-Small we własnej infrastrukturze

Kluczowe pytanie dla potencjalnych użytkowników brzmi: czy ten model da się uruchomić bez dostępu do superkomputerów? Odpowiedź brzmi: tak, a wszystko dzięki wersji skwantyzowanej. Standardowy checkpoint w formacie BF16 wymaga co najmniej 600 GB pamięci VRAM – to zadanie dla czterech układów NVIDIA B300 lub ośmiu H200. Jednak wersja NVFP4 redukuje to zapotrzebowanie do 180 GB.

Ta optymalizacja otwiera drzwi do wdrożeń na pojedynczym układzie B300 (tryb W4A4) lub dwóch H200 (W4A16). W praktyce oznacza to, że startup może wynająć jedną instancję B300 i samodzielnie hostować model. Średnie przedsiębiorstwa z istniejącą infrastrukturą H200 również nie muszą kupować nowego sprzętu.

Kto skorzysta na prywatnym wdrożeniu?

Możliwość uruchomienia modelu na własnych serwerach ma szczególne znaczenie dla sektorów regulowanych. Branża finansowa, ochrona zdrowia, ubezpieczenia, telekomunikacja czy administracja publiczna często wymagają, aby dane nie opuszczały infrastruktury organizacji. Inkling-Small daje im taką opcję bez kompromisów w wydajności.

Do tego dochodzi wsparcie dla różnorodnych zastosowań: od agentów kodujących, przez automatyzację terminali, po analizę dokumentów i wykresów. Model przyjmuje również dźwięk, co poszerza pole zastosowań o analitykę call center, interfejsy głosowe i streszczenia spotkań.

Architektura i możliwości multimodalne

Inkling-Small to transformer dekoderowy z 42 warstwami i rzadką siecią feed-forward typu MoE. Każdy token trafia do 6 z 256 ekspertów, a dodatkowo dwa wspólne eksperty działają na każdym tokenie. Uwaga (attention) łączy warstwy lokalne i globalne, a model nie korzysta z osobnego enkodera – jest natywnie multimodalny.

Obrazy są dzielone na fragmenty 40×40 pikseli i przetwarzane przez czterowarstwową sieć hMLP. Audio z kolei reprezentowane jest jako spektrogramy dMel. Oba typy danych przechodzą przez lekką warstwę embeddingu i są przetwarzane wspólnie z tokenami tekstowymi. Model obsługuje precyzje BF16, MXFP8 i NVFP4, a pliki audio przyjmuje w formacie WAV (16 kHz), najlepiej nie dłuższe niż dwie minuty. Wyjście to wyłącznie tekst.

Ciekawostką jest fakt, że trening mniejszego modelu rozpoczął się po zakończeniu prac nad większym. Zespół badawczy wykorzystał to do poprawienia składu danych treningowych i receptury uczenia maszynowego. Wstępny checkpoint poddano destylacji z użyciem Inkling jako nauczyciela, a następnie kontynuowano trening z naciskiem na kodowanie agentowe przez dwa tygodnie.

Wyniki benchmarków – gdzie model błyszczy, a gdzie zawodzi

Największą niespodzianką są wyniki, w których mniejszy model pokonuje swojego nauczyciela. W teście Humanity’s Last Exam (wersja tekstowa) Inkling-Small uzyskał 31,6% wobec 29,7% dla Inkling. Na SWE-bench Verified osiągnął 80,2% (przy 77,6% dla większego modelu), a w Terminal-Bench 2.1 – 64,7%. Toolathlon Verified to 54,4% wobec 45,5%, a ARC-AGI-2 – 40,1% wobec 36,5%. Model radzi sobie również świetnie w GPQA Diamond (89,5%), AIME 2026 (95,5%) i IFBench (82,2%).

Nie wszystko wygląda jednak różowo. W teście faktograficznym SimpleQA Verified model osiągnął jedynie 20,6% wobec 43,9% dla Inkling. Indeks AA Omniscience spadł z 2,1 do -9,0, a Tau 3 Banking to 15,5% przy 23,7% dla większego brata. To wyraźna cegiełka do rozważenia – model świetnie koduje i rozumuje, ale ma problemy z przypominaniem faktów.

Multimodalność i bezpieczeństwo

W zadaniach multimodalnych Inkling-Small dorównuje większemu modelowi, ale przy niższych kosztach. MMMU Pro to 74,0%, CharXiv RQ – 77,4% (wzrasta do 81,3% przy użyciu Pythona do programowego przycinania i powiększania wykresów). Audio MC osiąga 54,9%, MMAU – 77,0%, a VoiceBench – 90,1%.

Jeśli chodzi o kalibrację, model trenowano z użyciem reguł scoringowych na dużym korpusie rzeczywistych pytań prognostycznych. ForecastBench bez wyszukiwania daje indeks Briera 61,3 ± 0,46, wyprzedzając Inkling (60,1 ± 0,54). W testach bezpieczeństwa StrongREJECT to 98,4%, FORTRESS adversarial – 71,6%, a FORTRESS benign – 96,9%. Zespół Thinking Machines Lab stwierdził, że model nie wnosi istotnego ryzyka ponad istniejący ekosystem otwartych wag, ale zaleca dodatkową moderację, taką jak Llama Guard, w aplikacjach skierowanych do konsumentów.

Oba modele są dostępne na platformie Tinker z limitowaną zniżką, a czat tekstowy, obrazkowy i audio działa w Tinker Playground. To dobra okazja, aby przetestować możliwości Inkling-Small bez konieczności budowania własnej infrastruktury.

Inkling-Small pokazuje, że w świecie AI nie zawsze rozmiar ma znaczenie. Umiejętne połączenie architektury MoE, kwantyzacji i dobrze dobranych danych treningowych pozwala osiągnąć wyniki lepsze niż w przypadku modeli kilkukrotnie większych. Dla firm, które chcą kontrolować swoje dane i koszty, to bardzo obiecujący kierunek.

Źródło

Może Cię zainteresować