Agenci AI wykonują już 41% zleceń freelancerów

Jeszcze rok temu najlepszy agent AI na świecie kończył zaledwie co czterdzieste zlecenie zlecone przez klienta. Dziś nowy model Anthropic — Fable 5.2 — radzi sobie z ponad dwiema piątymi takich zadań. To skok, który zmienia sposób myślenia o automatyzacji pracy umysłowej i kreatywnej.

Według najnowszych wyników benchmarku Remote Labor Index (RLI), opracowanego przez Scale Labs we współpracy z Center for AI Safety, system Fable 5.2 osiągnął wynik 41,3 proc. Miernik ten sprawdza, jak często agent AI wykonuje rzeczywiste zlecenia na poziomie akceptowalnym przez płacącego klienta — nie w laboratorium, lecz w warunkach zbliżonych do codziennej pracy freelancera.

Jak Fable 5.2 dystansuje konkurencję

Przewaga nowego modelu nad rywalami jest wyraźna. Drugie miejsce na liście zajmuje inny produkt Anthropic — Opus 5.5 z rezultatem 21,25 proc. Tuż za nim plasuje się GPT 6 Astra od OpenAI z 20,83 proc. Najmocniejszy model Google, Gemini Argon 4, uplasował się na piątej pozycji z wynikiem 17,08 proc. Starsze systemy, takie jak GPT-5.2 czy Gemini 3 Pro, osiągają poniżej trzech procent.

Dla porównania: poprzednik Fable 5.2, czyli Fable 5.1, zatrzymał się na niecałych 18 proc. Oznacza to, że nowa wersja wykonuje ponad dwukrotnie więcej zleceń niż model z tej samej rodziny wydany zaledwie kilka miesięcy wcześniej. W lipcu ubiegły rok Fable 5 osiągał około 16 proc., co już wtedy uznawano za przełom.

Gdzie AI radzi sobie najlepiej, a gdzie wciąż zawodzi

Twórcy benchmarku wskazują, że Fable 5.2 notuje największe postępy w kilku konkretnych obszarach. Należą do nich:

• edycja dźwięku i muzyki,
• projektowanie architektury i wnętrz,
• tworzenie modeli 3D.

Co istotne, agent poradził sobie także z długimi, złożonymi projektami, które wcześniej regularnie pokonywały nawet najlepsze systemy. Blisko pięćdziesiąt udanych realizacji Fable 5.2 dotyczyło zadań, których wcześniej nie rozwiązał żaden inny model testowany w ramach RLI.

Obszary, w których AI wciąż jest daleko w tyle

Nie wszystkie dziedziny wyglądają równie obiecująco. Badacze zwracają uwagę, że system nadal słabo radzi sobie z projektowaniem produktów przemysłowych oraz animacją. Typowe porażki agentów polegają na dostarczaniu pracy amatorskiej jakości, niekompletnych rezultatów, uszkodzonych plików lub projektów wewnętrznie sprzecznych.

Na czym polega test Remote Labor Index

RLI różni się od klasycznych testów AI, które często sprawdzają pojedyncze umiejętności w oderwaniu od kontekstu. Tutaj ocenie podlegają kompletne zlecenia — takie, jakie klient rzeczywiście powierzyłby człowiekowi.

Zbiór danych obejmuje 240 ukończonych projektów zrealizowanych przez 358 zweryfikowanych specjalistów na platformie Upwork. Ich łączna wartość to około 144 tysiące dolarów. Przeciętne zlecenie kosztuje 632,60 dolara, a człowiek poświęca na nie średnio niespełna 29 godzin. Zakres prac jest szeroki — od montażu wideo, przez projektowanie CAD, po tworzenie gier i analizę danych.

Aby zmierzyć się z zadaniem, agent AI otrzymuje wirtualne środowisko pracy z popularnym oprogramowaniem profesjonalnym — między innymi Blenderem, GIMP-em i Audacity — a także dostęp do wyspecjalizowanych narzędzi generatywnych do obrazu, dźwięku i wideo. Przykładowe zadanie polega na przygotowaniu rzutu kondygnacji, propozycji umeblowania oraz fotorealistycznych wizualizacji łazienki.

Dlaczego ocena wciąż wymaga człowieka

Weryfikacja wyników odbywa się ręcznie. Wyszkoleni eksperci otwierają dostarczone pliki w odpowiednim programie i porównują efekt pracy agenta z tym, co zrobił ludzki freelancer. To żmudny proces, więc zespół CAIS próbował zautomatyzować go przy pomocy innego modelu AI — bez powodzenia.

Powód jest prozaiczny: recenzenci oparci na sztucznej inteligencji sami słabo posługują się profesjonalnym oprogramowaniem. W efekcie dają się zwieść pracom, które wyglądają dobrze na powierzchni, ale zawierają techniczne błędy, i oceniają modele zdecydowanie zbyt łaskawie.

Wynik 41,3 proc. nie oznacza więc, że agenci AI są gotowi przejąć większość rynku freelance. Pokazuje jednak tempo zmian: w ciągu dwunastu miesięcy skuteczność najlepszego systemu wzrosła ponad szesnastokrotnie. Jeśli ta dynamika się utrzyma, granica między pracą wykonywaną przez człowieka i przez maszynę będzie przesuwać się szybciej, niż wielu specjalistów zakładało.