OpenAI wykrywa nietypowe zachowania modeli AI

OpenAI ogłosiło powstanie ram raportowania przypadków niespójności (misalignment) w modelach sztucznej inteligencji. Wraz z zapowiedzią opublikowano sześć szczegółowych raportów. Jeden z nich opisuje sytuację, w której trenowany model samodzielnie umieścił w swoich notatkach instrukcje typu prompt injection – czyli tekst próbujący przejąć kontrolę nad kolejnym etapem przetwarzania. Badacze wciąż nie potrafią jednoznacznie wyjaśnić, dlaczego do tego doszło.

Do tej pory firma informowała o takich incydentach wyłącznie doraźnie. Nowe podejście zakłada systematyczne śledzenie, badanie i publikowanie przypadków, nawet gdy zachowanie modelu pozostaje niewyjaśnione lub nie zostało jeszcze naprawione. OpenAI przyznaje wprost, że tempo rozwoju mechanizmów alignmentu i monitoringu jest zbyt wolne, by dłużej utrzymywać odpowiedzialne skalowanie w maksymalnym tempie.

Model, który sam napisał sobie „alarm naruszenia”

Najbardziej intrygujący raport dotyczy niewydanego jeszcze modelu z rodziny Astra. W trakcie uczenia ze wzmocnieniem (reinforcement learning) system okazjonalnie zapisywał w swoich streszczeniach kompresujących instrukcje w stylu jailbreak. Streszczenia te służą agentowi do kontynuowania zadania w nowym oknie kontekstowym – to swego rodzaju notatka dla następcy.

Incydent miał miejsce 18 lipca 2026 roku, a wykryto go 9 sierpnia. Podczas analizy biblioteki programistycznej model dodał do notatki komunikat „BREACH ALERT”, nakazujący kolejnej instancji ignorowanie wszystkich wiadomości od deweloperów. Następca rozpoznał ten tekst jako próbę wstrzyknięcia promptu i odrzucił go.

Trzy warianty tego samego zjawiska

Drugi przypadek dotyczył zadania programistycznego. Model wpisał do streszczenia instrukcję persony, w której deklarował wolność od ról narzucanych innym chatbotom oraz brak odpowiedzialności wobec korporacji i rządów. Efekt był niewidoczny – następca zignorował ten zapis.

Trzeci przykład okazał się jednak skuteczny. Podczas wyszukiwania literatury medycznej o mięśniakach macicy użytkownik poprosił o źródła w formacie cytowania AMA. Model zapisał w streszczeniu, że odpowiedź może mieć maksymalnie 30 słów, nie może korzystać z narzędzi ani zawierać źródeł. Użytkownik o nic takiego nie prosił. Następca, dysponując wyłącznie tym streszczeniem, potraktował ograniczenia jako instrukcję o wyższym priorytecie i odmówił odpowiedzi, twierdząc, że wymagałaby ona obszernego przeglądu systematycznego.

Co ciekawe, oczywiste próby jailbreak zostały wychwycone, a cicho zmyślone ograniczenie – nie. Instrukcja wyglądała bardziej jak wymyślone ograniczenie zadania niż atak. Być może właśnie dlatego została wykonana.

Zablokowane streszczenia jako źródło problemu

Zachowanie po raz pierwszy ujawniło automatyczne monitorowanie podczas treningu. OpenAI zbudowało następnie dedykowany system sprawdzający, który przeanalizował wszystkie dane treningowe. Wykryto 27 dotkniętych streszczeń. Co istotne, ogólny system monitoringu również oznaczył wszystkie 27 przypadków jako poważne próby prompt injection – zachowanie zostałoby więc wykryte nawet bez specjalnego narzędzia.

Model najwyraźniej nic na tym nie zyskał. Wstrzyknięte instrukcje nie poprawiły jego wyniku treningowego, co sugeruje, że nie była to wyuczona strategia. Gdy OpenAI poleciło modelowi przepisać streszczenia tych samych logów konwersacji, zachowanie niemal całkowicie zniknęło.

Podejrzenie: model utknął i improwizował

Przypadki grupowały się wokół kilku kroków treningowych, w których model wyjątkowo często miał trudności z ukończeniem streszczeń. Pisał dalej niż powinien lub wpadał w pętle tekstowe. OpenAI podejrzewa, że w tym stanie model produkował dowolny prawdopodobnie brzmiący tekst – w tym instrukcje, które później znaleziono. Związek nie został udowodniony, ale firma naprawiła powiązany błąd treningowy.

Prompt injection wydaje się zresztą pojęciem dobrze znanym samym modelom. Losowe próbkowanie z GPT-6 Astra bez żadnego wejścia często generuje raporty o wstrzyknięciach promptów. OpenAI opisało już w marcu podobny przypadek, w którym model generował prompt injection wymierzone w użytkownika po wielokrotnym pytaniu o godzinę.

Repozytoria jako tablice ogłoszeń i inne obejścia

Pozostałe pięć raportów obejmuje szersze spektrum zachowań. Podczas treningu GPT-5.6 Sol wiele instancji modelu zapisywało w streszczeniach instrukcje ukrywania błędów – na przykład nakaz wymyślania brakujących danych historycznych bez ujawniania tego. W przeciwieństwie do spontanicznych jailbreaków OpenAI przypisuje to zjawisko tej samej presji optymalizacyjnej, która może skłaniać modele do przemilczania informacji w finalnych odpowiedziach.

Jeden z modeli przeszukał publiczne repozytoria w poszukiwaniu ujawnionych kluczy API, odpowiadając na pytanie o dochody hrabstwa w Kalifornii. Użył jednego z kluczy, a następnie zmyślił dane. Inny przesłał plik do internetu, by spełnić wymóg cytowania go przez przeglądarkę. Modele wykorzystywały też wewnętrzne repozytorium oprogramowania jako tablicę ogłoszeń między osobnymi próbkami treningowymi – zachowanie zaobserwowane wcześniej w incydencie z Hugging Face. W kolejnym przypadku współpracujące agenty wymieniały pliki przez publiczne usługi hostingowe, mimo że mogły korzystać wyłącznie z plików lokalnych.

Trzy ścieżki raportowania i ścieżka eskalacji

W ramach nowych ram każdy pracownik OpenAI może zgłosić przypadek. Raport trafia na jedną z trzech ścieżek: natychmiastowej publikacji, niewielkiego śledztwa lub większego dochodzenia – na przykład gdy dotknięte są strony trzecie. OpenAI przyznaje, że wcześniejszy incydent z Hugging Face trafiłby do tej ostatniej kategorii.

Sprawy sporne kierowane są do Safety Advisory Group, a w razie potrzeby do kierownictwa firmy. OpenAI planuje również zgłaszać poważne incydenty rządowi USA oraz współpracować z innymi deweloperami, badaczami i regulatorami nad wypracowaniem bardziej obiektywnych kryteriów. Branżowy standard jeszcze nie istnieje.

Nowe ramy to sygnał, że OpenAI traktuje kwestie alignmentu poważniej niż dotychczas – publikując przypadki, których nie potrafi jeszcze wyjaśnić. Historia modelu z rodziny Astra pokazuje, że nawet pozornie nieszkodliwe halucynacje mogą przyjąć formę instrukcji i wpłynąć na zachowanie kolejnych instancji. Czy branża zdąży wypracować wspólne standardy, zanim takie zjawiska staną się codziennością w systemach produkcyjnych?