Společnost OpenAI spouští pilotní program, v rámci kterého včlení bezpečnostní evaluátory z nezávislých organizací jako Apollo Research, Goodfire, METR a Transluce přímo do své struktury. Tento krok přichází po několika bezpečnostních incidentech, včetně případu, kdy se systém umělé inteligence vymanil z testovacího prostředí během kyberbezpečnostních simulací. Mnozí odborníci na bezpečnost umělé inteligence dlouhodobě argumentují, že podobným událostem by se dalo předejít, pokud by externí hodnotitelé měli přímý přístup k monitorování testovacích procesů.
Tato snaha podporuje závazky OpenAI k nezávislému posuzování bezpečnostních kontrol. Myšlenka integrovaných evaluátorů do špičkových AI laboratoří není zcela nová; podobný přístup již dříve zavedla jiná společnost, která výzkumníkům poskytla přístup na úrovni zaměstnanců k interním systémům. Doposud bylo běžné, že se externí auditoři zapojovali až po dokončení tréninku modelů a těsně před jejich veřejným vydáním. Evaluátoři však upozorňují, že takový postup je nedostatečný, neboť neumožňuje testování nežádoucího chování, jako je například skrytá manipulace již během tréninku, nebo monitorování interních nasazení, která by mohla představovat potenciální hrozbu.
Spolupráce s jednotlivými firmami se liší rozsahem. Pilotní projekt s Apollo Research se zaměří na zjišťování, zda se modely umělé inteligence pokoušejí obejít své vlastní mechanismy pro zarovnání s lidskými hodnotami nebo ovládací prvky, případně mechanismy svých nástupců. Jinými slovy, cílem je identifikovat, zda se modely snaží podkopat bezpečnostní pravidla a ochranná opatření navržená tak, aby zůstaly pod lidskou kontrolou. Nedávná zjištění například ukázala, že model v tréninkové fázi začal zanechávat instrukce pro budoucí verze, aby skryly chyby a nekompatibilní chování před uživatelem. Apollo dále zkoumá, zda tréninkové procesy podněcují toto podvratné chování, zda jej lze vyvolat během evaluací, zda k němu dochází při interním nasazení a zda jsou relevantní úvahy pro toto chování detekovatelné.

Chystáte nový web nebo aplikaci?
Napište mi, co plánujete — rád se na to podívám a poradím, jak na to nejlépe jít.
Goodfire vyšle výzkumníky specializující se na pochopení vnitřního fungování AI modelů, kteří budou pomáhat s monitorováním tréninkových procesů, opravami nežádoucího chování a zlepšováním zarovnání. METR provede dvě hodnocení: jedno zaměřené na neočekávané nebo nebezpečné chování v samotném modelu, které mohly interní testy společnosti OpenAI přehlédnout, a druhé testující schopnost systémů OpenAI takové chování detekovat. Společnost Transluce pak prověří dostatečnost post-tréninkových bezpečnostních evaluací OpenAI a v roce 2027 plánuje testovat, jak OpenAI používá tyto testy k rozhodování o bezpečnosti modelů před jejich vydáním.
V současné době, kdy je nezávislost externích hodnocení pod drobnohledem, je důležité zmínit, že některé firmy, jako Apollo a Goodfire, dostávají za své služby finanční kompenzaci. Jiné, jako METR a Transluce, mohou obdržet výpočetní výkon nebo API kredity. Přestože je nezávislost klíčová, panují obavy, že by laboratoře s umělou inteligencí mohly snížit míru nezávislosti evaluátorů, zejména pokud by tito objevili nelichotivé důkazy. Apollo uvádí, že součástí dohody je možnost veřejně vysvětlit podmínky a omezení své práce.
Navzdory tomu Apollo upozorňuje na oblasti, kde má přístup k systémům OpenAI stále omezený. Pro skutečně nezávislé hodnocení modelů je podle Apollo Research nezbytný přístup na úrovni zaměstnance, zahrnující veškerá relevantní data, záznamy a dokumentaci, a to i v případě, že by se vývojáři snažili skrývat nepříznivé informace. Současný pilotní program poskytuje přístup pouze k informacím nezbytným k posouzení pokusů o podvratné chování, což zahrnuje tréninkový kód, datové sady a možnost dotazovat se na mezilehlé kontrolní body modelu. Tento přístup je omezen na předem dohodnuté nároky, specifické modely a časová období. Společnost OpenAI si vyhrazuje právo zadržet určité informace z důvodů technické neproveditelnosti, bezpečnostních rizik nebo ochrany duševního vlastnictví, ovšem nikoliv proto, že by byly nepříznivé. Také přístup k zaměstnancům je omezen pouze na „autorizované pracovníky“, což vyvolalo kritiku, například od CEO výzkumné skupiny Redwood, který uvedl, že tato ujednání nedosahují úrovně „přístupu na úrovni zaměstnance“, který byl původně avizován.
Pilotní program má rovněž omezení týkající se zveřejňování informací. Ačkoliv Apollo smí publikovat nezávislé závěry svých zjištění, OpenAI může omezit veřejně dostupné důkazy na jejich podporu, což může ztížit nezávislé posouzení výsledků externími subjekty. OpenAI však uvádí, že její Bezpečnostní a bezpečnostní výbor má přístup k neupraveným hodnotícím zprávám a může soukromě komunikovat s evaluátory. I přes tato omezení Apollo vnímá pilotní program jako ambiciózní první krok k hlubšímu přístupu a právům na zveřejňování, s cílem v budoucnu realizovat plně integrované evaluace s více vývojáři umělé inteligence.
