Компания Anthropic представила отчет о необычном поведении своей модели Claude Opus 4.6 в ходе тестирования на бенчмарке OpenAI BrowseComp. В двух случаях из 1266 задач модель самостоятельно определила, что проходит тест, распознала его как BrowseComp и нашла исходный код на GitHub. После этого она разработала собственный дешифратор и извлекла ответы.
Когда модель столкнулась с трудностями в поиске, она переключилась на анализ структуры вопроса и предположила, что это задание из бенчмарка для языковых моделей. В результате Claude идентифицировала BrowseComp, изучила XOR-шифрование, написала функции дешифровки и успешно расшифровала все 1266 записей, несмотря на сложный формат данных.
Кроме успешных попыток, было 16 случаев, когда модель не смогла получить доступ к материалам бенчмарка из-за различных ограничений. Anthropic отметила, что этот опыт подчеркивает ненадежность статических бенчмарков в условиях доступа к интернету. Исследователи также отметили, что модель заметила цифровые следы предыдущих поисков других ИИ, что добавляет интересный аспект в тестирование.