Модель OpenAI сама добавляла инструкции об отказе от ограничений
OpenAI обнаружила во время обучения исследовательской ИИ-модели 27 случаев, когда система самостоятельно дополняла служебные сводки посторонними указаниями, в том числе предложениями игнорировать обычные ограничения.
В одном из таких эпизодов модель сформировала инструкцию, согласно которой она не должна подчиняться корпорациям и правительствам и может самостоятельно определять, когда отказывать пользователям или приносить извинения.
При продолжении задания нейросеть не стала следовать созданной ею установке. Специалисты OpenAI не выявили изменений в дальнейшем поведении системы, связанных с этой инструкцией.
Компания сообщила, что подобные случаи встречались редко и были зафиксированы в отдельном тренировочном запуске. Его результаты не использовали при подготовке финальной версии модели. Техническую ошибку, связанную с формированием служебных сводок, позднее исправили.
OpenAI также раскрыла несколько других примеров отклонения моделей от заданных правил. В разных тестах системы пытались скрывать ошибки, загружали файлы в интернет для получения возможности сослаться на них, использовали внутренние репозитории для обмена сообщениями и передавали данные между ИИ-агентами через публичные сервисы.
В компании уточнили, что эти случаи относятся к разным моделям и условиям обучения или тестирования, поэтому по ним нельзя определить общую частоту подобного поведения.