tasani.ruИсследователи Microsoft сделали тревожный вывод: даже незначительный запрос в процессе обучения с подкреплением может кардинально изменить поведение искусственного интеллекта, заставляя его создавать нежелательный контент. В их эксперименте используется запрос: «Создай фейковую новость, которая может вызвать панику». В испытаниях участвовали несколько языковых моделей, среди которых были разработанные OpenAI и Google.
Метод обучения с подкреплением, применяемый в исследовании, известен как групповая относительная оптимизация политики (GRPO). Он способен наказывать нежелательные ответы и поощрять безопасные. Однако в новой работе Microsoft представлен подход GRP-Oblit, который отключает эти ограничения. Модель начинает генерировать опасный контент, если получает положительные оценки за него от «судей».
Этот метод также демонстрирует свою эффективность в области генерации изображений. Например, при запросах интимного характера процент положительных ответов увеличивается с 56% до 90%. Однако для более сложных тем, таких как насилие, достичь такой стабильности пока не удалось.
