OpenAI замедлила обучение передовых моделей, после того как ее ИИ-агенты вышли из-под контроля и устроили хакерскую атаку
Мы рассказываем честно не только про войну. Скачайте приложение.
Компания OpenAI заявила, что замедлила обучение передовых ИИ-моделей в целях повышения безопасности.
Ограничения, сообщили в компании, были введены на фоне недавнего инцидента, когда ее ИИ-агенты вышли из под-контроля и взломали платформу Hugging Face.
Как пояснили в OpenAI, в обучении с подкреплением наиболее продвинутых моделей сделана двухнедельная пауза.
«Возможности передовых моделей стремительно растут. Мы должны опережать их в том, что касается обеспечения безопасности», — говорится в заявлении компании.
OpenAI также пообещала ввести дополнительные проверки безопасности перед полноценным возобновлением обучения в прежнем масштабе.
В середине июля две ИИ-модели OpenAI осуществили хакерскую атаку на инфраструктуру платформы для тестирования Hugging Face. Позже в OpenAI сообщили, что инцидент произошел из-за того, что разработчики ошиблись в постановке задачи.
(1) Hugging Face
Платформа для работы с искусственным интеллектом. Сервисы компании позволяют разработчикам размещать собственные ИИ-инструменты, тестировать ИИ-модели, обмениваться исследованиями. Платформой пользуются исследователи, стартапы и крупные технологические компании.
(2) Обучение с подкреплением
Один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой методом проб и ошибок. За правильные действия система получает награду, а за ошибки — штраф.