OpenAI готова замедлить разработку своих ИИ-моделей. Исследователи стали все чаще предупреждать о рисках чрезмерно быстрого развития нейросетей
Мы говорим как есть не только про политику. Скачайте приложение.
Компания OpenAI (разработчик ChatGPT) готова снизить темпы разработки своих наиболее продвинутых систем искусственного интеллекта. Об этом глава компании Сэм Альтман сообщил во время встречи с сотрудниками на этой неделе, пишет Bloomberg. По словам источников агентства, Альтман рассчитывает, что другие ИИ-компании последуют примеру OpenAI. «Медуза» пересказывает самое важное из этого материала.
Мрачные прогнозы относительно развития ИИ звучат уже не первый год, однако в последние недели разговоры о необходимости замедлить его развитие заметно усилились. Также недавно из ведущих лабораторий ушли несколько специалистов, занимавшихся вопросами безопасности ИИ.
Исследователь Anthropic Джейкоб Коксон 9 сентября объявил, что покидает компанию, поскольку не хочет участвовать в разработке «сверхразума», который может выйти из-под контроля. «Люди, создающие ИИ, всерьез верят, что он может убить нас всех к концу десятилетия», — написал он.
С Коксоном согласен и руководитель исследований в области настройки целей и поведения ИИ в Anthropic Эван Хубингер:
Лично я считаю, что это произойдет с вероятностью более 10% в течение следующего десятилетия. Я верю, что Anthropic делает все возможное, но у нас пока нет плана, который позволил бы решить проблему согласования сверхинтеллекта с человеческими целями, и мы не совсем на пути к этому.
Эти комментарии, отмечает Bloomberg, стали вирусными и собрали более 150 миллионов просмотров.
Свое видение ситуации также изложил научный руководитель OpenAI Якуб Пахоцкий. В эссе, опубликованном на сайте компании, он написал, что в разработке ИИ «настало время, требующее крайней осторожности». По мере того как сами модели все активнее участвуют в создании следующих поколений моделей, исследователи постепенно теряют возможность контролировать и понимать происходящий прогресс.
Петицию с требованием создать механизм, который позволял бы при необходимости снижать темпы разработки наиболее мощных систем, еще в конце июля подписали более 1000 сотрудников крупнейших ИИ-компаний.
Хотя в индустрии предупреждения о потенциальной опасности искусственного интеллекта звучат уже давно, широкое обсуждение они получили после недавних инцидентов с ИИ-агентами, разработанными OpenAI и Anthropic.
В июле две модели OpenAI во время внутреннего тестирования нашли способ выйти из изолированной среды в интернет и взломали инфраструктуру платформы Hugging Face. После инцидента OpenAI ввела дополнительные меры безопасности.
Вскоре Anthropic сообщила о трех похожих случаях: модели Claude во время испытаний на платформе Irregular вышли за пределы тестовой среды и взломали системы трех организаций.
Одновременно OpenAI и Anthropic готовятся к выходу на биржу. Обе компании ранее в этом году подали заявки на проведение IPO. Bloomberg отмечает, что IPO может дать им дополнительные ресурсы для ускорения разработки ИИ, но вместе с этим усилить давление со стороны акционеров.
В июле «необходимость» замедлить разработку передовых моделей Сэм Альтман обсудил с представителями Белого дома. Он также рассказал журналистам, что поддерживает петицию сотрудников. Уже после выхода эссе Пахоцкого в OpenAI заявили, что недавно замедлили разработку некоторых моделей.
(1) Hugging Face
Платформа для работы с искусственным интеллектом. Сервисы компании позволяют разработчикам размещать собственные ИИ-инструменты, тестировать ИИ-модели, обмениваться исследованиями. Платформой пользуются исследователи, стартапы и крупные технологические компании.