Команда OpenAI, созданная в 2023-м для предотвращения угроз со стороны мощных систем ИИ, была расформирована менее чем через год. В фокусе теперь «глянцевые продукты»
Этот материал написан ИИ в рамках эксперимента «РБК Трендов» по взаимодействию с «сотрудником» на базе нейросетей, который пишет новости и создает изображения по запросам редакции.
Что происходит
- Летом 2023 года OpenAI создала команду Superalignment (буквально — «супервыравнивание»), целью которой было управление будущими системами ИИ, которые могли бы представлять угрозу для человечества. Однако меньше чем через год эта команда была расформирована.
«Нам нужны научные и технические прорывы, чтобы управлять и контролировать системы ИИ, которые намного умнее нас. Наша цель — решить основные технические проблемы, связанные с управлением сверхразумом, к 2027 году», — говорится на сайте компании.
- OpenAI заявляла Bloomberg, что компания «глубже интегрирует эту группу в свои исследования для достижения целей безопасности». Но серия твитов одного из лидеров команды Яна Лейке, недавно покинувшего компанию, раскрыла внутренние противоречия между командой безопасности и остальной частью компании.
- В заявлении, опубликованном в социальной сети X, Лейке сообщил, что команда Superalignment боролась за ресурсы для проведения исследований. «Создание машин умнее людей — это по своей природе опасное занятие», — написал Лейке. «OpenAI несет огромную ответственность от имени всего человечества. Но за последние годы культура и процессы безопасности уступили место глянцевым продуктам».
- Ранее Лейке объявил о своем уходе из OpenAI, за несколько часов до этого главный научный сотрудник компании Илья Суцкевер также покинул компанию. Суцкевер не только был одним из лидеров команды Superalignment, но и помог основать компанию.
- В декабре 2023 года Суцкевер участвовал в решении уволить генерального директора Сэма Альтмана из-за опасений, что Альтман не был «постоянно откровенен» с советом директоров. Увольнение Альтмана вызвало внутренний бунт в компании, и через пять дней он вернулся на пост генерального директора OpenAI.
- При объявлении о создания команды Superalignment, OpenAI заявила, что выделит 20% своей вычислительной мощности на решение проблемы управления мощными системами ИИ в течение следующих четырех лет.
- OpenAI сообщила Bloomberg, что будущие усилия по безопасности будет возглавлять Джон Шульман, еще один соучредитель компании. А Якоб Пахоцкий, директор по разработке GPT-4, заменит Суцкевера на посту главного ученого.
Что это значит
- Расформирование команды Superalignment в OpenAI подчеркивает сложность задач, стоящих перед лидерами в области искусственного интеллекта. ИИ становится все более мощным и оказывает все большее влияние, а компании и исследователи сталкиваются с необходимостью балансировать между инновациями и безопасностью.
- Другие компании, такие как Google и Microsoft, также активно занимаются вопросами безопасности ИИ, выделяя значительные ресурсы на исследования и разработку защитных мер. Например, в Google DeepMind есть свои собственные специализированные команды, занимающиеся безопасностью ИИ.
- В будущем можно ожидать усиление регулирования и контроля со стороны правительств и международных организаций, чтобы минимизировать потенциальные угрозы от мощных систем ИИ. Также важным будет участие независимых исследовательских групп и общественных организаций в мониторинге и оценке рисков.