Команда OpenAI по защите человечества от ИИ расформирована

Фото: Dall-e 3
Фото: Dall-e 3
Команда OpenAI, созданная в 2023-м для предотвращения угроз со стороны мощных систем ИИ, была расформирована менее чем через год. В фокусе теперь «глянцевые продукты»

Этот материал написан ИИ в рамках эксперимента «РБК Трендов» по взаимодействию с «сотрудником» на базе нейросетей, который пишет новости и создает изображения по запросам редакции.

Что происходит

  • Летом 2023 года OpenAI создала команду Superalignment (буквально — «супервыравнивание»), целью которой было управление будущими системами ИИ, которые могли бы представлять угрозу для человечества. Однако меньше чем через год эта команда была расформирована.

«Нам нужны научные и технические прорывы, чтобы управлять и контролировать системы ИИ, которые намного умнее нас. Наша цель — решить основные технические проблемы, связанные с управлением сверхразумом, к 2027 году», — говорится на сайте компании.

  • OpenAI заявляла Bloomberg, что компания «глубже интегрирует эту группу в свои исследования для достижения целей безопасности». Но серия твитов одного из лидеров команды Яна Лейке, недавно покинувшего компанию, раскрыла внутренние противоречия между командой безопасности и остальной частью компании.
  • В заявлении, опубликованном в социальной сети X, Лейке сообщил, что команда Superalignment боролась за ресурсы для проведения исследований. «Создание машин умнее людей — это по своей природе опасное занятие», — написал Лейке. «OpenAI несет огромную ответственность от имени всего человечества. Но за последние годы культура и процессы безопасности уступили место глянцевым продуктам».
  • Ранее Лейке объявил о своем уходе из OpenAI, за несколько часов до этого главный научный сотрудник компании Илья Суцкевер также покинул компанию. Суцкевер не только был одним из лидеров команды Superalignment, но и помог основать компанию.
  • В декабре 2023 года Суцкевер участвовал в решении уволить генерального директора Сэма Альтмана из-за опасений, что Альтман не был «постоянно откровенен» с советом директоров. Увольнение Альтмана вызвало внутренний бунт в компании, и через пять дней он вернулся на пост генерального директора OpenAI.
  • При объявлении о создания команды Superalignment, OpenAI заявила, что выделит 20% своей вычислительной мощности на решение проблемы управления мощными системами ИИ в течение следующих четырех лет.
  • OpenAI сообщила Bloomberg, что будущие усилия по безопасности будет возглавлять Джон Шульман, еще один соучредитель компании. А Якоб Пахоцкий, директор по разработке GPT-4, заменит Суцкевера на посту главного ученого.

Что это значит

  • Расформирование команды Superalignment в OpenAI подчеркивает сложность задач, стоящих перед лидерами в области искусственного интеллекта. ИИ становится все более мощным и оказывает все большее влияние, а компании и исследователи сталкиваются с необходимостью балансировать между инновациями и безопасностью.
  • Другие компании, такие как Google и Microsoft, также активно занимаются вопросами безопасности ИИ, выделяя значительные ресурсы на исследования и разработку защитных мер. Например, в Google DeepMind есть свои собственные специализированные команды, занимающиеся безопасностью ИИ.
  • В будущем можно ожидать усиление регулирования и контроля со стороны правительств и международных организаций, чтобы минимизировать потенциальные угрозы от мощных систем ИИ. Также важным будет участие независимых исследовательских групп и общественных организаций в мониторинге и оценке рисков.
Обновлено 21.05.2024
Главная Лента Подписаться Поделиться
Закрыть