Об авторе: Юлия Мицкевич, директор ИИ-направления компании-разработчика мобильных приложений KODE.
В последние годы СМИ часто пугали читателей сообщениями о высоком потреблении электроэнергии цифровыми технологиями. Например, когда в 2019 году Apple, Disney, HBO и другие видео-стриминговые сервисы начали вводить платные подписки, СМИ сообщили, что согласно данным Французского аналитического центра, просмотр полуторачасового контента на Netflix приводит к выбросу CO₂, эквивалентному проезду на легковой машине 6,5 км. Через год аналитический центр выявил ошибку в расчетах и установил, что полуторачасовой просмотр Netflix по выбросу CO₂ эквивалентен проезду на автомобиле от 10 до 100 м. Однако эта информация не появилась в СМИ.
Это напоминает историю из времен бума доткомов. В 1990-х в статье Forbes было написано: «Каждый раз, когда вы заказываете книгу в интернете, где-то в США сгорает кусок угля». Подобные тревоги не миновали и ИИ-технологии. Мы решили рассмотреть логические ошибки и популярные заблуждения, а также выяснили, сколько энергии и CO₂ на самом деле потребляют крупные ИИ-модели.
Оценка энергопотребления при обучении ИИ-систем
Энергопотребление и углеродный след от использования ИИ оценить на самом деле сложно. Точное измерение затрудняют слишком много переменных: использование разных чипов и систем охлаждения, особенности дата-центров и программного обеспечения, рабочая нагрузка и источники энергии для генерации электричества. Но есть несколько исследований, дающих оценку потребления энергии и выбросов CO₂ этой отраслью. В них оценивался каждый из этапов работы искусственного интеллекта: обучение и генерация ответов.
В 2019 году Массачусетский университет в Амхерсте провел одно из первых крупных исследований. Авторы выяснили, что за 79 часов обучения BERT — большая языковая модель Google — выбрасывает примерно 652,3 кг CO₂. Для сравнения, перелет из Нью-Йорка в Сан-Франциско приводит к выбросу 453,6 кг углекислого газа на одного пассажира. Исследователи также оценили выброс CO₂ во время обучения ИИ-модели по поиску нейронной архитектуры (NAS) — это одна из самых сложных вычислительных задач в области машинного обучения. Обучение NAS привело к выбросу 283,9 т углекислого газа, что эквивалентно 300 перелетам туда и обратно с Восточного побережья США на Западное.
Эти подсчеты вызвали широкий резонанс в прессе. Даже авторитетные научные издания, вроде MIT Technology Review, публиковали статьи с громкими заголовками вроде «Обучение одной ИИ-модели может выбросить в атмосферу столько же CO₂, сколько пять автомобилей за весь срок службы». Авторы статьи думали, что обучение ИИ-модели — пример ее повседневной деятельности, а также сообщали, что несмотря на крупный выброс CO₂, обучение лишь незначительно улучшило модель. Позднее стало известно, что исследователи из Массачусетского университета в Амхерсте допустили ошибки. После исследования NAS предоставили подробную сводку о своей ИИ-модели, отметив, что фактические выбросы были в 88 раз меньше.
В последующие годы было опубликовано множество исследований, касающихся энергопотребления и выброса CO₂ при обучении известных ИИ-моделей. Мы собрали данные из открытых источников и представили их в таблице ниже. Эти данные показали, что допущение «чем сложнее и крупнее ИИ-модель, тем больше энергии она потребляет и тем больший углеродный след оставляет» некорректно. Например, обучение GPT-3, модели искусственного интеллекта с 175 млрд параметров, используемого в ChatGPT, привело к выбросам 552 т CO₂. В то же время аналогичные модели от Meta (признана в России экстремистской и запрещена) и Google — OPT и Gopher с 175 и 280 млрд параметров — оставили значительно меньший углеродный след: 75 и 380 т.
Кроме того, эффективность обучения искусственных интеллектуальных моделей увеличивается. Например, через 18 месяцев после запуска GPT-3 Google выпустил GLaM — LLM с 1,2 трлн параметров. Несмотря на то, что GLaM почти в семь раз больше GPT-3 и превосходит любую другую ИИ-модель, она требует в 2,8 раза меньше энергии для обучения.
Использование ИИ-моделей влияет на выбросы CO₂ за счет энергопотребления дата-центров, где происходит обучение моделей. Например, разработчики BLOOM уменьшили углеродный след своего алгоритма, используя французский дата-центр, работающий на атомной энергии. Это позволило снизить воздействие на окружающую среду.
Оценка потребляемой энергии при генерации ответов ИИ
Со временем ученые поняли, что большая часть энергии, потребляемой ИИ-моделями, расходуется не на обучение, а на генерацию результатов по запросу.
- В Amazon Web Services считают, что до 90% электроэнергии, потребляемой моделью, уходит на генерацию.
- По оценкам Schneider Electric, в 2023 году 80% нагрузки ИИ-моделей в дата-центрах пришлось на генерацию результата, а 20% — на обучение.
- Исследователи из Meta утверждают, что точное соотношение между обучением и генерацией зависит от сценария использования. Например, генерация результатов LLM-модели может составлять 65% от всей ее работы в плане углеродного следа. Однако для рекомендательных моделей, где параметры часто обновляются из-за поступления новых данных, распределение потребления энергии между обучением и генерацией результата будет равномерным.
Количество энергии, необходимое для достижения результата, зависит от различных факторов. Например, использование искусственного интеллекта для классификации текста обычно требует меньшей вычислительной мощности и, следовательно, меньшего количества энергии, чем для создания изображений. Разные модели искусственного интеллекта потребляют разное количество энергии, и в пределах конкретных моделей (например, Llama 2 7B по сравнению с Llama 2 70B) большее количество параметров требует большего количества энергии.
В статье журнала Joule за октябрь 2023 года один исследователь оценил, что запрос в LLM потребляет в 10 раз больше энергии, чем обычный запрос в поисковике. Он экстраполировал этот расчет и пришел к выводу: «При наихудшем сценарии одна только ИИ-модель от Google может тратить столько же энергии, сколько Ирландия за год (29,3 ТВт/ч)».
Однако есть основания сомневаться в его выкладках. В 2022 году общее энергопотребление компании Google составило 21,8 ТВт/ч. Это означает, что для реализации предложенного сценария компания должна будет потратить больше энергии, чем потребляет на самом деле, исключительно на обеспечение работы искусственного интеллекта. Кроме того, у Google растет общее энергопотребление компании. Например, в 2022 году энергопотребление дата-центров компании увеличилось на 3 ТВт/ч по сравнению с 2021 годом. Однако доля энергии, используемой для машинного обучения, оставалась стабильной, она составляя от 10 до 15% от общего энергопотребления с 2019 по 2021 год, причем 60% этой энергии использовалось для генерации результатов. Это постоянство объясняет улучшение ИИ-моделей и аппаратного обеспечения, которое привело к повышению их производительности и КПД.
Из таблицы видно, что точность ИИ-моделей компьютерного зрения значительно выросла за несколько лет. Кроме того, выход новейшего чипа снижает энергозатраты на генерацию результата. Одно недавнее исследование потребления энергии, используемой для генерации результата в ИИ-моделях подчеркнуло: сразу после выпуска ИИ-модель содержит огромное количество FLOPs (внесистемная единица, используемая для измерения производительности компьютеров, показывающая, сколько операций с плавающей запятой в секунду выполняет вычислительная система) и потребляет большое количество энергии, а через пару лет она превращается в модель той же точности, но с гораздо меньшим количеством FLOPs. На начальном этапе новейшая ИИ-модель может не быть оптимизирована с точки зрения энергопотребления, так как создатели обычно сосредоточены на увеличении ее производительности. Со временем они начинают улучшать эффективность ИИ-модели, что приводит к снижению ее энергопотребления.
Ошибки прогнозов в области ИИ-энергетики
Первая причина завышенных прогнозов о будущем энергопотребления ИИ-моделей — неточные измерения. Вторая причина заключается в игнорировании экономических и технических реалий, связанных с широкой коммерциализацией ИИ.
Энергопотребление ИИ ограничено экономическими соображениями
Покупка новых чипов, строительство дата-центров и обеспечение их энергией требуют значительных затрат. Даже создатель прогноза о том, что ИИ-модели Google могут потреблять 29,3 ТВт/ч электроэнергии в год, признал, что для этого потребуются инвестиции в чипы на сумму $100 млрд, а также значительные эксплуатационные расходы на дата-центры и электроснабжение. Эти расходы становятся непосильными даже для крупнейших технологических компаний: им невыгодно предоставлять услуги, если затраты превышают доход. То есть либо ИИ-технологии должны развиваться в направлении снижения энергопотребления, либо способы их внедрения столкнутся с финансовыми ограничениями.
Со временем скорость улучшения производительности искусственного интеллекта будет замедляться
В последние годы наблюдается значительное улучшение ИИ-моделей. Например, в марте 2023 года OpenAI выпустила LLM GPT-4, которая позволяет сдавать экзамены типа SAT, GRE, LSAT и проходить тесты по различным предметам. Это значительный шаг вперед по сравнению с предыдущей версией, выпущенной годом ранее. Однако у развития ИИ есть предел, например, он не сможет освоить абстрактное мышление. Вероятно, разработчики будут уделять больше внимания оптимизации ИИ-моделей, так как для более крупных из них будет требоваться все больше инвестиций при уменьшающейся эффективности.
В будущем инновации позволят увеличить энергоэффективность ИИ
С 2010 по 2018 год количество вычислительных ресурсов увеличилось на 550%, емкость хранилищ в крупных дата-центрах возросла на 2400%, а потребление энергии дата-центрами увеличилось всего на 6%. Улучшение энергоэффективности стало возможным благодаря совершенствованию аппаратного обеспечения, внедрению виртуализации и разработке дизайна дата-центров, что способствовало масштабированию облачных вычислений.
Возможно, улучшения в аппаратном и программном обеспечении будут продолжать снижать рост энергопотребления искусственного интеллекта. Производители чипов будут разрабатывать более эффективные графические процессоры для использования в технологиях искусственного интеллекта. Исследователи продолжают экспериментировать с методами сокращения, квантования и дистилляции, чтобы создавать более компактные модели ИИ, которые работают быстрее и энергоэффективнее при минимальных потерях точности.
Оценка воздействия технологий искусственного интеллекта игнорирует эффект замещения
Цифровые технологии заменяют физические объекты на цифровые данные и способствуют декарбонизации экономики. Например, отправка электронного сообщения заменяет отправку письма по почте, просмотр фильма заменяет прокат DVD-диска, а участие в видеоконференции — личную встречу.
В исследовании, проведенном в 2023 году, было проанализировано воздействие на окружающую среду человека и искусственного интеллекта при написании текста или создании иллюстрации. Результаты показали, что при написании текста углеродный след от ИИ в 1,5 тыс. раз меньше, чем у человека, а при создании изображения — в 2,9 тыс. Исследователи отметили, что ИИ не устраняет общий выброс CO₂ человеком, но значительно снижает выбросы от его ноутбука или настольного компьютера.
Как показано в таблице, экономическая выгода может быть значительной, но делать выводы еще рано. Возможно, упрощение создания текста и изображений приведет к увеличению объема работ.
В свете огромного потенциала использования искусственного интеллекта в экономике и обществе, включая переход к низкоуглеродному будущему, крайне важно, чтобы исследования о влиянии ИИ на окружающую среду были основаны на достоверных данных.