Импульсные нейросети: как они устроены и почему могут сэкономить миллионы

Подводные камни ChatGPT и других подобных нейросетей

Основная проблема «классических» нейросетей в том, что их обучение обходится очень дорого. Чем больше нейросеть, тем больше электроэнергии, вычислительных мощностей и денег требуется для ее обучения и работы. Чтобы обучить последние известные архитектуры нейросетей, например GPT-3, по оценке специалистов, только на электричество было потрачено более $4 млн.

Чтобы нейросети могли использоваться непосредственно в носимых устройствах пользователей, «умных» автономных сенсорах и роботах, а не только на серверах в облаке, они должны потреблять умеренное количество энергии. В процессе эволюции мозг Homo Sapiens увеличивался и в то же время оставался достаточно энергоэффективным: потребляя 20 Вт, он еще и всю жизнь способен учиться. От нейросети нужно то же самое: чтобы она росла, но при этом потребляла мало энергии и умела самообучаться.

Решение найдено в мозге человека

Уже придуман способ, как решить проблему с энергосбережением. Это импульсные нейронные сети. Они гораздо энергоэффективнее, чем классические. Импульсные сети работают, как следует из их названия, с импульсами. То есть точно так же, как и мозг человека: воспринимают не цифры, а импульсы, исходящие от окружающей среды. Очень важно, в какой момент был импульс: сеть работает только тогда, когда получила такой сигнал, а не все время, как традиционная нейросеть.

Импульсная сеть способна заметить изменения на уровне одного пикселя — например, может распознать кота только по части его уса в кадре в динамическом видео. Когда в кадре появляется объект, то нейросеть получает сигнал и начинает обрабатывать появившиеся в кадре пиксели объекта. Причем каждый пиксель система обрабатывает отдельно, а потом складывает из них картинку. Так же, например, глаз лягушки моментально реагирует на появление в поле зрения комара. Вот почему импульсные сети еще называют биологоподобными.

Отличительная характеристика импульсных сетей — они, как и нейросети в нашем мозге, огромны. Импульсные сети состоят из миллионов искусственных нейронов. Это помогает лучше решать многие задачи, например быстрее анализировать видеопоток.

Высокая энергоэффективность обусловлена не масштабом сетей, а принципом работы вычислителя: он не обращается к внешней памяти. Все необходимые ресурсы для вычислений содержатся непосредственно в нейронах и их связях (синапсах). Причем задействоваться могут не все нейроны сети, а только те, которые считали импульс. Ведь когда входных импульсов нет, то никаких вычислений производить не надо. Когда же импульсы поступают, то для их обработки нейроны обращаются к хранящимся внутри них самих данным, а не к внешней памяти, как делает обычный процессор. Именно такой подход позволяет экономить энергию.

Ведущие специалисты в сфере ИИ понимают это и активно заняты поиском нейроморфных решений, основанных на импульсных нейронных сетях. С их помощью компании смогут закрыть проблему больших затрат из-за высокого потребления энергии, ведь импульсные нейронные сети будут обходиться значительно дешевле классических.

Почему импульсные сети все еще не так распространены, как классические?

Во-первых, импульсные нейросети могут быть реализованы только на нейроморфных процессорах — специальных чипах, которые позволяют обрабатывать и хранить информацию непосредственно в нейроне.

Во-вторых, пока в нейроморфных чипах нет возможностей, которые позволили бы импульсным сетям обучаться. У импульсной нейронной сети должна быть возможность модифицировать свою архитектуру на лету, она должна уметь самообучаться за счет изменения своей внутренней архитектуры так же, как человек выстраивает новые нейроны и связи. Но дело в том, что принцип обучения импульсных сетей отличается от используемого в классических сетях принципа «обратного распространения ошибки», при котором ошибка предсказания на всей сети вычисляется послойно, а потом минимизируется. Ученые и разработчики ищут универсальный алгоритм обучения импульсных сетей. Основная идея здесь в том, что обучение должно происходить только в тех нейронах, которые затрагиваются входными импульсами, а не во всей сети, как при обучении классических сетей.

Нейроморфные разработки уже существуют?

В мире наиболее известны три нейроморфные разработки: чип TrueNorth от IBM, чип Loihi от Intel и китайский чип Tianjic. Теперь для России этот список расширяется первым отечественным нейроморфным чипом, созданным новосибирской компанией «Мотив НТ» при партнерстве с «Лабораторией Касперского». Его назвали «Алтай» (AltAI).

В первом варианте чипа «Алтай» 8 тыс. нейронов, которые сгруппированы в ядра по 512 нейронов в каждом. Нейроны в ядрах выполняют очень простые операции и используют локальную память. А ядра одного чипа объединяются в одну большую общую сеть с ядрами других чипов.

Работу такой сети можно сравнить с тонкой подкоркой человеческого мозга толщиной 3 мм. Она состоит из кортикальных колонок — групп нейронов, расположенных в коре головного мозга перпендикулярно поверхности. Эти колонки, в свою очередь, объединяются в поверхность головного мозга площадью 0,12 м². Благодаря такой архитектуре работа нейронов становится быстрой и энергоэффективной.

Расчеты и демонстрационные проекты подтверждают, что энергопотребление чипов «Алтай» более чем в 1 тыс. раз меньше, чем классических нейронных сетей на графических картах.

Где будут особенно востребованы нейроморфные процессоры

Такие чипы позволят значительно ускорить работу систем искусственного интеллекта нового поколения. Они будут востребованы в сферах интернета вещей, робототехники, беспилотного транспорта, в AR-проектах, системах киберфизической безопасности, распознавания лиц, интеллектуальной обработки больших данных, например в дата-центрах. Их можно встраивать в системы технического зрения и распознавания речи.

Примеры использования

Многие городские системы видеонаблюдения работают на основе нейросетевых технологий. Камеры распознают автомобильные номера, лица людей, опасные ситуации. Но в самих камерах никакого искусственного интеллекта нет. Они пересылают видеопоток на сервер, где его обрабатывает компьютерная программа. Чтобы камера работала полностью автономно, рядом с ней придется поставить системный блок. Если его можно будет заменить небольшим встроенным чипом с мизерным энергопотреблением, это будет настоящая техническая революция. Множество устройств смогут работать автономно.

Такие процессоры будут востребованы и в спелеологических исследованиях. Спелеология — наука, которая изучает пещеры. Спелеологи и геологи смогут запускать дроны, которые будут автоматически распознавать полезные ископаемые.

Кроме того, нейроморфные чипы могут быть полезны в виртуальных помощниках. Они не только усовершенствуют цифровые устройства, но и дадут новый толчок развитию импульсных нейросетей.

Можно ли запустить сервис наподобие ChatGPT на импульсных сетях?

В ChatGPT используется так называемая архитектура трансформеров. Она работает на основе механизма внимания. Мозг человека, используя внимание, переключает свой фокус между аспектами входной информации. Таким же образом трансформер при работе с текстовой информацией оценивает, как слова на различных позициях во входном потоке влияют на слова, которые сеть должна выдать в выходном потоке.

Например, порядок слов в предложении в русском и английском языках может различаться, а значит, сеть не просто должна перевести каждое слово, но и расставить их в нужном порядке. Это называется «позиционное кодирование». Много раз применяя внимание и учитывая позицию, архитектура-трансформер позволяет устанавливать структурные связи в информации и делать ее понятной для пользователя. Однако реализация этого механизма в ChatGPT неидеальна. Многие исследователи прикладывают усилия, чтобы найти более удобные реализации механизмов внимания и позиционного кодирования.

И тут пора вернуться к импульсным сетям. Реализация позиционного кодирования и внимания тут также возможна, при этом в более простом исполнении. В пользу такой возможности для импульсных сетей говорит то, что в 2014 году ученые даже получили Нобелевскую премию за открытие области в мозге, где происходит картирование восприятия: привязка воспринимаемых событий к пространству и времени. Речь идет о так называемой системе позиционирования, «внутренней GPS» мозга, то есть нейронах, которые позволяют человеку ориентироваться в пространстве, точно определять местоположение, запоминать и прокладывать маршруты. Подобный принцип используется в импульсных нейронных сетях. Элементы такой технологии уже внедряются в разновидности импульсной нейронной сети — нейросемантической. В «Лаборатории Касперского», например, их используют в системе раннего обнаружения аномалий в работе промышленных систем. При этом запуск механизмов внимания и позиционного кодирования в нейроморфном исполнении позволит реализовать архитектуру, подобную ChatGPT, намного более энергоэффективным способом.

Нейросети сейчас переживают мощный эволюционный скачок благодаря накопленным за десятилетия знаниям, для которых медленно, но верно появляются аппаратная база и вычислительные возможности. Импульсные — наиболее биологоподобные из них. И если добавить в нейроморфные чипы возможности, которые позволят импульсным сетям самообучаться, это будет еще один важный прорыв в этой области, не менее весомый для человечества, чем совершенствование языковых моделей наподобие ChatGPT.