Охота на электроовец. Большая книга искусственного интеллекта
Учитывая тот факт, что Генри Маркрам был основным идеологом Human Brain Project на его старте, было бы удивительно, если бы разработчики BrainScaleS не заложили бы в созданную ими аппаратную архитектуру, помимо краткосрочной синаптической пластичности, поддержку STDP. Причём прототип второй версии BrainScaleS позволяет реализовать принцип R-STDP, что делает возможным моделирование таких сложных явлений, как, например, формирование павловского условного рефлекса [1653].
Вторая аппаратная линейка, разработанная в рамках Human Brain Project, носит название SpiNNaker. В отличие от BrainScaleS в основе SpiNNaker лежит многоядерная цифровая архитектура. Система состоит из 57 600 процессоров ARM9 (а именно ARM968), каждый из которых имеет 18 ядер и 128 Мб мобильной памяти DDR SDRAM, что в сумме даёт 1 036 800 ядер и более 7 Тб оперативной памяти.
Вся эта монструозная конструкция, потребляющая около 100 кВт, размещена в десяти 19-дюймовых стойках, каждая из которых содержит более 100 000 вычислительных ядер, а каждое ядро способно эмулировать работу 1000 нейронов. Конечной целью системы является моделирование в реальном времени импульсных нейронных сетей, содержащих до миллиарда нейронов [1654], [1655].
В сентябре 2019 г. было принято решение о том, что новый грант в размере 8 млн евро для финансирования строительства машины SpiNNaker второго поколения (названной SpiNNcloud) получит Технический университет Дрездена (Technische Universität Dresden) [1656].
Полномасштабный SpiNNcloud будет состоять из десяти серверных стоек с пятью шасси, в каждом из которых будет установлено по 25 плат, на каждой из которых, в свою очередь, размещено по 56 процессоров. Каждый из процессоров модели SpiNNaker 2 содержит 144 ядра ARM A4F, выполненных по технологии 22-нм FDSOI. Итого SpiNNcloud будет содержать 10 080 000 вычислительных ядер. При этом каждое из этих новых ядер будет способно симулировать в пять раз больше нейронов, чем старое, что в итоге позволит полномасштабной системе в сборке симулировать в реальном времени работу биологических нейронных сетей, состоящих из приблизительно 50 млрд нейронов [1657], [1658]. Напомним, что мозг человека содержит около 86 млрд нейронов.
При перечислении всех этих чисел создаётся впечатление об огромном масштабе проекта, сопоставимом чуть ли не с ядерной и космической программами. В действительности 8 млн евро — это сумма, составляющая менее одной десятой части рыночной цены самой дорогой московской квартиры [1659]. Сумма двухлетнего (с апреля 2018 г. по март 2020 г.) финансирования Human Brain Project со стороны Европейского союза составляет 88 млн евро [1660], что всё ещё меньше цены шикарного пятиуровневого пентхауса в Неопалимовском переулке. Расходы на Human Brain Project в год немного превышают две миллионные доли от мировых военных расходов [1661]. Самый богатый в мире проект по исследованию мозга (Brain Initiative), бюджет которого десятикратно превышает бюджет Human Brain Project [1662], выглядит в подобном сравнении едва заметной букашкой.
5.3.8 Нейроморфные системы типа II. Начало
Пока научные коллаборации заняты развитием нейроморфных систем типа I, моделируя биологические процессы, параллельно происходит развитие систем типа II, дающее осторожные надежды на то, что нейроморфное «железо» вскоре может стать частью массовых пользовательских устройств. В первую очередь оно может быть востребовано там, где особенно важно повысить мобильность машин — в носимых устройствах (например, смартфонах или фитнес-трекерах), в бионических протезах (здесь применение импульсных нейронных сетей может быть особенно полезным, поскольку такая сеть способна «общаться» с нервной системой «на одном языке»), на борту дронов и других автономных или полуавтономных устройств (например, пользовательских роботов). Серьёзный интерес проявляют к нейроморфным системам типа II и военные. Во всяком случае, наиболее заметный проект 2010-х гг. в этой области — нейроморфный чип от IBM под названием TrueNorth — был создан в рамках военной программы DARPA SyNAPSE (Systems of Neuromorphic Adaptive Plastic Scalable Electronics, Системы нейроморфной адаптивной пластичной масштабируемой электроники).
Сложно сказать, какой именно проект нейроморфной системы типа II можно считать первым. В конце концов своё применение в технике нашли и триггеры Шмитта, да и контуры памяти первых ЭВМ, как мы знаем из «Первого проекта отчёта об EDVAC», создавались под влиянием исследований Мак-Каллока и Питтса. Как мы уже заметили ранее, граница, разделяющая нейроморфные системы и классические, во многом размыта. Если за неё принять использование импульсных нейронных сетей в качестве математической модели, лежащей в основе вычислительного устройства, то отсчёт, видимо, следует начать с американо-польского проекта Бялко, Ньюкомба и Деклариса. Эта практика создания устройств на основе импульсных нейронных сетей получила своё развитие в 1980-е гг. Например, ряд публикаций конца 1980-х — начала 1990-х гг. за авторством классика нейроморфной инженерии Алана Мюррея и его коллег описывает создание импульсных нейронных сетей на основе СБИС.
Продолжал работу в этой области и Ньюкомб. Например, в 1992 г. в его статье [1663], написанной в соавторстве с Гью Муном и Моной Заглул, описывается СБИС-реализация синаптических весов и суммирования в импульсных нейронах. Одним из важных этапов работы группы Ньюкомба стала публикация в 1994 г. книги [1664] под названием «Исполнение импульсно связанных нейронных сетей в кремнии» (Silicon Implementation of Pulse Coded Neural Networks). Исследования Ньюкомба и его коллег заложили фундамент для будущих инженерных проектов нейроморфных вычислений.
В 1990-е и начале 2000-х гг. свет увидело немало работ, в которых рассматривалось создание экспериментальных нейроморфных микросхем, в том числе предназначенных для решения прикладных задач. Например, в статье Ясухиро Оты и Богдана Виламовски, опубликованной в 2000 г. [1665], предлагается CMOS‑архитектура синхронной импульсной нейронной сети и рассматривается её применение в обработке изображений. Аппаратная конструкция была основана на модели нейрона «интегрировать-и-сработать» с утечками и обеспечивала динамическое связывание синапсов. Впрочем, размеры сетей, реализуемых нейроморфными микросхемами в 1990-е и в начале 2000-х гг., были довольно скромными, а сами микросхемы если и доводились до стадии выполнения «в кремнии», то выпускались обычно крайне малыми сериями, а то и в единичных экземплярах.
Конечно, очень круто изготовить нейроморфный чип [1666], симулирующий работу верхнего двухолмия (Superior colliculus) мозга амбарной совы (сипуха обыкновенная, Tyto alba), но хочется всё-таки увидеть подобный процессор встроенным в какое-нибудь пользовательское устройство, хотя бы в электронный глобус.
Старт программы SyNAPSE в 2008 г. подстегнул новую волну интереса к нейроморфной инженерии. Основными получателями финансирования от DARPA стали HRL Laboratories, IBM и Hewlett-Packard. От IBM исследовательскую группу возглавил Дхармендра Модха, от HRL — Нарьян Шриниваса, от HP — Грегори Снайдер. Компании, в свою очередь, привлекли в качестве субподрядчиков ряд ведущих американских университетов.
