Охота на электроовец. Большая книга искусственного интеллекта

Интересно, что одним лишь призывом к ИИ-лабораториям авторы письма не ограничиваются. «Если быстро приостановить [работы ИИ-лабораторий] невозможно, — пишут они, — то правительства должны вмешаться и ввести мораторий».
Подписанты считают, что ИИ-лаборатории и независимые эксперты должны использовать «передышку» для совместной разработки и внедрения системы общих протоколов безопасности, чтобы независимые внешние эксперты могли контролировать разработку передовых систем ИИ. Параллельно авторы письма предлагают создать новые регулирующие органы, занимающиеся вопросами ИИ, а также системы государственного контроля, которые смогут обеспечить безопасность создаваемых систем [3077],  [3078].
Среди прочих письмо подписали Илон Маск, Йошуа Бенджио, Стив Возняк, известный американский астрофизик Макс Тегмарк (кстати говоря, он является одним из основателей «Института будущего жизни»), а также многие другие эксперты в области информационных технологий.
В целом письмо написано в относительно взвешенной манере, хотя и содержит несколько достаточно сильных заявлений, таких, как утверждения о нашей неспособности понимать, предсказывать или надёжно контролировать разрабатываемые системы ИИ.
Куда более ёмким и афористическим стало опубликованное 30 мая того же года на сайте Центра за безопасность ИИ [Center for AI safety] «Заявление об ИИ-рисках» [Statement on AI Risk]. Его текст гласит: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война». По мнению авторов, заявление призвано преодолеть существующие затруднения в публичном обсуждении ИИ-рисков и открыть дискуссию на эту тему. Оно также должно обратить внимание общества на рост числа экспертов и общественных деятелей, которые «всерьёз воспринимают некоторые из наиболее значительных рисков передового ИИ» [3079].
Среди подписавших это заявление можно найти имена Билла Гейтса, Йошуа Бенджио, Дэмиса Хассабиса, Сэма Альтмана, Ильи Суцкевера и многих других предпринимателей и специалистов из мира ИИ. Примечателен кейс Джеффри Хинтона, покинувшего корпорацию Google, в которой он проработал более десяти лет, для того, чтобы иметь возможность более открыто высказываться на тему ИИ-рисков, не задумываясь о том, как это повлияет на его работодателя. Уход Хинтона из Google тут же стал источником домыслов и газетных врак. Например, журналист The New York Times предположил, что Хинтон ушёл из Google, чтобы критиковать её. Хинтон тут же выступил с опровержением в своём твиттере, заявив, что Google [в отношении ИИ-рисков] действует весьма ответственно [very responsibly] [3080]. Заголовок же новости CBS и вовсе гласил: «Канадский пионер искусственного интеллекта Джеффри Хинтон говорит, что искусственный интеллект может уничтожить людей. А пока можно заработать» [Canada's AI pioneer Geoffrey Hinton says AI could wipe out humans. In the meantime, there's money to be made]. Разумеется, фразу про заработок Хинтон никогда не произносил [3081].
В целом многие учёные в области машинного обучения и представители крупного ИТ-бизнеса на волне общественного интереса к ИИ поддержали необходимость внимательного отношения к ИИ-рискам, а также их открытого обсуждения. Однако нашлись и те, кто пошёл в своих заявлениях существенно дальше. Так, один из ярких представителей движения рационалистов, основатель сайта и сообщества LessWrong Элиезер Юдковский обрушился на сторонников моратория в обучении продвинутых моделей со страниц «Тайм». Его статья с недвусмысленным названием «Приостановки разработки ИИ недостаточно. Нам нужно прекратить её полностью» [Pausing AI Developments Isn't Enough. We Need to Shut it All Down] содержит весьма радикальные призывы: «Отключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные системы ИИ). Остановите все большие задачи по обучению. Установите потолок вычислительной мощности, которую разрешено использовать для обучения систем ИИ, и в ближайшие годы понижайте его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооружённых сил. Немедленно заключите международные соглашения для предотвращения перемещения запрещённых видов деятельности куда-либо. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, опасайтесь не столько вооружённого конфликта между странами, сколько нарушения моратория; будьте готовы уничтожить авиаударом принадлежащий изгоям центр обработки данных [rogue datacenter]».
  
Далее следуют рассуждения о том, что ради предотвращения ИИ-апокалипсиса можно пойти и на риск обмена ядерными ударами и повторяющееся заклинание: «Вырубите всё это!» [Shut it all down!] [3082].
В общем, без паники даже в ИТ-среде не обошлось. Что уж говорить о реакции неспециалистов?
«У меня теперь есть чёртов [mother-F-word] ИИ, который сделали для меня. Этот хрен [N-word] может разговаривать со мной, — сказал американский рэпер и актёр Snoop Dogg на конференции в Беверли-Хиллз. — Я такой: «Чувак, эта штука может вести настоящий разговор? По-настоящему?» Это просто сносит мне крышу, потому что я смотрел фильмы об этом в детстве много лет назад. Когда я вижу эту хрень, я думаю, что вообще происходит? Я слышал, как чувак, старый чувак, который создал ИИ [Джеффри Хинтон], сказал: «Это небезопасно, потому что у ИИ есть свой собственный разум»… Я думаю, мы сейчас в чёртовом фильме. Чёрт возьми, чувак, мне нужно инвестировать в искусственный интеллект» [3083].
Не обошлось и без высказывания исполнителя роли Терминатора из одноимённого фильма — Арнольда Шварценеггера: «Сегодня все боятся этого, того, к чему это приведёт. <…> И в этом фильме, в «Терминаторе», мы говорим о том, что машины обретают собственное сознание и берут верх. <…> Теперь, по прошествии десятилетий, это стало реальностью. Так что это больше не фантазия и не что-то футуристическое», — сказал актёр [3084].
Впрочем, несмотря на яркую риторику об угрозе ИИ-апокалипсиса, ряд специалистов из области информационных технологий считает внимание к этому вопросу чрезмерным. Например, Эндрю Ын сравнивает проблему опасности ИИ с проблемой перенаселения Марса. Действительно, в будущем вполне вероятно, что люди колонизируют Марс, также вероятно, что рано или поздно на Марсе может возникнуть проблема перенаселения, но не совсем понятно, почему мы должны заниматься этой проблемой уже сейчас? [3085] Когда в сообществе началось обсуждение возможного моратория или запрета на некоторые исследования в области ИИ, Ын высказался вполне однозначным образом:
Когда я думаю об экзистенциальных рисках для большей части человечества [, на ум приходят]:
* Следующая пандемия
* Изменение климата → массовая депопуляция
* Ещё один астероид
ИИ станет ключевым компонентом решения этих проблем. Так что, если вы хотите, чтобы человечество выжило и процветало в следующие 1000 лет, давайте развивать ИИ быстрее, а не медленнее [3086].
В той или иной мере согласны с Ыном и многие другие ведущие специалисты в области глубокого обучения. Например, Ян Лекун решительно выступает против использования набивших оскомину отсылок к фильму «Терминатор» при рассуждениях об ИИ [3087]. Лекун вообще с юмором воспринял разразившуюся полемику о потенциальной опасности современных генеративных моделей. Его забавный твит на эту тему собрал множество репостов и комментариев: