Охота на электроовец. Большая книга искусственного интеллекта

Во-вторых, с увеличением n быстро растут требования к объёму используемой памяти. Действительно, в какой-то момент размер оперативной памяти для хранения статистики n‑грамм становится недостаточным. Конечно, эту статистику можно пересчитывать на лету, но для этого потребуется в момент расчёта вероятностей заново анализировать весь обучающий корпус, что чаще всего неприемлемо из-за ограничений по времени. Поэтому в начале 2000‑х гг. обычно использовались модели, в которых самыми длинными были триграммы.
В-третьих, n-граммные модели ничего не знают о похожести слов и вообще об их семантике. Например, если в обучающем корпусе встречается фраза «Петя щёлкнул Васю по», продолжением которой является слово «лбу», то это никак не поможет модели понять, что последовательность «Вася щёлкнул Петю по» также с большой вероятностью будет продолжена тем же самым словом. Для модели «Вася» и «Петя» — это не имена мальчиков, а просто два разных слова. Несложно заметить, что трудности n-граммных моделей аналогичны трудностям моделей, использующих в качестве текстовых представлений мешки слов и one-hot-векторы.
Эти недостатки n-граммных моделей не нашли удовлетворительного решения.
Требовался новый подход, и в 2003 г. свет увидела важная работа Йошуа Бенджио и его коллег под названием «Нейронная вероятностная языковая модель» (A Neural Probabilistic Language Model) [2109]. Изложенная в ней идея заключалась в том, чтобы вместо one-hot-векторов использовать векторы признаков [feature vectors], обладающие меньшей размерностью и представляющие собой наборы вещественных параметров (своих для каждого слова), значения которых можно было бы получить в процессе обучения модели. Бенджио экспериментировал с векторами размерностью 30, 60 и 100 при размере словаря около 16 000–18 000 слов (в зависимости от корпуса). В зависимости от настроек сеть Бенджио принимала на вход соединение (конкатенацию) векторов, соответствующих трём, четырём или пяти предыдущим словам (т. е. при размерности вектора признаков, равной 100, и длине контекста, равной 4, на вход сети подавалось 4 × 100 = 400 вещественных чисел), и представляла собой полносвязный перцептрон — в большинстве экспериментов с одним промежуточным слоем, в котором могло быть 50 или 100 нейронов.
Реализацию идеи Бенджио можно представить как добавление ко входу сети нескольких идентичных нейронных сетей (по одной для каждого из слов контекста). Каждая из этих сетей состоит из двух слоёв нейронов и преобразовывает one-hot-векторы, соответствующие словам, в векторы признаков. Все нейроны её первого слоя (получающего на вход one-hot-векторы) связаны со всеми нейронами второго слоя (выходы которого и составляют векторы признаков). Такое соединение часто называют проекцией [projection].
Число параметров такой сети равно произведению числа слов в словаре и размерности вектора признаков. Таким образом, при 16 000 слов в словаре и размерности вектора признаков 100 число параметров будет равно 16 000 × 100 = 1 600 000. Поскольку сети, применяемые к каждому из слов, идентичны (т. е. содержат копии одного и того же набора весов), увеличение длины контекста никак не влияет на число параметров модели. Если бы вместо такого набора сетей мы использовали полносвязный слой, то число параметров в нём было бы при длине контекста 4 равно (4 × 16 000) × (4 × 100), то есть в 16 раз больше, чем в модели Бенджио.
Слой, образуемый описанными выше сетями, добавленными ко входу сети Бенджио, в наши дни носит название «слой словарного вложения» [word embedding layer], впрочем, специалисты по машинному обучению называют его обычно «словарным эмбеддингом» или попросту «эмбеддингом» (также термином «эмбеддинг» или «векторы эмбеддинга» часто обозначаются и сами встраиваемые векторы).
Несложно углядеть здесь аналогию со слоем свёртки в свёрточных нейронных сетях — в нём каждая из операций свёртки также осуществляется при помощи одного и того же набора весов.
  
Бенджио не был первым исследователем, предложившим использовать векторные представления слов естественного языка. Почти за полвека до него этот подход начал применяться для решения задач в области поиска информации и тематического моделирования, например в рамках так называемого латентно-семантического анализа (Latent semantic analysis, LSA) — метода обработки информации на естественном языке, анализирующего взаимосвязь между библиотекой документов и встречающимися в них терминами. Различные идеи по решению задач в области обработки текстов на естественном языке, в том числе для построения языковых моделей, выдвигались в 1980-е и 1990-е гг. многими ведущими коннекционистскими исследователями, в том числе Шмидхубером, Элманом и Хинтоном. Но в работе Бенджио и его коллег идея словарных эмбеддингов приобрела именно ту форму, в которой она стала основой первой революции в NLP в начале 2010-х гг. Интересно, что разработанная авторами исследования модель стала также одним из первых примеров сетей с перепрыгивающими связями: в одном из рассмотренных вариантов была архитектура с набором связей, напрямую соединяющих слой векторов признаков с выходом сети.
Впрочем, для осуществления решительного прорыва понадобилось ещё десятилетие исследований. Дело в том, что в модели Бенджио векторы признаков выучивались моделью одновременно с остальными слоями сети, из-за чего само обучение модели было связано со значительными вычислительными затратами (потом исследователи использовали общедоступные библиотеки векторов признаков, построенные на базе анализа больших объёмов текстов, но в 2003 г. такой возможности не существовало). В 2003 г. Бенджио и его коллегам пришлось создать специальную параллельную архитектуру для того, чтобы провести эксперименты с такими сравнительно небольшими текстовыми корпусами, как корпус Брауна (Brown Corpus) [2110] из более миллиона слов и корпус APNews, состоявший из новостей агентства Associated Press за 1995 и 1996 гг. (почти 14 млн слов). Для сравнения: на 2 августа 2021 г. суммарный объём текстов англоязычной «Википедии» составлял свыше 3,9 млрд слов [2111], то есть как минимум в 270 раз больше, чем самый большой корпус в экспериментах Бенджио и его коллег. При этом авторы исследования обучали модель на корпусе APNews в течение всего пяти эпох (эпохой обучения обычно называют последовательность шагов обучения, в ходе которой модели будут однократно предъявлены все прецеденты обучающей выборки), что потребовало более трёх недель обучения при использовании 40 CPU. На момент окончания эксперимента модель не демонстрировала никаких признаков переобучения, то есть Бенджио и его коллеги прервали обучение модели, так и не достигнув пределов её возможностей. Кроме того, авторы исследования использовали нейросетевую модель в составе ансамбля с классической n-граммной моделью, то есть фактически учили модель не строить самостоятельный прогноз, а корректировать ошибки n-граммной модели. В итоге авторам удалось на корпусе APNews улучшить результаты лучшей n-граммной модели примерно на 8%. В то же время модель, обучавшаяся в течение двух десятков эпох на корпусе Брауна, смогла показать куда более солидное преимущество — примерно в 24%. Конечно, даже по меркам начала 2000-х гг. корпус Брауна вследствие своего скромного объёма изрядно устарел, в то время среди исследователей наибольшей популярностью пользовались ставшие классическими The Penn Treebank [2112] и British National Corpus [2113],  [2114],  [2115],  [2116]. Возможно, это было одной из причин, по которым работа Бенджио в 2003 г. не стала заметным событием в научном мире.