Лекции / 6. Введение в нейронные сети
.pdf
Достижения глубоких нейронных сетей в обучении с подкреплением тоже трудно переоценить. Глубокие сети оказались как нельзя кстати, потому что дают универсальный «черный ящик», способный приблизить функцию «оценки позиции».
Даже первые значительные успехи обучения с подкреплением в конце 1980-х уже были основаны на нейронных сетях. Последний громкий успех глубоких сетей в обучении с подкреплением — созданная DeepMind программа AlphaGo, которая сумела обыграть одного из лучших игроков мира в го — одну из последних классических игр с полной информацией, которые считались крайне сложными для компьютера.
Кроме игр, есть, конечно, и «более серьезные» приложения. Так, глубокое обучение уже находит применение и в другой традиционной области обучения с подкреплением — роботике. Глубокие сети можно использовать для обработки сигналов, в частности визуальных, помогая роботу понять, что его окружает. Например, так глубокие сети применяются в беспилотных автомобилях (selfdriving cars), которые сейчас уже вовсю разрабатывают не только Tesla и Google, но и другие крупнейшие автомобильные концерны, и даже Яндекс. Глубокие сети здесь можно использовать и напрямую. Например, в недавней яркой работе исследователей из NVIDIA глубокая сверточная сеть получала на вход картинку с установленной на автомобиле камеры, а на выход подавала уже непосредственные команды управления рулем.
Но в некоторых областях нейронным сетям есть куда стремиться. Например, хотя большие успехи в области задач обработки естественного языка несомненны, пока еще неясно, когда же наконец компьютер действительно научится читать, то есть обрабатывать содержащуюся в тексте информацию.
Например, современные системы для ответов на вопросы пока что умеют понимать только очень простые истории и отвечать на вопросы вроде «Вася взял книгу; Вася пошел на кухню; Вася взял шоколадку и вернулся в комнату; где сейчас книга?». До человеческого уровня там еще очень далеко.
Чем отличается задача понимания текста от задачи распознавания дорожных знаков? Чего не хватает современным нейронным сетям? Можно ли довести их до человеческого уровня понимания, и если да, то как?
Специалисты по когнитивным наукам попытались дать ответ на эти вопросы. Они начинают с того, что выделяют разницу между тем, как обучается человек, и тем, как это делают программы даже в успешных случаях. Человеку практически всегда нужно гораздо меньше тренировочных данных, чтобы успешно обучиться: например, чтобы освоить одну из игр Atari, глубокой сети требуется около тысячи часов опыта; это стало очень ярким шагом на пути развития глубокого обучения с подкреплением.
А человеку, даже ранее абсолютно незнакомому с игрой, для повторения этих результатов достаточно пару минут посмотреть YouTube, чтобы понять, что надо делать, и потом еще полчаса поиграть самому, чтобы воплотить понимание в навык.
Почему же люди настолько лучше обучаются?
Во-первых, у человека еще в раннем детстве появляется понимание нескольких крайне важных для нормального функционирования основных предметных областей — то, что называется базовым знанием
(core knowledge).
Кроме понимания операций с числами и множествами и навигации в пространстве, особенно подчеркиваются два компонента, которые отличают живого человека от искусственных нейронных сетей.
Интуитивная физика: понимание того, как работает окружающий нас физический мир. Младенцы довольно быстро начинают разбираться в окружающем их физическом мире. К шести месяцам ребенок уже хорошо понимает постоянство объектов физического мира, то, что они должны двигаться непрерывно и не менять мгновенно свою форму, и уже даже различают твердые и жидкие объекты. А к году малыши уверенно овладевают такими понятиями, как инерция, поддержка, способность одних объектов содержаться в других и т. д.
У ученых нет уверенности в том, как это все работает у человека, но по современным представлениям, интуитивная физика — это нечто вроде логических рассуждений, построенных на модели физической симуляции, вроде физической модели в компьютерной игре. Модель эта, конечно, крайне приблизительная, мы не проводим настоящих вычислений, но достаточно точная для повседневных выводов и, главное, способная к очень мощным обобщениям и переносу на новые визуальные входы.
Интуитивная психология: тут дела обстоят еще интереснее. Дети, даже младенцы, очень быстро понимают, что некоторые сущности в окружающем мире обладают волей и действуют, преследуя какие-то свои цели. Более того, уже годовалые малыши прекрасно могут различать эти цели и действия по их достижению и даже делать некие зачатки моральных суждений, понимая, когда «плохие» агенты мешают «хорошим» достигать их «хороших» целей. Именно такие рассуждения позволяют нам с вами быстро научиться компьютерной игре, просто наблюдая за тем, что делают другие люди, и осознавая, какие цели они преследуют. Вы можете даже ни разу не увидеть, как Марио умирает, столкнувшись с черепашкой, — просто посмотрев на то, что опытный игрок все время избегает или убивает черепашек, вы поймете, что это враг и с ним нужно поступать именно так.
Откуда все это берется — пока тоже до конца не понятно; возможно, из развивающейся сейчас в когнитивистике байесовской теории сознания, а возможно, и нет. Но понятно, что такого рода рассуждения искусственные нейронные сети сейчас совершенно не умеют вести, и это может быть важным направлением для дальнейших исследований.
Во-вторых, люди очень хороши в том, что называется переносом обучения (transfer learning): мы можем быстро построить модель нового объекта или процесса, порождая правильные абстракции из очень, очень маленького числа обучающих примеров. Известно, что дети с трех до 14–15 лет изучают в среднем 8–9 новых слов каждый день. Довольно очевидно, что они не могут получить большое число разных контекстов для каждого нового слова и должны обучаться по считанным единицам тренировочных примеров. Сейчас начинают проводиться исследования о том, как перенести такое обучение (его обычно называют обучением по одному примеру, one-shot learning) в нейронные сети и модели машинного обучения в целом. С помощью байесовского подхода к обучению уже достигнуты некоторые успехи в таких задачах, как распознавание рукописных символов и речевых сигналов, но основная работа здесь еще впереди.
Сможет ли AlphaGo разумно сыграть с человеком, например, в го на гексагональной или тороидальной доске? Вряд ли. А человек, умеющий играть в го, адаптируется мгновенно, и хотя, конечно, не сразу достигнет тех же высот в новом варианте, сразу начнет играть вполне разумно.
В-третьих, настоящим камнем преткновения для искусственного интеллекта остается причинность (causality), то есть способность распознавать и выделять «истинные причины» наблюдаемых эффектов, строить модели процессов, которые могли бы привести к таким наблюдениям.
Когда человек смотрит на фотографию, в его воображении обычно создается некий нарратив, объясняющий происходящее на снимке как связную последовательную историю. А когда нейронная сеть порождает подписи к фотографиям, ничего подобного не происходит; часто бывает так, что сеть корректно распознает все ключевые объекты на фото, но не может связать их правильным логическим образом.
Это, разумеется, обычно связано и с вышеупомянутыми интуитивной физикой и интуитивной психологией: они помогают нам выбрать правильное объяснение. Психологические и когнитивные исследования показывают, что причинность в этом смысле может появляться и на более низком уровне: например, классические теории восприятия речи утверждают, что ее проще всего объяснить через «обращение» услышанного, распознавание движений речевого тракта, которые могли бы привести к таким звукам.
И наконец, люди гораздо лучше умеют учиться. Младенцы учатся относительно медленно, но затем способность к обучению постепенно «раскручивается», и мы с вами осваиваем новое гораздо более эффективно, чем имеющиеся у нас данные позволили бы, например, современным архитектурам нейронных сетей. Это показывает, что у людей при обучении появляются очень сильные ограничения, априорные распределения.
Первые шаги в направлении такого «абстрагирования» уже, конечно, делаются. Например, довольно очевидно, что даже самые разнообразные системы компьютерного зрения могут переиспользовать первые уровни анализа изображения, выделение базовых признаков, которые могут оставаться общими для самых разных изображений Однако это пока все еще только первые шаги, причем ограниченные конкретными областями применения.
Так, например, изобретатель самого популярного метода распределенных представлений слов word2vec Томаш Миколов и его соавторы попытались изложить свое видение того, как нейронные сети могут двигаться в сторону AI.
По мнению Миколова, есть два основных качества «настоящего» интеллекта, которые нужны, чтобы признать программу разумной:
•способность к коммуникации, чтобы программа могла интерактивно общаться с людьми и получать информацию об окружающем мире; для этого предлагается использовать единый канал связи общего вида, в который и обучающийся агент, и те, кто его обучают, могут писать сообщения разнообразной формы;
•способность к обучению, и в части собственно обучения, и в части мотивации для этого обучения, которая должна приходить через тот самый канал для коммуникации с окружающим миром в форме положительных и отрицательных стимулов (как в обучении с подкреплением).
Для этого предлагается построить специальную экосистему для обучающихся агентов, похожую на компьютерную игру. В этой экосистеме будет Учитель (Teacher), чье поведение полностью контролируется экспериментаторами, и Ученик (Learner), которого мы, собственно, и выращиваем. Они общаются через вышеозначенный канал связи, по которому также отдельно передаются стимулы (награды) за желаемое и нежелательное поведение Ученика. Идея системы состоит в том, чтобы Учитель последовательно обучал Ученика задачам возрастающей сложности.
Введение в нейронные сети
•Метод наименьших квадратов