10Глубокое обучение на временных последовательностях
В этой главе
33 Примеры задач машинного обучения на временны´ х последовательностях.
33 Рекуррентные нейронные сети (Recurrent Neural Networks, RNN).
33 Пример применения рекуррентных сетей для прогнозирования погоды.
33 Улучшенные методы использования RNN.
10.1. РАЗНЫЕ ВИДЫ ВРЕМЕННЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ
Временные последовательности.(или.временные.ряды).—.это.любые.данные,. полученные.путем.измерений.через.регулярные.промежутки.времени,.например. стоимость.акций.в.конце.каждого.дня,.почасовое.потребление.электроэнергии. в.городе.или.еженедельные.продажи.в.магазине..Временные.последовательности. присутствуют.повсюду:.и.в.природных.явлениях.(сейсмическая.активность,.изменение.численности.популяций.рыб.в.реке.или.погода.в.определенном.месте),. и.в.закономерностях.человеческой.деятельности.(посещаемость.веб-сайта,.из- менение.ВВП.страны.или.операции.с.кредитной.картой)..В.отличие.от.типов. данных,.с.которыми.вы.сталкивались.до.сих.пор,.для.работы.с.временными.
10.1. Разные виды временных последовательностей 351
последовательностями.вы.должны.быть.знакомы.с.понятием.динамики.системы.—. ее.регулярности,.наличия.периодических.циклов,.временных.закономерностей. и.внезапных.всплесков.
Наиболее.распространенной.задачей,.связанной.с.временными.последовательностями,.вне.всяких.сомнений,.является.прогнозирование:.предсказание.того,.что. произойдет.дальше..Прогнозирование.потребления.электроэнергии.на.несколько. часов.вперед,.чтобы.предпринять.необходимые.меры;.прогнозирование.доходов. на.несколько.месяцев.вперед,.чтобы.спланировать.бюджет;.прогнозирование.погоды.на.несколько.дней.вперед,.чтобы.скорректировать.свои.планы..Основное. внимание.в.этой.главе.будет.уделено.прогнозированию,.но.вообще.временные. последовательности.можно.использовать.для.решения.многих.других.задач.
.Классификация.—.присвоение.временным.последовательностям.одной.или. нескольких.категорий..Например,.определение.по.временной.активности. посетителя.веб-сайта,.является.он.ботом.или.человеком.
.Обнаружение событий .—.определение.момента.наступления.некоторого. ожидаемого.события.в.непрерывном.потоке.данных..В.частности,.широкое. практическое.применение.получило.«обнаружение.горячих.слов»,.когда. модель.распознает.в.аудиопотоке.такие.высказывания,.как.«о’кей,.Google». или.«привет,.Алекса».
.Обнаружение аномалий.—.любых.необычных.событий.в.непрерывном.потоке. данных..Странная.активность.в.корпоративной.сети,.например,.может.быть. признаком.действий.злоумышленника..Необычные.показания.датчиков.на. производственной.линии.могут.служить.сигналом.к.вмешательству..Для. определения.аномалий.обычно.используется.метод.обучения.без.учителя,. ведь.часто.нам.неизвестно,.какие.события.будут.представлять.интерес,.поэтому.обучить.модель.на.конкретных.примерах.невозможно.
При.работе.с.временными.последовательностями.вам.встретится.широкий.спектр. способов.представления.данных.в.разных.предметных.областях..Возможно,.вы. уже.слышали.о.преобразовании Фурье.—.выражении.последовательности.значе- ний.в.виде.наложения.волн.разной.частоты..Преобразование.Фурье.может.очень. пригодиться.для.предварительной.обработки.любых.данных,.характеризующихся. своими.циклами.и.колебаниями.(например,.для.обработки.звука,.колебаний. каркаса.небоскреба.или.электромагнитных.волн.вашего.мозга)..В.контексте. глубокого.обучения.анализ.Фурье.(или.связанный.с.ним.мел-частотный.анализ).
и.другие.представления,.зависящие.от.предметной.области,.могут.быть.полезны. для.проектирования.признаков,.то.есть.в.качестве.способа.подготовки.данных. перед.обучением.модели..Однако.мы.не.будем.их.рассматривать.в.этой.книге.
и.сосредоточимся.на.моделировании.
Далее.в.главе.вы.познакомитесь.с.рекуррентными.нейронными.сетями.(Recurrent. Neural.Networks,.RNN).и.узнаете,.как.применять.их.для.прогнозирования.временных.последовательностей.