Рекуррентные нейросети

Рекуррентные нейросети, РНС (или RNN — Recurrent Neural Networks), — это особый тип нейронных сетей, основанных на циклической архитектуре. Имен­ но поэтому они и называются рекуррентными. Важно отметить, что РНС об­ ладают памятью. Это означает, что у них есть возможность хранить информацию из последних итераций. Они используются в таких задачах, как анализ струк­ туры предложений (когда надо предсказать следующее слово в предложении).

Генеративно-состязательные сети

Генеративно-состязательные сети, ГСС (или GAN — Generative Adversarial Networks), — это тип нейронных сетей, которые генерируют синтетические данные. Эти сети были созданы в 2014 году Иэном Гудфеллоу и его коллегами. С помощью ГСС можно генерировать фотографии людей, которых никогда не существовало. Что еще более важно, такие сети могут создавать синтетические данные для аугментации (расширения) обучающих датасетов.

В следующем разделе мы рассмотрим, что такое перенос обучения.

ПЕРЕНОС ОБУЧЕНИЯ

В течение долгого времени многие организации, исследовательские группы и отдельные специалисты в сообществе открытого исходного кода совершен­ ствовали сложные модели, обученные на гигантских объемах данных. В неко­ торых случаях на оптимизацию моделей были затрачены годы усилий. Некото­ рые из этих моделей с открытым исходным кодом можно использовать для следующих задач:

zz Обнаружение объектов на видео.

zz Обнаружение объектов на изображениях. zz Расшифровка аудио.

zzАнализ эмоциональной окраски текста.

Всякий раз перед обучением новой модели МО следует задаться вопросом: можем ли мы просто адаптировать под наши цели готовую, предварительно обученную и испытанную модель (вместо того, чтобы начинать с нуля)? Дру­ гими словами, можно ли перенести обучение существующих моделей на новую модель так, чтобы ответить на бизнес-вопрос? Если это возможно, мы получаем три преимущества: