5.11.4 Алгоритм обучения lvq3

Алгоритм обучения LVQ2 основан на идее дифференциального смещения границ решения относительно Байесовских пределов, при этом не учитывается то, что может произойти с положением m_i в случае достаточно продолжительной работы алгоритма. Следовательно, необходимо внести изменения, которые гарантировали бы, что m_i хотя бы грубо продолжит аппроксимацию распределения классов. При объединении этих идей, мы получаем улучшенный алгоритм - LVQ3:

m_i(t + 1) = m_i(t) - α(t)[x(t) - m_i(t)],

m_j(t + 1) = m_j(t) + α(t)[x(t) - m_j(t)],

Для k{i,j}, если x, m_i и m_j принадлежат одному и тому же классу:

m_k(t + 1) = m_k(t) + εα(t)[x(t) - m_k(t)],

где m_i и m_j - два самых близких к x вектора со свободными параметрами, причем x и m_j принадлежат к одному и тому же классу, в то время как x и m_i принадлежат различным классам, кроме того, x должен попадать в “окно”.

В результате ряда экспериментов было установлено, что значения ε должны находиться между 0.1 и 0.5. Оптимальное значение ε, возможно, зависит от размера наименьшего окна.

Этот алгоритм является самостабилизирующимся, то есть оптимальное размещение m_i не изменяется при продолжительном обучении.

5.11.5 Алгоритм обучения olvq1

Алгоритм обучения OLVQ1 (Optimized-learning-rate LVQ1) представляет собой алгоритм LVQ1 модифицированный таким образом, чтобы каждому m_i была назначена индивидуальная скорость обучения α_i(t). Таким образом, мы получаем следующий дискретизированный по времени процесс обучения.

Пусть с определяется уравнением:

.

Тогда:

m_c(t + 1) = m_c(t) + α_с(t)[x(t) - m_c(t)],

если x классифицирован правильно;

m_c(t + 1) = m_c(t) - α_с(t)[x(t) - m_c(t)],

если х классифицирован неправильно;

m_c(t + 1) = m_i(t) , ic.

Рассмотрим способ определения оптимального α_i(t) для наиболее быстрой сходимости OLVQ1. Выразим рассмотренные уравнение в форме

m_c(t + 1) = [1 - s(t)α_с(t)]m_c(t) + s(t)α_с(t)x(t),

где s(t) = +1, если классификация правильная и s(t) = -1, если классификация неправильная.

Отмечено, что m_c(t) статистически не зависит от x(t), и статистическая точность полученных значений векторов со свободными параметрами оптимальна, если результаты исправлений сделаны в разное время.

Заметим, что m_c(t + 1) содержит след x(t) через последний член в последнем уравнении и прослеживает предыдущие x(t'), t' = 1, 2, ..., t-1 через m_c(t).

Абсолютная величина последнего следа x(t) масштабируется коэффициентом α_с(t) и, в свою очередь, след x(t - 1) масштабируется коэффициентом [1 - s(t) α_с(t)] α_с(t - 1).

Теперь предусмотрим, чтобы оба эти масштабирования были идентичны и применим данное условие для всех t. Тогда “следы” всех предыдущих x, собранные до времени t, будут в конце масштабироваться одним числом, и, следовательно, “оптимальные” значения α_i(t) определяются рекурсивно:

.

На практике можно убедиться, что это правило обеспечивает быструю сходимость.

Однако, заметим, что α_с(t) может также увеличиваться, и важно, чтобы значение α_с(t) не превышало 1. Начальные значения α_i(t) могут быть выбраны довольно высокими (например, 0.3), благодаря чему обучение значительно ускоряется (особенно в начале) и приближенные асимптотические значения m_i находятся довольно быстро.

Следует обратить внимание на то, что рассмотренное выражение не применимо для LVQ2, так как α_i, в среднем, не будет уменьшаться и процесс не будет сходиться.