56. Data Мining - генетические алгоритмы, предназначение, пример.

Все генетические алгоритмы описывают итерационный процесс эволюции системы с заданными операциями:

– Отбор,например:

Вход:{a1,...,ai,...,an}

Выход:10< ai<12

Выход определяется заранее заданным правилом.

– Скрещивание,например:

Вход:{a1,...,ai,...,an}

Выход: ai +a j

– Мутация,например:

Вход:{a1,...,ai,...,an}

Выход:sin(ai)

Генетические алгоритмы относятся к числу универсальных методов оптимизации,позволяющих решать задачи различных типов(комбинаторные,общие задачи с ограничениями и без ограничений) и различной степени сложности. При этом генетические алгоритмы характеризуются возможностью как однокритериального, так и многокритериального поиска в большом пространстве, ландшафт которого является негладким.

Классический алгоритм можно в первом приближении записать так:

1:Инициализация — выбор исходной популяции хромосом

2:Пока Хромосомы недостаточно приспособлены выполняем

3:Выбор хромосом

4:Применение генетических операторов

5:Создание новой популяции

6:Выбор наилучшей хромосомы

57. Data Мining - машинное обучение, обучающая выборка.

Машинное обучение (machine lеаrniпg) - обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться на данных.

Общая постановка задачи обучения следующая. Имеется множество объектов

(ситуаций) и множество возможных ответов (откликов, реакций). Между ответами и объектами существует некоторая зависимость, но она неизвестна. Известна только конечная совокупность прецедентов пар вида “объект - ответ”, называемая обучающей выборкой. На основе этих данных требуется обнаружить зависимость, то есть построить модель, способную для любого объекта выдать достаточно точный ответ. Чтобы измерить точность ответов, вводится критерий качества.

58. Data Mining - машинное обучение, тестовая выборка.

Тестовое множество, или тестовая выборка, представляет из себя аналогичный набор наблюдений, который используется для оценки качества модели, используя некоторые показатели.

Важно, чтобы никакие наблюдения из обучающей выборки не были включены в тестовую выборку. Если тестовые данные действительно содержат примеры из обучающей выборки, то будет трудно оценить, научился ли алгоритм обобщать, используя обучающую выборку или же просто запомнил данные. Программа, которая хорошо обобщает, будет в состоянии эффективно выполнять задачи с новыми данными. И наоборот, программа, которая запомнит обучающие данные, создав чрезмерно сложную модель, может точно предсказывать значения зависимой переменной для обучающего множества, но не сможет предсказать значение зависимой переменной для новых примеров.

59. Data Мining - машинное обучение, эффект переобучения.

При обучении нейронных сетей часто возникает серьезная трудность, называемая проблемой переобучения (overfitting).

Переобучение, или чрезмерно близкая подгонка - излишне точное соответствие нейронной сети конкретному набору обучающих примеров, при котором сеть теряет способность к обобщению.

Переобучение возникает в случае слишком долгого обучения, недостаточного числа обучающих примеров или переусложненной структуры нейронной сети.

Переобучение связано с тем, что выбор обучающего (тренировочного) множества является случайным. С первых шагов обучения происходит уменьшение ошибки. На последующих шагах с целью уменьшения ошибки (целевой функции) параметры подстраиваются под особенности обучающего множества. Однако при этом происходит "подстройка" не под общие закономерности ряда, а под особенности его части - обучающего подмножества. При этом точность прогноза уменьшается.

Один из вариантов борьбы с переобучением сети - деление обучающей выборки на два множества (обучающее и тестовое).