Многослойный персептрон.

Многослойными персептронами называют нейронные сети прямого распространения. Входной сигнал в таких сетях распространяется в прямом направлении, от слоя к слою. Многослойный персептрон в общем представлении состоит из следующих элементов:

• Множества входных узлов, которые образуют входной слой;

• Одного или нескольких скрытых слоев вычислительных нейронов;

• Одного входного слоя нейронов.

Многослойный персептрон представляет собой обобщение однослойного персептрона Розенблатта. Примером многослойного персептрона является следующая модель нейронной сети:

Количество входных и выходных элементов в многослойном персептроне определяется условиями задачи. Сомнения могут возникнуть в отношении того, какие входные значения использовать, а какие нет. Вопрос о том, сколько использовать промежуточных слоев и элементов в них, пока совершенно неясен. В качестве начального приближения можно взять один промежуточный слой, а число элементов в нем положить равным полусумме числа входных и выходных элементов.

Многослойные персептроны успешно применяются для решения разнообразных сложных задач и имеют следующие три отличительных признака:

Свойство 1. Каждый нейрон сети имеет нелинейную функцию активации.

Важно подчеркнуть, что такая нелинейная функция должна быть гладкой (т.е. всюду дифференцируемой), в отличие от жесткой пороговой функции используемой в персептроне Розенблатта. Самой популярной формой функции, удовлетворяющей этому требованию, является сигмоидальная. Примером сигмоидальной функции может служить логическая функция, задаваемая следующим выражением:

Где - параметр наклона сигноидальной функции. Изменяя этот параметр, можно построить функции с различной крутизной.

Наличие нелинейности играет очень важную роль, так как в противном случае отображение «вход-выход» сети можно свести к обычному однослойному персептрону.

Свойство 2. Несколько скрытых слоев.

Многослойный персептрон содержит один или несколько слоев скрытых нейронов, не являющихся частью входа или выхода сети. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входного образа.

Свойство 3. Высокая связность.

Многослойный персептрон обладает высокой степень связности, реализуемой посредством синоптических соединений. Изменение уровня связности сети требует изменение множества синоптических соединений или их весовых коэффициентов.

Комбинация всех этих свойств наряду со способностью к обучению на собственном опыте обеспечивает вычислительную мощность многослойного персептрона. Однако эти же качества являются причиной неполноты современных знаний о поведении такого рода сетей: распределенная форма нелинейности и высокая связность сети существенно усложняют теоретический анализ многослойного персептрона.

Лекция №9. История развития отечественной компьютерной техники.

Вопросы:

1. Рождение советской вычислительной техники

2. Второе поколение советских ЭВМ

3. Исторические факты.

1. Рождение советской вычислительной техники.

Слава наших отцов

1.1 ЭВМ «БЭСМ-1» и «БЭСМ-2»

Официальной "датой рождения" советской вычислительной техники следует считать, видимо, конец 1948 года. Именно тогда в секретной лаборатории в местечке Феофания под Киевом под руководством Сергея Александровича Лебедева (в то время — директора Института электротехники АН Украины и по совместительству руководителя лаборатории Института точной механики и вычислительной техники АН СССР) начались работы по созданию Малой Электронной Счетной Машины (МЭСМ).

Лебедевым были выдвинуты, обоснованы и реализованы (независимо от Джона фон Неймана) принципы ЭВМ с хранимой в памяти программой.

Компьютер Baby – построенный Томом Килбурном в Манчестерском университете в 1948 году.

В своей первой машине Лебедев реализовал основополагающие принципы построения компьютеров, такие как:

• наличие арифметических устройств, памяти, устройств ввода/вывода и управления;

• кодирование и хранение программы в памяти, подобно числам;

• двоичная система счисления для кодирования чисел и команд;

• автоматическое выполнение вычислений на основе хранимой программы;

• наличие как арифметических, так и логических операций;

• иерархический принцип построения памяти;

• использование численных методов для реализации вычислений.

Проектирование, монтаж и отладка МЭСМ были выполнены в рекордно короткие сроки (примерно 2 года) и проведены силами всего 17 человек (12 научных сотрудников и 5 техников). Пробный пуск машины МЭСМ состоялся 6 ноября 1950 года, а регулярная эксплуатация — 25 декабря 1951 года.

В 1953 году коллективом, возглавляемым С.А.Лебедевым, была создана первая большая ЭВМ — БЭСМ-1 (от Большая Электронная Счетная Машина), выпущенная в одном экземпляре. Она создавалась уже в Москве, в Институте точной механики (сокращенно — ИТМ) и Вычислительном центре АН СССР, директором которого и стал С.А.Лебедев, а собрана была на Московском заводе счетно-аналитических машин (сокращенно — САМ).

После комплектации оперативной памяти БЭСМ-1 усовершенствованной элементной базой ее быстродействие достигло 10000 операций в секунду — на уровне лучших в США и лучшее в Европе. В 1958 году после еще одной модернизации оперативной памяти БЭСМ, уже получившая название БЭСМ-2, была подготовлена к серийному производству на одном из заводов Союза, которое и было осуществлено в количестве нескольких десятков.