Искусственные нейронные сети

Искусственные нейронные сети

ГБОУ школа №485 Московского района

Санкт-Петербурга

учитель информатики Кузнецов В.С.

Искусственная нейронная сеть (ИНС) — математическая модель, а также её программная или аппаратная реализация, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма [1].

ИНС могут выполнять следующие задачи:

Классификация образов. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам. Известны приложения теории нейронных вычислений к решениям задач распознавания букв, речи, классификации сигналов электрокардиограммы, классификации клеток крови.

Кластеризация/категоризация. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

Аппроксимация функций. Предположим, что имеется обучающая выборка ((x1, y1), (x2, y2), ... , (xn,yn)) (пары данных вход – выход), которая генерируется неизвестной функцией y = f(x), искаженной шумом. Задача аппроксимации состоит в оценивании неизвестной функции y = f(x). Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования.

Предсказание/прогноз. Пусть заданы n дискретных отсчетов {y(t1), y(t2), ... , y(tn)} в последовательные моменты времени t1, t2, ... , tn . Задача состоит в предсказании значения y(tn+1) в некоторый будущий момент времени tn+1. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники предсказания/прогноза.

Оптимизация. Многочисленные задачи математики, статистики, техники, науки, медицины и экономики могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является отыскание такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.

Построение характеристик направленности (beamforming). Цель этой задачи – определение направления на источник сигнала (например, гидроакустического), принимаемого специальной антенной – антенной решеткой, на фоне аддитивного шума. [2]

ИНС могут быть реализованы двумя способами:

программная модель ИНС, реализованная на компьютерах с последовательной или параллельной архитектурой;

аппаратная модель, реализованная с помощью специальных нейроплат [3].

Программная модель дает проигрыш в быстродействии, однако, на этапе проектирования сети, исследования и оптимизации ее свойств и возможностей, этот путь представляется наилучшим, так как требует несравнимо меньших материальных затрат по сравнению с аппаратной реализацией.

Программировать ИНС можно с использованием языков общего назначения (например, С). Однако используют и специализированные языки, которые предоставляют средства для описания структуры элементов и связей сети в терминах предметной области. Примером такого специализированного языка может служить язык описания нейронных сетей AXON. Его синтаксис разработан при участии Р. Хехт-Нильсена (R. Hecht-Nielsen), и опирается на синтаксис языка С [2].

В области аппаратной реализации основными коммерческими аппаратными изделиями на основе ИНС являются в настоящее время так называемые нейроБИС или нейроплаты.

Как было отмечено выше, ИНС функционирует по принципу процессов, протекающих в мозге при мышлении. Искусственный нейрон имитирует в первом приближении свойства биологического нейрона.

Как правило, во всех известных нейронных сетях множество ИН разделено на подмножества, которые называются слоями. Искусственные нейроны могут быть связаны как с искусственными нейронами своего слоя, так и с искусственными нейронами других слоев [4].

На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рис.1 представлена модель, реализующая эту идею.

Рис.1. Искусственный нейрон

Каждый из N + 1 входных сигналов умножается на соответствующий весовой коэффициент и поступает на суммирующий блок, обозначенный Σ. Множество весовых коэффициентов входных связей нейрона обозначается W и представляет собой вектор-столбец W = [w0, w1, …, wN]T.

Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, т.е. вычисляет их линейную комбинацию:

. (1.1)

Значение , вычисленное по (1.1), называется внутренним выходом ИН, и далее преобразуется функцией активации f, в результате чего получается выходной сигнал искусственного нейрона:

y = f(I). (1.2)

Заметим, что значения параметров x0 и w0 фиксированы. Весовой коэффициент w0 принимает значение , которое называется пороговым значением функции активации.

Существует много разновидностей функций активации, но наиболее удобна в использовании нелинейная зависимость, называемая логистической функцией и определяемая как

, (1.3)

где a – параметр, определяющий свойства функции.

Следует отметить, что функция (1.3) дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения [3].

Существует два основных класса методов обучения ИНС [1]:

1. Обучение с учителем;

2. Самообучение.

Обучение с учителем предполагает ситуацию, в которой ИНС получает входной вектор X и формирует выходной вектор Y. Для такой системы обучение с учителем означает режим, в котором сети предоставляются образцы (x1, y1), (x2, y2),..., (xk, yk),... корректных (или желаемых) пар вход/выход.

Обозначим действительный выход сети Y ', а желаемый Y. Иными словами, Y ' является оценкой желаемого выхода Y. Действительный выходной вектор до окончания процедуры обучения будет отличаться от желаемого, что и является исходной информацией для изменения параметров ИН и весов межнейронных связей ИНС. В этом случае Y = F(X) неизвестная функция, а Y ' = G(X, W) – ее аппроксимация, которую должна воспроизводить нейронная сеть. Тогда обучение сети сводится к минимизации среднеквадратической ошибки аппроксимации по параметру W.

Самоорганизация предполагает формирование значений весовых коэффициентов W, минимизирующих ошибку аппроксимации, лишь на основании сведений о входных сигналах X [3].

CПИСОК ЛИТЕРАТУРЫ

Википедия. Свободная энциклопедия [Электронный ресурс]. – Режим доступа: http://ru.wikipedia.org , свободный. Загл. с экрана.

Лисс А.А., Степанов М.В. Нейронные сети и нейрокомпьютеры: Учеб. пособие.: СПбГЭТУ «ЛЭТИ», 1997. – 64 с.

Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. – M.: ИПРЖР, 2000. – 416 с.

Уоссермен Ф. Нейрокомпьютерная техника. - М.:Мир,1992. – 240 с.