Идентификация по множеству признаков. Обучение нейросети (Identification by multiple features. Neural network training)

Автор: | 31.03.2019

Постановка задачи
Подбор веса связей через оптимизацию погрешности выходных сигналов
Полезные ссылки

Постановка задачи

В статье Идентификация по множеству признаков. Часть2 (Использование нейросети) исследуются возможности решения задачи  Идентификации по множеству признаков. Часть 1 (Основы) с помощью нейронной сети (НС). При этом веса связей между нейронами выбирались на основе различных факторов, напрямую не связанных с конечным результатом.

Обучение НС  подразумевает подбор весов в прямой зависимости от конечного результата. Как можно оценить качество конечного результата? Минимальной разницей (Error) между  ожидаемым  (Target) и полученным (Out) значениями на выходе НС.

Система считается правильно обученной, если при подаче на входы хn признаков, соответствующих i-тому претенденту, значение i-того выхода равно 1, а всех остальных — 0. На практике такого результата добиться трудно, i-й выход лишь только может приближаться к 1,  а другие выходы оказываются большими нуля. Задача обучения — минимизировать суммарную погрешность сигналов (обычно используют сумму квадратов ошибок по всем выходам) подбором в НС весовых коэффициентов связей.

Подбор веса связей через оптимизацию погрешности выходных сигналов

Рассмотрим простейший пример обучения НС с 2-мя входами и 3-мя выходами (2 признака и 3 претендента). Для обучения возьмем одного лишь претендента.  Значения  сигналов на входе и выходе указанны на рисунках. Ожидаемые значения сигналов на выходе y1=0, y2=1 и y3=0.

В каждом из нейронов определяется сумма оценок признаков

d = w1 + … + wn

Результат d приводится к диапазону [0 … 1] при помощи функции активации  y=S(d) (нелинейной сигмоидальной функции).

Инициализируем веса всех сигналов единицей согласно метода, описанного в разделе Идентификация субъекта по сумме одинаковых оценок признаков.

Последовательно (рисунки слева направо, сверху вниз) изменяем веса сигналов для определения минимальной разницы (Error) между  ожидаемым  (Target) и полученным (Out) значениями на выходе НС. На первом рисунке сигналы (1 и 0.67) получены по методу средневзвешенной оценки веса признаков.   Далее изменяем только лишь средневзвешенную оценку сигналов от 1-го признака. Вес сигналов от второго признака полагаем всегда равным 1, поскольку он сильный (не имеет конкурентов).

Смотрим, как влияет изменение веса сигнала на суммарную квадратичную погрешность.

Вес сигнала 0.67, полученный как средневзвешенный вес признаков, выдал погрешность (Error = 0.228), меньшую по сравнению с одинаковым единичным весом признаков, однако еще не минимальную. Минимальную погрешность Error = 0.197 получили при весе сигнала 0.3.  Это отнюдь не говорит о том, что рассмотренный  метод наиболее точный. Можно отметить лишь то, что для обучающей выборки он выбирает оптимальные веса.  Если с этими весами идентифицировать субъекты из другой выборки, то можно получить худшие результаты, например, по сравнению с методом подбора средневзвешенных весов признаков.

При  большем числе выборки претендентов для обучения подбираются оптимальные веса связей на основе минимизации суммарной погрешности (Error) для совокупности всех претендентов и признаков. При этом для корректировки весов может быть использован  метод обратного распространения ошибки.

Во время прямого распространения ошибки делается предсказание ответа. При обратном распространении ошибка между фактическим и предсказанным ответами минимизируется.

Следует заметить, что в статье был  рассмотрен не чистый метод идентификации через обучение НС, а комбинированный с методом  подбора средневзвешенных весов признаков   Во первых, веса сигналов инициализировались  по этому методу. А во вторых, подбирался вес только слабого признака, вес сильного признака не изменялся, был равен 1.

Метод идентификации через обучение НС может быть также  использован в нейросети с промежуточным слоем из пар конкурентов.  Здесь также можно подбирать лишь вес слабых признаков, вес сильных признаков можно  оставлять равным 1.

Полезные ссылки:

 

Автор: Николай Свирневский

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *