5) f(s)=e^(-0.5) экспоненциальная
6) f(s)=sin(s) синусоидальная
7) f(s)=s/(a+|s|) сигмоидальная (рациональная)
8) f(s)={ -1, s<=-1, s, -1<s<1, 1, s>=1 } шаговая (линейная с насыщением)
9) f(s)={ 0, s<0, 1, s>=0 } пороговая
10) f(s)=|s| модульная
11) f(s)={ 1, s>0, -1, s<=0 } знаковая (сигнатурная)
12) f(s)=s^2 квадратичная
2.2. Классификация нейронных сетей и их свойства
 1) В зависимости от функций:
  а) входные нейроны --- нейроны, на которые подаётся вектор, который кодирует входное воздействие или образ внешней среды; в этих нейронах не проводятся никакие вычисления
  б) выходные нейроны --- преставляют выходные значения и преобразования в них осуществляется по формулам s=(SIGMA)^nv(i=1)xviwvi, f(s)
  в) промежуточные нейроны --- в них проходят вычислительные процедуры
 2) С точки зрения топологии сети:
  а) полносвязные
     .
    /|\
   .-+-.
    \|/
     .
   В полносвязных нейронных сетях каждый нейрон передаёт выходной сигнал остальным нейронам, в том числе и самому себе.
  б) многослойные (слоистые)
     0
  --->--->--->-->
      X\/|X\/
  --->-X->\X->-->
      X/\|XX\
  --->--->\-\>-->
          \\  \
           \---->
   В общем случае многослойная слоистая сеть состоит из Q слоёв; количество нейронов в каждом слое не зависит от количества нейронов в других слоях. Внешние входные сигналы обычно подаются на входы нейронов входного слоя, этот слой чаще всего нумеруют как 0-й слой. Выходами сети являются выходы нейронов последнего слоя. Связи являются последовательными от выходов нейронов q-го слоя ко входам нейронов слоя q+1.
   I) монотонные нейронные сети: предъявляются дополнительные условия на связи и нейроны, а именно: каждый слой, кроме последнего выходного слоя, разбит на два блока, а именно: возбуждающий блок и тормозящий блок. Связи между блоками также разделяются на возбуждающие связи и тормозящие связи нейронной сети. Если от нейронов блока A к нейронам блока B ведут только возбуждающие связи, то это означает, что любой выходной сигнал блока является монотонной неубывающей функцией любого выходного сигнала блока A.
   II) сети без обратных связей: каждый выходной сигнал слоя q подаётся на входы всех нейронов слоя q+1
   III) сети с обратными связями: в сетях с обратными связями информация со следующих слоёв передаётся на предыдущие. Среди сетей с обратными связями выделяют:
    a) слоисто-циклические (последний слой передаёт выходные сигналы первому слою)
    b) слоисто-полносвязанные (представляют собой полносвязную сеть, сигналы передаются как от слоя к слою, так и внутри самого слоя; в каждом слое цикл работы распадается на три части: приём сигналов с предыдущего слоя, обмен сигналами внутри слоя, выработка выходного сигнала и его передача к последующему слою)
    c) полносвязанно-слоистые (по своей структуре аналогичны слоисто-полносвязанным, но функционируют по-другому: в этих сетях не разделяются фазы обмена внутри слоя и передачи последующему слою; на каждом такте нейроны всех слоёв принимают сигналы от нейронов последующих слоёв и от своего слоя)
  в) слабосвязанные
   | | |   | | |
  -.-.-.- -.-.-.-
   | | |  <|/|\|>
  -.-.-.- -.-.-.-
   | | |   |v|v|
   Нейроны располагаются в узлах прямоугольной решётки; каждый нейрон связан с 4, 6 или 8 своих ближайших соседей. Если нейрон связан с 4-мя ближайшими соседями, то это т. н. окрестность Фон-Неймана, 6-ю --- Галлея, 8-ю --- Мура.
 3) По типу структур:
  а) гомогенные (однородные)
   В сети присутствуют нейроны с единой функцией активации.
  б) гетерогенные
   В сеть входят нейроны с разными функциями активации
 4) Бинарные/аналоговые сети
 5) По типу структуры
 6) Синхронные/асинхронные
  а) синхронные: в каждый момент времени лишь один нейрон меняет своё состояние
  б) асинхронные: состояние меняется сразу у группы нейронов
 7) По числу слоёв
Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи, которую мы решаем.
Для определённых типов задач существуют готовые конфигурации нейронных сетей.
Возможности сети увеличиваются с ростом числа нейронов и с увеличением числа слоёв в нейронной сети.
Динамическая устойчивость сети увеличивается при введении обратных связей.
Вопрос о необходимых и достаточных свойствах сети для решения задачи представляет собой целое направление нейрокомпьютерной науки.
3. ОБУЧЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
Цель обучения заключается в том, чтобы для некоторого множества входов выдавалось желаемое множество выходов или, по крайней мере, сообразное с ним множество выходов.
Обучение нейронной сети осуществляется путём последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определённой процедурой.
 1) с учителем:
  предполагает, что для каждого входного вектора существует целевой выходной вектор. Входной вектор и выходной целевой вектор X->Y называются обучающей парой. Несколько наборов обучающих пар называются обучающей выборкой.
  Процесс обучения: предъявляется текущий выходной вектор и сравнивается с целевым выходным вектором. Разность этих значений либо ошибка с помощью обратной связи подаётся в сеть и весовые коэффициенты изменяются в соответствии с алгоритмом, который стремится минимизировать ошибку.