Нейрон и нейронная сеть

Нейрон и нейронная сеть #

Строение биологического нейрона: #

  • ядро (тело) нейрона
  • дендриты (малые отростки; служат для приема сигнала от других нейронов)
  • аксон (большой отросток; служит для передачи сигнала к другим нейронам)
  • синапс (соединение аксона одного нейрона с дендритом другого нейрона; изменяется со временем, в зависимости от обстоятельств может становиться сильнее или слабее)
    • сильный (обеспечивает практически полную передачу электрического сигнала)
    • слабый (практически не передает сигнал)

Тренировка биологической нейронной сети заключается в настройке синапса.

Нейрон накапливает заряд до определенного предела и только после этого сигнал уходит по аксону к дендритам других нейронов.

Математическая модель нейрона #

  • сумматор
  • вход
  • выход
  • функция активации (аналог механизма накопления заряда)
  • синаптический вес (коэффициент входящего сигнала; настраиваемый параметр)
  • смещение (настраиваемый параметр)
\(y = f(z) = f(w_0x_0 + w_1x_1 + w_2x_2 + b) = f(\lang w,x \rang + b)\)

Где:

  • y - выходное значение
  • z - результат работы сумматора
  • f(z) - функция активации
  • w - синаптический вес
  • x - входное значение
  • b - смещение

<> - скалярное произведение

Функция активации #

  1. Пороговая (аналогична существующей в биологическом нейроне)
\(x = \begin{cases} 0 &\text{if } x <= 0 \\ 1 &\text{if } x > 0 \end{cases}\)

Разделяющая поверхность - точка, в которой функция меняет значение с 0 на 1. В этой точке аргумент функции активации равен 0. Это плоскость, которая задается вектором w и смещением b. Положительное значение функции по отношению к разделяющей поверхности сонаправлено с вектором w.

  1. Сигмоида
\(\sigma(x) = \dfrac{1}{e^{-x}} \\ \sigma(x) \rarr 1 \text{ if } x \rarr \infin \\ \sigma(x) \rarr 0 \text{ if } x \rarr -\infin \\\)

Если ввести параметр температуры (Т), появляется возможность регулировать наклон сигмоиды. При низких значениях температуры график сигмоиды стремится к графику пороговой функции.

\(\sigma(x) = \dfrac{1}{e^{\frac{-x}{T}}}\)

Нейронные сети #

При объединении нейронов между собой разделяющая поверхность перестаёт быть линейной и может, в том числе, образовывать несвязанные друг с другом области.

Комбинировать полносвязанные линейные нейроны бессмысленно.

Доп материалы #