뉴런 모델

단일 입력 뉴런 (single-input neuron)

스칼라 입력 p가 스칼라 가중치 (weight) w와 곱해지고, 다른 스칼라 입력 1은 편향 (bias 또는 offset) b와 더해진다. 이 둘은 합산기 (summer)에 전달되어 합해진다. 합산기 출력 (또는 네트 입력 net input) n은 스칼라 뉴런 출력 a를 생성하는 전달 함수 (transfer function) 또는 활성화 함수 (activation function) f로 들어간다.

 

단일 입력 뉴런

 

이때, w와 b는 모두 조정 가능한 (adjustable) 뉴런의 스칼라 파라미터이다. 일반적으로 전달 함수는 뉴런의 입력/출력 관계가 특정 목표를 충족하도록 설계자가 선택하며, 파라미터 w와 b는 학습 규칙에 의해 조정된다.

 

전달 함수 (transfer function)

전달 함수는 n의 선형 함수 또는 비선형 함수가 될 수 있다. 뉴런이 해결하고자 하는 문데의 명세 (specification)를 만족하도록 선택한다.

 

하드 리밋 전달 함수 (hard limit transfer function)는 함수 인자가 0보다 작으면 뉴런의 출력을 0으로, 0보다 크거나 같으면 1로 설정한다.

하드 리밋 전달 함수

 

선형 전달 함수 (linear transfer function)은 입력과 출력이 동일하다.

(a) 선형전달함수 (b) 로그-시그모이드 전달 함수

 

로그-시그모이드 전달 함수 (log-sigmoid transfer function)은 + 무한대와 - 무한대 사이의 임의의 실수를 입력으로 취해서 다음 식에 따라 0에서 1까지의 범위로 출력한다.

 

$$a=\frac{1}{1+e^{-n}}$$

 

로그-시그모이드 전달 함수는 미분이 되기 때문에 일반적으로 역전파 알고리즘으로 훈련을 하는 다층 네트워크에서 사용한다.

 

이름	입출력 관계	형태
하드 리밋 (Hard Limit)	$${a=0}\;\;\;{n<0}$$ $${a=1}\;\;\;{{n\geq 0}}$$
대칭 하드 리밋 (Symmetrical Hard Limit)	$${a= -1}\;\;\;{n<0}$$ $${a= +1}\;\;\;{{n\geq 0}}$$
선형 (Linear)	$$a=n$$
포화 선형 (Saturating Linear)	$${a=0}\;\;\;{n<0}$$ $${a=n}\;\;\;{0\leq n\leq 1}$$ $${a=1}\;\;\;{{n>1}}$$
대칭 포화 선형 (Symmetric Saturating Linear)	$${a= -1}\;\;\;{n<-1}$$ $${a=n}\;\;\;{-1\leq n\leq 1}$$ $${a=1}\;\;\;{{n>1}}$$
로그-시그모이드 (Log-Sigmoid)	$$a=\frac{1}{1+e^{-n}}$$
하이퍼볼릭 탄젠트 시그모이드 (Hyperbolic Tangent Sigmoid)	$$a=\frac{e^{n}-e^{-n}}{e^{n}+e^{-n}}$$
양의 선형 (Positive Linear)	$${a=0}\;\;\;{n<0}$$ $${a=n}\;\;\;{{n\geq 0}}$$
경쟁 (Competitive)	${a=1}\;\;\;\textrm{max} \; n $을 갖는 뉴런 ${a=0}\;\;\;$ 다른 모든 뉴런

 

 

다중 입력 뉴런 (multi-input neuron)

일반적으로 뉴런은 입력을 하나 이상 갖는다. 신경망 대부분은 행렬로 설명될 수 있다.

 

다중 입력 뉴런