인공 신경망의 생체 영감
인공 신경망은 생체 신경망과 간접적으로 연관되어 있다. 인공 신경망의 개발에 영감을 준 뇌 기능의 특징을 간략하게 알아보자.
뇌는 뉴런이라고 하는 요소들로 구성되어 있으며, 상당히 많은 수의 뉴런이 고도로 연결되어 있다. 뉴런은 세 가지 주요 구성요소인 수상돌기 dendrites, 세포체 cell body, 축삭 axon으로 이뤄져 있다. 수상돌기는 전기적 신호를 세포체로 운반하는 신경 섬유 수용 네트워크로 나뭇가지 모양을 하고 있다. 세포체는 들어오는 신호를 효과적으로 합산하고 임계치에 도달하면 발화한다. 축삭은 세포체에서 다른 뉴런으로 신호를 운반하는 기다란 섬유다. 뉴런의 축삭과 다른 뉴런의 수상돌기 사이의 접점을 시냅스 synapse라고 한다. 뉴런의 배열과 시냅스의 강도는 신경망의 기능을 결정하는 복잡한 화학적 과정에 의해 결정된다.
뉴런 구조의 일부는 태어날 때부터 정해져 있다. 나머지 뉴런 구조는 학습을 통해 발달하며, 그 과정에서 새로운 연결이 만들어지기도 하고 기존 연결이 약화되기도 한다. 뉴런 구조는 생애 초반에 가장 현저히 발달한다. 또한, 평생 동안 지속적으로 변화한다. 후반부의 변화는 주로 시냅스의 연결을 강화하거나 약화하는 경향을 띤다.
인공 신경망은 뇌의 복잡도에 근접하지 못한다. 하지만 생체 신경망과 인공 신경망 사이에 핵심적인 두 가지 유사성이 있다. 첫째, 두 네트워크의 빌딩 블록은 고도로 연결된 간단한 계산 장치라는 점이다. 둘째, 뉴런 사이의 연결이 네트워크의 기능을 결정한다.
전자회로와 비교하면 생체 뉴런은 매우 느리지만 뇌는 기존의 어떤 컴퓨터보다 많은 작업을 매우 빠르게 수행할 수 있다. 이는 생체 신경망의 대규모 병렬 구조 때문으로 모든 뉴런은 동시에 작동된다. 인공 신경망은 병렬 구조를 공통적으로 갖고 있다.