Red Laboratory

다음 차례에서는 손글씨를 꽤 잘 인식할 수 있는 뉴런 네트워크를 소개해 드릴겁니다. 그 전에, 네트워크의 각 부분을 부르는 몇 개의 전문 용어들을 설명하는 것이 도움이 되겠군요. 우리가 아래와 같은 네트워크를 가지고 있다고 해봅시다. 앞서 언급했듯이, 가장 왼쪽에 위치한 층은 입력 층이라고 불리고, 그 안에 있는 뉴런들은 입력 뉴런이라고 불립니다. 가장 오른쪽에 있는 출력층은 출력 뉴런들을 가지고 있습니다. 위 예시에서는 하나의 뉴런만을 가지고 있군요. 가운데 있는 층은 입력 뉴런 또는 출력 뉴런을 가지고 있지 않으므로 은닉층이라고 불립니다. "은닉"이라는 용어는 이상하게 들릴 수 있습니다. (제가 처음 이 단어를 들었을때는 이 은닉층이 꽤 깊은 철학적 의미 또는 수학적 중요성을 가지고 있는줄 알았습니다..

학습 알고리즘은 매우 획기적으로 들립니다. 하지만 어떻게 우리가 뉴런 네트워크를 위한 그런 알고리즘을 창안할 수 있을까요? 우리가 어떤 문제를 풀기위해 학습을 할 퍼셉트론의 네트워크를 가지고 있다고 가정해 봅시다. 예를 들어, 네트워크의 입력값은 손으로 쓴 숫자 이미지를 스캔한 픽셀 데이터 일 것입니다. 그리고 우리는 가중치와 $bias$값들을 조정하여 정확한 숫자의 결과를 내놓는 네트워크를 원할 것 입니다. 어떻게 학습이 이뤄지는지 보기 위하여 우리가 네트워크에서 가중치 또는 $bias$에서 작은 변화를 주었다고 가정해 봅시다. 우리가 원하는 결과는 우리가 가중치 또는 $bias$에 준 작은 변화가 오직 네트워크의 출력값에 원하는 작은 변화가 일어나는 것 입니다. 이런 특징이 학습이 가능토록 하는 부분..

뉴런 네트워크란 무엇인가요? 시작하기에 앞서, 저는 퍼셉트론이라고 불리는 가상 뉴런의 한 종류에 대해 설명하고자 합니다. 퍼셉트론은 워렌 맥클로치와 월터 피치의 선행 연구에 영감을 받아 과학자 프랭크 로젯블랫에 의해 1950년과 1960년대 사이에 개발되었습니다. 오늘날에는 다른 뉴런 모델을 사용하는 것이 일반적입니다. 이 책과 대부분의 현대적 연구에서 사용되는 주된 뉴런 모델은 시그모이드 뉴런 이라고 불리는 뉴런입니다. 곧 시그모이드 뉴런에 대해 다룰것 이지만 왜 시그모이드 뉴런이 왜 그렇게 정의되었는지 알기 위해서는 퍼셉트론을 첫번째로 이해하는 시간을 가지는 것이 좋겠습니다. 그래서, 퍼셉트론 어떻게 작동할까요? 퍼셉트론은 $x_{1}$, $x_{2}$, ...와 같은 몇개의 이진 입력을 받습니다. ..