딥러닝(1) - Neural Network

- Neuron

• 신경 세포의 가장 작은 기본 단위

- Perceptron

• 생물학적 뉴런을 모방한 알고리즘으로 인공신경망의 가장 기본 단위
• 입력 데이터를 받아 가중치와 함께 계산하고, 그 결과를 활성화 함수로 변환하여 출력

수식으로 표현하면 위와 같음

• Perceptron의 구성요소
  • Inputs
    • 외부에서 입력되는 값, 입력 값
  • Weights
    • 각 입력에 대한 중요도, 가중치
  • Bias
    • 모델 고유의 편중 값, 편향
  • Activation Function
    • 노드의 출력 값을 결정하는 함수
  • Output
    • 노드의 최종 출력, 출력 값

- Basic Perceptron

• 선형 회귀는 가장 단순한 노드의 형태

y=wx+b

• 위의 그림을 수정하여 입력이 3개인 다변수(Multivariable) 선형회귀 모델을 만들면?

• 위의 다변수 선형회귀 모델에 활성화 함수를 적용하여 Logistic Regression그림으로 만들어보자.

• 위 모델의 출력 값이 0.5이하 일 경우 0, 출력 값이 0.5보다 클 경우 1을 출력하도록 활성화 함수 수식을 바꿔보자.

 

- 퍼셉트론의 한계점

• 단일 퍼셉트론은 선형 분리 문제만 해결 가능하다.

 

- Multi Layer Perceptron : MLP

• 입력층, 하나 이상의 은닉층과 출력층으로 구성된 신경망(퍼셉트론의 모음)
  • 이러한 구조를 순전파(Feedforward)라고 부름
  • 은닉층은 각 뉴런이 이전 층의 모든 뉴런과 연결되어 있어 Fully Connected Layer(FCN)라고도 부름

 

- Deep Neural Network (DNN)

• 2개 이상의 은닉층(Hidden Layer)을 가진 인공신경망
• 순전파 네트워크(Feedforward Network)라고도 부름

- 신경망 표기 방법