인공지능(2) - Bayesian Inference

- 기존 전문가 시스템의 한계

• 데이터의 불확실성 - 센서로부터 얻는 데이터는 장치의 측정 오류나 오차 때문에 완전하지 못하다.
• 지식의 불완전성 - 전문가로부터 얻는 지식은 완전하지 않을 수 있다.
• 전문가들의 관점이 다른 경우 - 전문가들마다 의견이 다를 수 있다.
• 정보 획득의 불완전성 - 정보 자체를 모두 수집하거나 처리할 수 없기 때문에 불확실성이 발생한다.
• 부정확한 언어 - 인간이 사용하는 자연어에는 모호한 단어가 많다.

 

- 확률의 정의

• 확률은 빈도론적 확률과 베이지안으로 분류할 수 있다.

빈도론 : 반복적인 사건의 빈도

베이지안 : 확률을 '주장에 대한 신뢰도'로 해석

• 확률이란? - 동일한 시행을 무한 반복했을 때 관심있는 사건의 발생 빈도 (관심있는 사건 발생 횟수 / 전체 시행 횟수)
• 베이지안 확률(Bayesian Probability) - 믿음의 정도로 관심 사건의 발생 확률의 신뢰도를 추론

 

- 조건부 확률

• 어떤 사건 A가 발생한 상황에서, 다른 사건 B가 발생할 확률

P(B|A) : 사건 A가 일어난 것을 전제로 사건 B가 나타날 확률

P(A∩B) : 사건 A와 B가 모두 발생할 확률 (교집합)

P(A) : 사건 A가 발생할 확률

 

- 베이즈 정리(Bayes' Theorem)

H (Hypothesis) : 가설 (=어떤 사건이 발생했다는 주장)

E (Evidence) : 새로운 정보 (=관측한 사실)

P(H) : 사전확률, 어떤 사건이 발생했다는 주장에 관한 신뢰도

P(H|E) : 사후확률, E가 발생했다는 조건 하에 H라는 결과가 나올 확률

P(E|H) : 우도확률, H가 발생했다는 조건 하에 E라는 결과가 나올 확률

 

• 베이지안 확률(Bayesian Probability)

불확실성 측정의 도구

주관적인 추론을 바탕으로 만들어진 "사전확률(Prior)"을 바탕으로 "사후확률(Posterior)"로 업데이트 하는 방법

즉, 사전지식을 갖추고 관측과 사전지식을 기반으로하는 관측결과(likelihood)를 통해 미래의 불확실한 사건(Uncertainty=Posterior)을 업데이트한다.

- 믿음의 정도로 관심 사건의 발생 확률의 신뢰도를 추론

 

- 베이즈 추론

모든 가설에 따라 사후 확률을 계산한 후 확률이 가장 높은 쪽을 선택하여 결정하는 방법

베이지안 추론은 외부로 드러난 관찰(증상)에 기반해서 숨겨진 가설을 추론할 때 사용한다. (즉, 관찰된 현상을 통해 그 속에 숨겨진 본질을 찾는 것이 목표)

 

- 베이즈 정리의 장단점

• 장점 
  • 어떤 불확실한 상황도 확률로 수량화 가능
  • 확률을 업데이트해 나가며 실제 현상에 대한 추론 가능
• 단점
  • 베이즈 추론이 정확한 결과를 도출하려면 사전 확률과 같은 확률 값이 입력되어야 한다.
  • 하지만 일반적으로 베이즈 규칙에 모순되지 않는 확률 값을 올바르게 도출하는 것은 상당히 어렵다.
  • 또 어떤 분야에서는 믿을만한 통계 자료가 없어서 사전 확률을 산정할 수 없는 경우도 있다. 예를 들어서 의학 분야에서는 이러한 자료를 얻기가 상당히 힘들다.