[AI/통계] 베이즈 정리의 개념과 예제 [feat. 조건부 확률, 전 확률의 정리]

 확률과 통계 및 딥러닝에서 자주 사용하는 개념인 베이즈 정리에 대해서 알아봅니다. 베이즈 정리의 경우, 베이지안 뉴럴 네트워크까지 있을 정도로 학계에서는 중요하게 다뤄지는 개념입니다.

 베이즈 정리를 살펴보기 위한 조건부 확률과 전 확률의 정리를 미리 알아보고, 베이즈 정리의 개념과 예제를 다뤄봅니다.

 

[ Contents ]

 

 

1. 조건부 확률 (Conditional Probability)

어떤 사건(B)이 일어난다는 조건에서 다른 사건(A)이 일어날 확률

 

 조건부 확률의 분모와 분자를 잘 살펴보면 그 의미를 알 수 있습니다.

 분모는 B가 일어날 확률으로, 그 중에서 A와 B 사건이 같이 일어날 확률이 분자로 들어갑니다. 즉, B 사건이 일어나는 확률 중에서, A 사건도 일어날 확률을 뜻합니다.

 

---

 

 

 

2. 전 확률의 정리(Law of Total Probability)

어떤 사건의 A의 확률은 그것이 B1, B2, ..., Bn 각각의 경우에서 일어날 확률을 모두 더한 것과 같다.

 

 수식을 보면 A의 확률은 ['B1'이 일어날 확률 * 'B1'가 일어났을 때 A가 일어날 확률] + ['B2'이 일어날 확률 * 'B2'가 일어났을 때 A가 일어날 확률] + ... + ['Bn'이 일어날 확률 * 'Bn'이 일어났을 때 A가 일어날 확률'] 으로 해석할 수 있습니다.

 

 

 좀 더 간략화된 수식으로 보면 위와 같습니다.

 

 

 도식으로 보면 더 이해가 쉬운 편인데, A는 A와 Bn의 교집합을 통해서 정의됩니다.

 전 확률의 정리는 위 밴다이어그램을 수식을 정의한 공식입니다.

---

반응형

 

 

3. 베이즈 정리 (Bayes' Theorem)

어떤 사건이 발생한 후에, 그 원인이 무엇일지를 확률적으로 추론하는 이론

 

 베이즈 정리는 결과를 알고 있을 때, 그 원인이 무엇인지 확률적으로 따져보는 걸 말합니다. 보통은 어떤 결과가 일어날 확률을 계산해서 미래를 예측하지만, 베이즈 정리는 반대로 일어난 사건의 원인이 무엇일지 추측합니다. 미래가 아니라 과거를 예상하죠.

 

P(B | A) : 사건 A가 일어난 후, B가 일어났을 확률 (사후 확률)
P(B) : 사건 B가 일어날 확률 (사전 확률)
P(A) : 사건 A가 일어날 확률

 

 사건 A가 일어난 후, B가 일어났을 확률은 베이즈 정리로 위와 같이 구할 수 있습니다.

 조건부 확률과 비슷한 면이 많습니다. P(A∩B) = P(A | B) · P(B) 으로 치환했을 뿐이죠. 이는 P( A | B )는 알기 때문에, 이를 치환해서 구합니다. 실제 예제 문제를 보면 이해가 더 쉽습니다.

 

 보통 예제는 n = 2 혹은 3입니다. 전체 확률이 여러 경우인 경우는 위와 같이 나타낼 수 있죠. 이는 전 확률의 정리 공식을 응용한 결과입니다.

 

 

- 예제 문제

공장 A: 50% 생산, 불량률 1%
공장 B: 30% 생산, 불량률 2%
공장 C: 20% 생산, 불량률 3%

Q. 불량품 하나를 발견 했을 때, 공장 B에서 생산했을 확률은?

 

 불량일 확률을 P(D) 라고 할 때, 구하고자 하는 값은 P(B|D)입니다.

  P(D|B) = 0.02, P(B) = 0.3 이고 P(D)만 구하면 됩니다.

 

  P(D) = 0.5 * 0.01 + 0.3 * 0.02 + 0.2 * 0.03 = 0.017

 

 공식만 기억해서 나열하고, 전체 확률만 잘 구하면 쉽게 풀 수 있습니다.