Learning to Learn

베이지안 추론의 경우, 사건(event)의 확률을 계산할 때, 사전 확률 (prior probability)를 함께 고려한다는 점이 핵심이다.

이를 통해, 단순히 관측만으로는 편향되어 추론되는 확률을 좀 더 정밀하게 조절할 수 있다.

문제는 사전확률을 정의하고 사후확률 (poterior probability)를 구했을 때, 사후 확률이 실제로 분석하기 굉장히 복잡해진다는 단점이 있다는 것이다. (적분 계산이 필요한데, 적분이 매우 복잡해짐)

이때, 사전확률을 특정 사전확률분포를 사용하면, 이와 같은 적분 계산이 쉬워짐을 발견하였고, 이를 conjugate prior라고 부른다.

(conjugate prior는 likelihood, p(X|0)과 비슷한 형태를 띄고 있다는 것이 특징이다. 덕분에 곱해도 수학적 형태가 많이 바뀌지 않고는다. 이 덕분에 적분이 간단해 진다.)

이때, 이항분포의 conjugate prior는 Bata distribution으로 다음과 같이 표현된다.

이때, 알파 베타는 각각 (A사건이 일어난 횟수 +1) , (B사건이 일어난 횟수 +1) 을 의미한다.

이때, B~(1,1)은 A사건, B사건이 둘다 일어난 횟수가 0인 경우로, '앞으로 사건이 발생할 확률의 분포'는 편향되지 않고 일정해야 된다.

그러나 만약 2번 앞면이 나오고 1번 뒷면이 나왔다고 가정하면, 이전의 경험을 통해 앞면이 나올 확률이 (2/3)으로 판단되는 상황이고, 이를 Beta distribution으로 표현하면 B~(3,2), 즉 다음과 같이 사전확률이 표현된다.

( 앞면이 나올 확률 2/3 인 부분이 가장 높음)

이때, 사건의 가짓수가 2가지이면 이항분포와 Beta distribution을 사용하고,

사건의 가짓수가 2가지 이상인 경우, Multinomial distribution과 Dirichlet 분포를 함께 사용한다.

https://bab2min.tistory.com/567