1.2. MLE(Maximum Likelihood Estimation)

확률에 대한 AI, ML 개관

 

Thumbtack(압정)을 던져서 어떤 형태로 떨어질것인가 예측?

• 몇번 던져본다?
• 앞 2번, 뒤 3번

 

Binomial Distribution(이항 분포)

• The discrete probability distribution
• 이산적인 사건(true/false)에 대한 확률 분포
• Bernoulli experiment(이산 사건 반복 실험)
• 독립 사건, 사건 별 독립적으로 동일한 확률

 

MLE Calculation

• argmax*P(D|theta) 너무 복잡 -> 단조롭게 증가하는 로그 함수 매핑
• 로그 함수는 단조롭게 증가(monotonic)
• P가 최대인 값은 logP가 최대인 값과 동일한 특성으로 최적화
• 최대값/최소값 : 미분 극점을 구하는 법 사용

 

실험 횟수를 늘리면?

• 세타-헷에 대한 에러가 감소

이항 분포

세타가 주어졌을 때 데이터가 관측 될 확률을 최대화 할수 있는 세타-헷

MLE관점에서 본 최적으로 추정된 세타-헷

PAC Learning

추정 세타와 실제 세타의 차이가 에러보다 클확률이 실험 횟수를 더할수록 작아진다.