ML lec 10-3: Dropout 과 모델 앙상블

Overfitting

• Very high accuracy on the training data set
• Poor accuracy on the test data set
• 깊게 NN 할수록 overfitting 이 높아진다

 

Solutions for overfitting

• More training data
• Regularization
• Let’s not have too big numbers in the weight

 

Dropout

• A simple way to prevent NN
• 학습 하는 동안에만 랜덤하게 몇개 node를 없애버리자
• 이상하게 잘 된다..

 

What is Ensemble?

• 장비가 많을때 사용
• 똑같은 형태 DL 3개 구성
• 각각 학습, 마지막에 합치기
• 독립된 여러명의 전문가 100명에게 자문 후 결과 조합
• 4~5% 정확도 증가

학습하는 동안에만 Dropout layer 사용, 실제 평가에는 1로