ML lec 08-2: 딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

CIFAR

• Canadian Institute for Advanced Research
• 당장 돈이 안되고, 활용도가 낮아도 도전적인 연구를 지원함
• 도박과 같은 결정, Hinton의 연구를 지원

 

Everyone else was doing something different

• 2006, 2007 Breakthrough
• 복잡한 신경망 학습 불가?(2006)
• 초기값 잘못주고있었다. 잘 선택한다면 학습 가능
• 깊은 신경망을 구축하면 복잡한 문제 해결 가능 증명(2007)
• Deep Nets, Deep Learning 으로 Rebranding

 

IMAGENET Classification Challenge

• AlexNet error 26% -> 15%
• MSRA -> 3%(2015), 인간 이상
• Neural networks that can explain photos
• Vision Deep CNN + Language Generating RNN
• Deep API Learning
• copy a file and save it to a destination path
• 어떤 API를 어떤 순서대로 사용해야하는지 나열
• 그대로 배치하고 변수들을 넣으면 완성
• Deep learning으로 20% -> 65% 정확도 발전

 

이러한 역사가 나랑 무슨 상관인가?

• youtube 자막 : 소리를 듣고 자동 생성
• facebook 피드 : 사용 할수록 좋아지는 피드
• 구글 검색 : 클릭 할 만한 문서를 예측하여 노출
• Netflix : 볼것 같은 영상들을 추천
• Amazon : 물건 추천
• 가계 운영 : 물건 진열 배치 예측 -> 매출 상승
• 왜 지금인가? : 수학적으로 그렇게 복잡하지 않고, 기화가 많다
• 삶을 도와줄수 있는 수준까지 발전
• Tensorflow, Python 발전

2006, 2007 Breakthrough paper 2편

왜 이떄까지 실패했는지 4가지 이유 by Hinton