ML lec 08-1: 딥러닝의 기본 개념: 시작과 XOR 문제

Deep Neural Nets 아이디어의 시작

• Ultimate dream : thinking machine
• 뇌가 매우 복잡하게 연결되어있고, 최소 유닛(뉴런)이 너무나 단순하게 동작한다..
• 어떤 input.. 전달 길이에 따라 신호의 양이 달라짐
• x*w 의 양으로 신호가 들어와서 sum이 발생, bias가 더해져 다음으로 전달
• 그 값이 특정 값 이상이 되면 어떤 동작이 활성화가 되고, 이하면 활성화가 안된다
• 이정도면 기계적, 수학적으로 만들수 있지 않을까? -> Activation Function

 

Logistic Regression Unit

• 57년도 컴퓨터가 없던 시절, HW로 선을 연결하여 기계를 만듬(프랭크 박사)
• 허황된 약속.. False Promises(58년도)
• 스스로 걷고, 말하고, 보고 쓸수있을 것이다..;
• AND/OR problem - linearly separable?
• XOR 선형적으로 예측 모델 실패..

 

Perceptrons(1969)

• Minsky, MIT AI lab founder
• xor은 한개의 layer로는 풀수 없음 -> MLP(Multi-Layer Perceptrons)가 필요
• 각 단계의 weight, bias를 학습 시킬 방법이 없음
• 사람들이 책을 믿고 학습 시킬 방법을 찾는것을 포기

 

Backpropagation(1974,1982 Paul)

• 해결책이었지만 Minsky는 별 관심을 안가져서 알려지지 못함
• 86년도 Hinton이 같은 방법을 재발견하여 주목을 받기 시작

 

Convolutional Neural Networks

• 고양이 시신경 테스트
• 그림의 형태에 따라 일부의 뉴런들만 활성화, 다른 그림을 주면 다른 부분의 뉴런이 활성화
• 우리가 그림을 인식할때 신경세포 전체가 아니라 일부만 활성화하여 나중에 조합되는것이 아닐까 추론
• 부분 부분을 잘라서 학습시킨 다음 나중에 합치는 방법(알파고) - 문자/숫자 인식 90% 이상

 

A Big Problem

• Backpropagation 알고리즘이 10개 이상되는 Layer 학습시 성능 저하
• SVM, RandomForest, etc.. 다른 알고리즘들이 등장
• 2번째 침체기 도래

어떻게 선을 그어도 정확도 최대 50%

각 단계의 weight, bias를 학습 시킬 방법이 없음 ->  사람들이 책을 믿고 학습 시킬 방법을 찾는것을 포기

86년도 Hinton이 같은 방법을 재발견하여 주목을 받기 시작

부분 부분을 잘라서 학습시킨 다음 나중에 합치는 방법