인공지능 및 기계학습 개론/ML_LEC
-
-
ML lec 08-2: 딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 20:53
CIFAR Canadian Institute for Advanced Research 당장 돈이 안되고, 활용도가 낮아도 도전적인 연구를 지원함 도박과 같은 결정, Hinton의 연구를 지원 Everyone else was doing something different 2006, 2007 Breakthrough 복잡한 신경망 학습 불가?(2006) 초기값 잘못주고있었다. 잘 선택한다면 학습 가능 깊은 신경망을 구축하면 복잡한 문제 해결 가능 증명(2007) Deep Nets, Deep Learning 으로 Rebranding IMAGENET Classification Challenge AlexNet error 26% -> 15% MSRA -> 3%(2015), 인간 이상 Neural networks tha..
-
ML lec 08-1: 딥러닝의 기본 개념: 시작과 XOR 문제인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 20:37
Deep Neural Nets 아이디어의 시작 Ultimate dream : thinking machine 뇌가 매우 복잡하게 연결되어있고, 최소 유닛(뉴런)이 너무나 단순하게 동작한다.. 어떤 input.. 전달 길이에 따라 신호의 양이 달라짐 x*w 의 양으로 신호가 들어와서 sum이 발생, bias가 더해져 다음으로 전달 그 값이 특정 값 이상이 되면 어떤 동작이 활성화가 되고, 이하면 활성화가 안된다 이정도면 기계적, 수학적으로 만들수 있지 않을까? -> Activation Function Logistic Regression Unit 57년도 컴퓨터가 없던 시절, HW로 선을 연결하여 기계를 만듬(프랭크 박사) 허황된 약속.. False Promises(58년도) 스스로 걷고, 말하고, 보고 쓸수..
-
ML lec 07-2: Training/Testing 데이터 셋인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 20:12
데이터로 학습시킨 ML모델이 얼마나 성공적으로 예측할수 있는가? Evaluation using training set? 학습에 사용한 데이터 셋으로 평가할 경우 거의 100%, 공정하지 못함 데이터 셋의 50% 학습에 사용, 20% Validation set으로 조정, 30% 테스트 셋으로 사용 테스트 셋의 실제 값과 모델이 예측한 값을 비교하면 모델이 얼마나 잘 동작하는지 평가 가능 Online learning 형태의 학습 형태 100만개 training set 10만개 묶음으로 잘라서 학습을 시킴 모델은 첫번째 셋을 학습한 상태를 유지해야 함 Minist Dataset 손으로 쓴 숫자 이미지를 숫자로 인식 Accuracy 모델이 얼마나 정확한가? 실제 데이터 Y(label)값과 모델이 예측한 값을 비..
-
ML lab 01 - TensorFlow의 설치및 기본적인 operations (new)인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 18:49
TensorFlow Data flow graphs를 사용해서 numerical computation을 할수있는 Python 오픈소스 라이브러리 Data Flow Graph Node(Operation)들이 Edge(Data, Tensors)로 연결된 작업 흐름도 constant : node를 만든다 Computational Graph TensowFlow Mechanics Build graph using tensorflow operation feed data and run graph : sess.run(op) update variables in the graph(and return value) Placeholder 특별한 노드 not constant sess.run(add_node, feed_dict={a:..
-
ML lec 07-1: 학습 rate, Overfitting, 그리고 일반화 (Regularization)인공지능 및 기계학습 개론/ML_LEC 2020. 2. 11. 14:58
Cost Function 정의 -> Gradient descent Large learning Large learning rate : overshooting Small learning rate : takes too long, stops at local minimum Try several learning rates Observe the cost function Check it goes down in a reasonable rate Data Preprocessing Standardization Overfitting 학습을 통해 모델을 만들어가는데 학습 데이터에만 딱 맞는 모델이 되어버려 실제 데이터에는 적합하지 않게됨 어느정도 오차를 허용 해야한다 오차를 허용하지 않는 모델 : overfitting 된 모델이..
-
ML lec 06-1 Softmax Regression: 기본 개념 소개인공지능 및 기계학습 개론/ML_LEC 2020. 2. 11. 10:46
여러개의 그룹이 있을때 어느 그룹에 속할지 분류하는 Multinomial classification 그중 가장 많이 사용되는 softmax regression Logistic regression : binary classification Linear hypothesis(H(X)=WX)에서 출발했지만 return값이 0~1 범위를 벗어남 sigmoid(logistic) function g(z)로 압축 Multinomial classification x1, x2, y -> group A, B, C Linear(Binary) Classifier for A or not, B or not, C or not A classifier Matrix : WX=H(X) B classifier Matrix : WX=H(X) ..