인공지능 및 기계학습 개론
-
ML lec 07-1: 학습 rate, Overfitting, 그리고 일반화 (Regularization)인공지능 및 기계학습 개론/ML_LEC 2020. 2. 11. 14:58
Cost Function 정의 -> Gradient descent Large learning Large learning rate : overshooting Small learning rate : takes too long, stops at local minimum Try several learning rates Observe the cost function Check it goes down in a reasonable rate Data Preprocessing Standardization Overfitting 학습을 통해 모델을 만들어가는데 학습 데이터에만 딱 맞는 모델이 되어버려 실제 데이터에는 적합하지 않게됨 어느정도 오차를 허용 해야한다 오차를 허용하지 않는 모델 : overfitting 된 모델이..
-
ML lec 06-1 Softmax Regression: 기본 개념 소개인공지능 및 기계학습 개론/ML_LEC 2020. 2. 11. 10:46
여러개의 그룹이 있을때 어느 그룹에 속할지 분류하는 Multinomial classification 그중 가장 많이 사용되는 softmax regression Logistic regression : binary classification Linear hypothesis(H(X)=WX)에서 출발했지만 return값이 0~1 범위를 벗어남 sigmoid(logistic) function g(z)로 압축 Multinomial classification x1, x2, y -> group A, B, C Linear(Binary) Classifier for A or not, B or not, C or not A classifier Matrix : WX=H(X) B classifier Matrix : WX=H(X) ..
-
ML lec 06-2 Softmax classifier 의 cost함수인공지능 및 기계학습 개론/ML_LEC 2020. 2. 11. 10:37
Where is sigmoid? 0~1로 데이터를 압축 시켜줌 Softmax N개의 데이터를 입력하게 되면 출력값이 0~1 사이의 값이 나옴 출력 값들의 총 합은 항상 1이 되도록 함 One-hot encoding 으로 max값인 데이터를 선택 가능 cost function cross-entropy 예측값 S(y), 실제 값 L의 차이 Cross-entropy cost function 예측이 맞을 경우 작은 값이되고 예측이 틀린경우 큰 값을 주어 패널티 Logistic cost VS cross entropy 여러개의 training set -> cost function -> Gradient descent
-
ML lec 03 - Linear Regression의 cost 최소화 알고리즘의 원리 설명인공지능 및 기계학습 개론/ML_LEC 2020. 2. 10. 19:51
Simplified hypothsis cost(w) ?? W=1, 2, 3… W=1, cost(W) = 0 W=0, cost(W) = 4.67 W=2, cost(w) = 4.67 W, cost(W) 함수? 2차원 함수 Gradient descent algorithm(경사를 따라 내려가는 알고리즘) Minimize cost function For a given const function, const(W, b), it will find W, b to minimize cost It can be applied to more general function : cost(w1, w2, w3…) process start with initial guesses 일반식 미분 전개 Convex function 3차원 cost..
-
ML lec 02 - Linear Regression인공지능 및 기계학습 개론/ML_LEC 2020. 2. 10. 19:50
Predicting exam score : regression(회귀) x(hours) - y(score) -> train -> model example training data y=x 선형적으로 추정 될수있는것들이 많이 존재 H(x) = Wx + b(선의 모양은 W와 b에 따라 결정) 어떤 W, b 가 가장 좋은 모델일까? Cost Fuction 실제 데이터와 모델 방정식 과의 거리 : 가설과 실제 데이터가 얼마나 다른가? (H(x)-y) ^ 2 일반화 cost function식
-
ML lec 01 - 기본적인 ML용어와 개념 정리인공지능 및 기계학습 개론/ML_LEC 2020. 2. 10. 19:50
ML explicit programming spam filter : many rules Automatic driving : too many rules ML : Field of study that gives computers the ability to learn without being explicitly programmed Supervised/Unsupervised learning supervised : learning with labeled examples (training set) Image recognition(image-cat/dog/mug/hat… labled) unsupervised : un-labeled data word clustering google news grouping Supervi..