TancheonDeveloper TancheonDeveloper

Deep Neural Nets 아이디어의 시작 Ultimate dream : thinking machine 뇌가 매우 복잡하게 연결되어있고, 최소 유닛(뉴런)이 너무나 단순하게 동작한다.. 어떤 input.. 전달 길이에 따라 신호의 양이 달라짐 x*w 의 양으로 신호가 들어와서 sum이 발생, bias가 더해져 다음으로 전달 그 값이 특정 값 이상이 되면 어떤 동작이 활성화가 되고, 이하면 활성화가 안된다 이정도면 기계적, 수학적으로 만들수 있지 않을까? -> Activation Function Logistic Regression Unit 57년도 컴퓨터가 없던 시절, HW로 선을 연결하여 기계를 만듬(프랭크 박사) 허황된 약속.. False Promises(58년도) 스스로 걷고, 말하고, 보고 쓸수..

데이터로 학습시킨 ML모델이 얼마나 성공적으로 예측할수 있는가? Evaluation using training set? 학습에 사용한 데이터 셋으로 평가할 경우 거의 100%, 공정하지 못함 데이터 셋의 50% 학습에 사용, 20% Validation set으로 조정, 30% 테스트 셋으로 사용 테스트 셋의 실제 값과 모델이 예측한 값을 비교하면 모델이 얼마나 잘 동작하는지 평가 가능 Online learning 형태의 학습 형태 100만개 training set 10만개 묶음으로 잘라서 학습을 시킴 모델은 첫번째 셋을 학습한 상태를 유지해야 함 Minist Dataset 손으로 쓴 숫자 이미지를 숫자로 인식 Accuracy 모델이 얼마나 정확한가? 실제 데이터 Y(label)값과 모델이 예측한 값을 비..

TensorFlow Data flow graphs를 사용해서 numerical computation을 할수있는 Python 오픈소스 라이브러리 Data Flow Graph Node(Operation)들이 Edge(Data, Tensors)로 연결된 작업 흐름도 constant : node를 만든다 Computational Graph TensowFlow Mechanics Build graph using tensorflow operation feed data and run graph : sess.run(op) update variables in the graph(and return value) Placeholder 특별한 노드 not constant sess.run(add_node, feed_dict={a:..

Cost Function 정의 -> Gradient descent Large learning Large learning rate : overshooting Small learning rate : takes too long, stops at local minimum Try several learning rates Observe the cost function Check it goes down in a reasonable rate Data Preprocessing Standardization Overfitting 학습을 통해 모델을 만들어가는데 학습 데이터에만 딱 맞는 모델이 되어버려 실제 데이터에는 적합하지 않게됨 어느정도 오차를 허용 해야한다 오차를 허용하지 않는 모델 : overfitting 된 모델이..

여러개의 그룹이 있을때 어느 그룹에 속할지 분류하는 Multinomial classification 그중 가장 많이 사용되는 softmax regression Logistic regression : binary classification Linear hypothesis(H(X)=WX)에서 출발했지만 return값이 0~1 범위를 벗어남 sigmoid(logistic) function g(z)로 압축 Multinomial classification x1, x2, y -> group A, B, C Linear(Binary) Classifier for A or not, B or not, C or not A classifier Matrix : WX=H(X) B classifier Matrix : WX=H(X) ..

Where is sigmoid? 0~1로 데이터를 압축 시켜줌 Softmax N개의 데이터를 입력하게 되면 출력값이 0~1 사이의 값이 나옴 출력 값들의 총 합은 항상 1이 되도록 함 One-hot encoding 으로 max값인 데이터를 선택 가능 cost function cross-entropy 예측값 S(y), 실제 값 L의 차이 Cross-entropy cost function 예측이 맞을 경우 작은 값이되고 예측이 틀린경우 큰 값을 주어 패널티 Logistic cost VS cross entropy 여러개의 training set -> cost function -> Gradient descent

Simplified hypothsis cost(w) ?? W=1, 2, 3… W=1, cost(W) = 0 W=0, cost(W) = 4.67 W=2, cost(w) = 4.67 W, cost(W) 함수? 2차원 함수 Gradient descent algorithm(경사를 따라 내려가는 알고리즘) Minimize cost function For a given const function, const(W, b), it will find W, b to minimize cost It can be applied to more general function : cost(w1, w2, w3…) process start with initial guesses 일반식 미분 전개 Convex function 3차원 cost..

Predicting exam score : regression(회귀) x(hours) - y(score) -> train -> model example training data y=x 선형적으로 추정 될수있는것들이 많이 존재 H(x) = Wx + b(선의 모양은 W와 b에 따라 결정) 어떤 W, b 가 가장 좋은 모델일까? Cost Fuction 실제 데이터와 모델 방정식 과의 거리 : 가설과 실제 데이터가 얼마나 다른가? (H(x)-y) ^ 2 일반화 cost function식