TancheonDeveloper TancheonDeveloper

Feedforward neural network Fast forward Split&Merge

Overfitting Very high accuracy on the training data set Poor accuracy on the test data set 깊게 NN 할수록 overfitting 이 높아진다 Solutions for overfitting More training data Regularization Let’s not have too big numbers in the weight Dropout A simple way to prevent NN 학습 하는 동안에만 랜덤하게 몇개 node를 없애버리자 이상하게 잘 된다.. What is Ensemble? 장비가 많을때 사용 똑같은 형태 DL 3개 구성 각각 학습, 마지막에 합치기 독립된 여러명의 전문가 100명에게 자문 후 결과 조합 4~5..

딥러닝을 잘하는 방법 - 초기값 Vanishing gradient ReLU 초기값 오류 ReLU를 여러번 실행히키면 결과가 달라진다? w에 Random값이 문제 초기값을 0으로 주면? forward-propagation 로 값이 전달안됨 gradient가 사라진다 의미있는 초기값을 좀더 똑똑하게 입력해야한다 2006 Hinton “A fast learning algorithm for Deep Belief Nets” Restricted Boatman Machine(RBM) 지금은 사용 안함 RBM Structure Visible Layer, Hidden Layer 2개 Layer 사이에 w값을 조절 Restriction = No Connections within a layer(앞->뒤 방향만 연결) Rec..

Preview (WX+b), Sigmoid(Activation Function) multi-layer -> solved NN for XOR Input, hidden, output Layer 9 hidden layers use of Tensor Board Backpropagation problem Sigmoid 로인해 곱을 할수록 값이 점점 작아진다 Vanishing Gradient 경사도가 사라져 학습 보정이 어렵다 Sigmoid를 사용한것이 잘못(입력값을 1보다 작은 값으로 만드는것) ReLU Action Function ReLU : Rectified Linear Unit L1=tf.nn.relu(tf.matmul(X, W1) + b1) Other Activation Function Leaky ReLU..

Intro 하나의 유닛 모델로는 XOR문제를 풀수 없는것이 수학적으로 증명됨 여러개 유닛 레이어를 사용하면 가능 여러 layer 각 유닛들의 weight, bias 를 학습하는것이 가능한가? NN(Neural Net) (wx + b)3개의 유닛 + sigmoid 사용 Lec 6-1 Multinomial Classification - Matrix로 표현

CIFAR Canadian Institute for Advanced Research 당장 돈이 안되고, 활용도가 낮아도 도전적인 연구를 지원함 도박과 같은 결정, Hinton의 연구를 지원 Everyone else was doing something different 2006, 2007 Breakthrough 복잡한 신경망 학습 불가?(2006) 초기값 잘못주고있었다. 잘 선택한다면 학습 가능 깊은 신경망을 구축하면 복잡한 문제 해결 가능 증명(2007) Deep Nets, Deep Learning 으로 Rebranding IMAGENET Classification Challenge AlexNet error 26% -> 15% MSRA -> 3%(2015), 인간 이상 Neural networks tha..