인공지능 및 기계학습 개론/ML_LEC
-
-
ML 11-2: ConvNet Max pooling 과 Full Network인공지능 및 기계학습 개론/ML_LEC 2020. 2. 17. 11:18
Pooling layer sampling conv layer count = filter count extract 1 layer -> resize(sampling, pooling) max pooling -> 가장 큰 값을 풀링 Fully Connected Layer(FC Layer) Conv, ReLU, Pooling 을 원하는 순서대로 배치 후 마지막 풀링 후, FC 적용 soft-max classify
-
ML lec 11-1 ConvNet의 Conv 레이어 만들기인공지능 및 기계학습 개론/ML_LEC 2020. 2. 15. 16:48
Convolutional Neural Networks easy X forward net, fully-connected splited input, merge Let’s focus on a small area only small area : filter -> one number! ReLU(WX + b) 동일 필터로 모든 이미지를 스캔한다 filter 이동 거리 : stride output size : (N-F)/stride + 1 output의 크기가 작아져서, 점점 정보를 잃어버린다 Common to zero pad the border(Padding) 0값을 가진 가상의 테두리(모서리 정보를 NN에 포함하기 위함) input 7*7을 넣어도 같은 크기의 output 갯수가 나옴 매우 일반적으로 사용하는 방..
-
ML lec 10-3: Dropout 과 모델 앙상블인공지능 및 기계학습 개론/ML_LEC 2020. 2. 15. 15:39
Overfitting Very high accuracy on the training data set Poor accuracy on the test data set 깊게 NN 할수록 overfitting 이 높아진다 Solutions for overfitting More training data Regularization Let’s not have too big numbers in the weight Dropout A simple way to prevent NN 학습 하는 동안에만 랜덤하게 몇개 node를 없애버리자 이상하게 잘 된다.. What is Ensemble? 장비가 많을때 사용 똑같은 형태 DL 3개 구성 각각 학습, 마지막에 합치기 독립된 여러명의 전문가 100명에게 자문 후 결과 조합 4~5..
-
ML lec 10-2: Weight 초기화 잘해보자인공지능 및 기계학습 개론/ML_LEC 2020. 2. 15. 14:35
딥러닝을 잘하는 방법 - 초기값 Vanishing gradient ReLU 초기값 오류 ReLU를 여러번 실행히키면 결과가 달라진다? w에 Random값이 문제 초기값을 0으로 주면? forward-propagation 로 값이 전달안됨 gradient가 사라진다 의미있는 초기값을 좀더 똑똑하게 입력해야한다 2006 Hinton “A fast learning algorithm for Deep Belief Nets” Restricted Boatman Machine(RBM) 지금은 사용 안함 RBM Structure Visible Layer, Hidden Layer 2개 Layer 사이에 w값을 조절 Restriction = No Connections within a layer(앞->뒤 방향만 연결) Rec..
-
ML lec 10-1: Sigmoid 보다 ReLU가 더 좋아인공지능 및 기계학습 개론/ML_LEC 2020. 2. 13. 19:59
Preview (WX+b), Sigmoid(Activation Function) multi-layer -> solved NN for XOR Input, hidden, output Layer 9 hidden layers use of Tensor Board Backpropagation problem Sigmoid 로인해 곱을 할수록 값이 점점 작아진다 Vanishing Gradient 경사도가 사라져 학습 보정이 어렵다 Sigmoid를 사용한것이 잘못(입력값을 1보다 작은 값으로 만드는것) ReLU Action Function ReLU : Rectified Linear Unit L1=tf.nn.relu(tf.matmul(X, W1) + b1) Other Activation Function Leaky ReLU..
-