ML lec 10-1: Sigmoid 보다 ReLU가 더 좋아

Preview

• (WX+b), Sigmoid(Activation Function)
• multi-layer -> solved NN for XOR
• Input, hidden, output Layer

 

9 hidden layers

• use of Tensor Board

 

Backpropagation problem

• Sigmoid 로인해 곱을 할수록 값이 점점 작아진다
• Vanishing Gradient
• 경사도가 사라져 학습 보정이 어렵다
• Sigmoid를 사용한것이 잘못(입력값을 1보다 작은 값으로 만드는것)
• ReLU Action Function

 

ReLU : Rectified Linear Unit

• L1=tf.nn.relu(tf.matmul(X, W1) + b1)

 

Other Activation Function

• Leaky ReLU
• Maxout
• ELU
• tanh

multi-layer -> solved NN for XOR

Deep Network

use of Tensor Board

Low Accuracy

Sigmoid 로인해 곱을 할수록 값이 점점 작아진다

경사도가 사라져 학습 보정이 어렵다

 

Sigmoid를 사용한것이 잘못(입력값을 1보다 작은 값으로 만드는것)

L1=tf.nn.relu(tf.matmul(X, W1) + b1)

Works very well