ML lec 06-2 Softmax classifier 의 cost함수

Where is sigmoid?

• 0~1로 데이터를 압축 시켜줌

 

Softmax

• N개의 데이터를 입력하게 되면 출력값이 0~1 사이의 값이 나옴
• 출력 값들의 총 합은 항상 1이 되도록 함
• One-hot encoding 으로 max값인 데이터를 선택 가능

 

cost function

• cross-entropy
• 예측값 S(y), 실제 값 L의 차이

 

Cross-entropy cost function

• 예측이 맞을 경우 작은 값이되고
• 예측이 틀린경우 큰 값을 주어 패널티

 

Logistic cost VS cross entropy

 

여러개의 training set -> cost function -> Gradient descent