ML lec 03 - Linear Regression의 cost 최소화 알고리즘의 원리 설명

 

Simplified hypothsis

 

cost(w) ??

• W=1, 2, 3…
• W=1, cost(W) = 0
• W=0, cost(W) = 4.67
• W=2, cost(w) = 4.67
• W, cost(W) 함수?
• 2차원 함수

 

Gradient descent algorithm(경사를 따라 내려가는 알고리즘)

• Minimize cost function
• For a given const function, const(W, b), it will find W, b to minimize cost
• It can be applied to more general function : cost(w1, w2, w3…)
• process
• start with initial guesses
• 일반식 미분 전개

 

Convex function

• 3차원 cost function
• 고른 밥그릇 형태는 어느 지점에서 시작해도 도달 가능
• 울퉁 불퉁한 (convex function이 아닌) 형태는 시작점에 따라 gradient decent 알고리즘 실패 가능