[머신러닝 - Tensorflow] Lec-13 Softmax classifier 의 cost함수

1. Where is Sigmoid?

여기서는 2.0 , 1.0 , 0.1 이런식으로 나누어져 있지만, sigmoid 함수를 써서 우리는 0~1까지의 범위내에서 값을 구하기를 원한다. 우리는 Ya , Yb, Yc의 값의 합이 1이 되기를 원한다. 이때 사용하는것 softmax.

2. What is Sigmoid ?

Sigmoid는 0~1사이의 값으로 추정해주는데, 이때 이렇게 만들어 주는것이 Softmax classfier이다.

Softmax를 사용하면 값들의 합이 = 1 이 되도록 하고, 이때 A라는 결과를 얻었을 경우 1.0 의 값이 주어지고 나머지 경우에는 0.0 이라는값을 주어지게 하는 방법은 "One hot Encoding"방식이다.

3. One Hot Encoding방식 

여기까지 예측하는값을 추정하는 원리는 설계가 되었다.

이제 cost function값을 구해보자.

4. Cost Function

L = Y는 실제값

S(Y) = y head 예측값

 두개사이의 차이가 얼마나 되는지 오른쪽에 있는 식을 이용할 것이다.

5. Cross-entropy cost Function 

Y = L 실제 값이고, 예측이 된다면 OK 예측이 안된다면 X

B 의 경우 : Y값 앨리먼트 -log(그래프상에 0일경우, 1일경우를 나누어서 계산) 한후, 그 A,B의 값들의 합을 = 0 이라고 나오는것을 보면 제대로 예측된것을 확인 할 수 있다.

A의 경우 : L의 값 = A이므로 Y head의 값을 구할 수 있는데, 이때 0 으로 제대로나온것을 확인 할 수 있다.

6. Logistic cost VS cross entropy

Logistic Cost 방식 과 밑의 식으로 표현이 가능한데, 왜 그것이 가능할 까? 

7. Cost Function

앞에서 배운 내용 여기서 2차원 그래프에서 경사를 따라 내려가면서 최소값을 찾을 수 있는데, 여기서 Step을 사용하여 알파(a)만큼 변동을 하면서 업데이트 되는것을 알 수 있다. (개념 중요)

--! Next Application Tips!  --!