머신 러닝: 로지스틱 회귀의 비용 함수

로지스틱 회귀의 비용 함수는 아래와 같다.

 

 

수식만 보면 이해가 잘 되지 않으니 그래프로 확인해보자.

 

 

정답이 0일 경우에는 가설 함수로 예측한 값 H(x)가 0일 확률을 1(100%)이 되도록 학습을 시켜야 하고, 1일 확률을 0(0%)으로 되도록 학습을 시켜야 한다.

정답이 1일 경우에는 가설 함수로 예측한 값 H(x)가 1일 확률을 1(100%)이 되도록 학습을 시켜야 하고, 0일 확률을 0(0%)으로 되도록 학습을 시켜야 한다.

 

 

 

 

그래프를 조금 더 자세히 보자면,

 

출처: https://machinelearningknowledge.ai/cost-functions-in-machine-learning/

 

Cost가 줄어들수록, 가설 함수로 예측한 값 H(x)가 정답을 나타낼 확률이 높아진다.

그와 반대로, 가설 함수로 예측한 값 H(x)가 정답이 아닌 값을 나타낼 확률이 높아진다면 Cost는 무한대에 수렴한다.

 

 

그래서 학습을 하기 위해선 정답에 가까운 값으로 예측값을 이동시켜야 한다.

이는 즉 비용 함수의 cost를 0에 수렴하게끔 한다는 의미와 같다.

 

 

따라서 초기에 학습하여 나온 파란색 확률 분포 그래프를 빨간색의 확률 분포 그래프로 만드는 것이 crossentropy 함수이다.

 

 

출처: 스파르타코딩클럽 가장 쉽게 배우는 머신러닝