목록경사하강법 (1)

LittleDeveloper

모두의 딥러닝 4장 경사하강법

우리는 지난 시간에 선형회귀법에서 기울기 a의 크기가 너무 크거나 너무 작으면, 오차(실제값과 예측값의 차)가 커짐을 확인했다. 저번에 다루지 않았던 개념이 하나 있는데, 'Loss 함수'가 무엇인지부터 짚고 넘어가보자. Loss 함수란? = 실제 값과 예측 값 차이(오차)의 제곱의 합 오차가 작을수록 좋으니까, Loss 함수가 작을수록 좋은 모델이 된다는 것을 알 수 있다. 위의 공식에서 a(기울기), b(y절편) 값에 따라 Loss 함수를 조절할 수 있다. Loss 함수를 최소화하는 a, b 값을 찾기 위해 도입된 방법에는 여러가지가 있다. 1) Gradient descent (경사하강법) 2) Normal equation (least squares) 3) Brute force search 4) et..
AI 2022. 1. 9. 16:22
이전 Prev 1 Next 다음