경사 하강법(Gradient descent)이란?
- 1차 미분 계수를 이용하여 함수의 최소값을 찾아가는 반복적인 방법이다.
- 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를때 까지 반복하여 제시된
함수의 기울기로 최소값을 찾아내는 머신러닝의 알고리즘이다.
- 인공지능 모델이 데이터를 잘 표현 하도록 기울기를 사용해 모델을 조금씩 조정하여 최적화 하는 방법이다.
경사 하강법을 사용하는 이유
- 미분 계수를 구하는 과정을 컴퓨터가 구현하는 상황에서는 경사하강법으로 비교적으로 쉽게 구현할 수 있다.
- 데이터 양이 큰 경우에는 경사하강법과 같은 반복적인 방법을 통하여 값을 구하면 더 효율적으로 구할 수 있다.
경사 하강법 수식 표현
- 기울기가 양수면 \(x\) 값이 커질 수록 함수 값이 커진다는 것을 의미한다.
- 기울기가 음수면 \(x\) 값이 커질수록 함수의 값이 작아진다는 것을 의미한다.
- 기울기 값이 큰 것은 기울기가 가파르다는것을 의미한다.
하지만, \(x\)의 위치가 최소/최대값에 해당되는 \(x\) 좌표에서 멀리 떨어져 있다는 것을 의미한다.
y = x² 그래프
