딥러닝에서 학습 시 가중치 parameter의 최적화에 사용되는 최적화 기법에 대해 정리합니다. SGD Definition 매개변수의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해서 최적의 값을 찾는 것. 최소값인 (0,0) 까지 지그재그로 이동하니 비효율적. Formula \(W \leftarrow W - \eta \frac{\partial L }{\partial W}\) parameters W : 갱신할 가중치 매개변수 \(\frac{\partial L }{\partial W}\) : W에 대한 손실 함수의 기울기 \(\eta\) : 학습률 Momentum Definition 기울기 방향으로 힘을 받아 물체가 가속되듯이 매개변수 값을 갱신하는 방법 SGD와 비교하면 지그재그 정..
