optimizer 비교

Adagrad

- lr을 조정하면서 하강

RMSprop

- Adagrad는 시간 지날수록 업데이트 자체가 미미해진다.
- 과거의 gradient값을 잊고 새로운 gradient값을 크게 반영하여 업데이트 하는 방식

Adam

- 진행 방향, lr을 모두 적절하게 유지하면서 학습

 

[출처: 엘리스 AI 트랙 딥러닝 기초 2]