728x90
Adagrad
- lr을 조정하면서 하강
RMSprop
- Adagrad는 시간 지날수록 업데이트 자체가 미미해진다.
- 과거의 gradient값을 잊고 새로운 gradient값을 크게 반영하여 업데이트 하는 방식
Adam
- 진행 방향, lr을 모두 적절하게 유지하면서 학습
[출처: 엘리스 AI 트랙 딥러닝 기초 2]
728x90
'코딩코딩 > 머신러닝, 딥러닝' 카테고리의 다른 글
| [ml-agents] 윈도우에 ml-agents 환경 구축 (0) | 2022.02.14 |
|---|---|
| [강화학습] MDP를 알 때의 플래닝 (0) | 2021.10.03 |
| 빅데이터분석기사 실기 준비 - 분류 모델 11개 비교 (0) | 2021.06.16 |
| LinearRegression의 fit_intercept 파라미터 알아보기 (0) | 2021.05.31 |
| ValueError: Setting a random_state has no effect since shuffle is False. You should leave random_state to its default (None), or set shuffle=True. (0) | 2021.04.28 |
댓글