미적분
+ 정보과학
심화
이공
편미분과 최적화
경사하강법
탐구 방법
[경사하강법 시각화 시뮬레이션] 파이썬으로 2차 함수 및 로젠브록 함수에 대해 학습률을 변화시키며 경사하강법을 적용하고, 수렴 경로를 3D 등고선 위에 시각화하여 최적 학습률을 탐색
확장 연결
학습률(learning rate)에 따른 수렴 속도 차이를 미분의 관점에서 해석하고, 과적합 방지를 위한 정규화 항의 수학적 역할을 탐구
추천 탐구 주제
역전파 알고리즘의 미분 연쇄 법칙 적용
SGD, Adam 등 최적화 알고리즘 비교
볼록 최적화와 라그랑주 승수법