개요
해당 포스팅 시리즈는 “Unerstanding Deep Learning” 책을 학습하는 과정을 기록하는 스터디 노트이다.
이번에는 6장, Fitting models에 대해 다룬다.
1. Loss function의 시각화
위 Interactive Figures의 6.4 부분과 같이, 한 모델의 Loss function을 한 평면 상의 그림으로 나타내었던 것이 개인적으로 인상 깊었다.
Loss function은 원래 여러 파라미터들과 MSE등 여러가지 다양한 계산을 통하여 구해야 하는 것인데, 이런 식으로 2차원 평면과 명도로 나타내니 Loss function을 보다 한눈에 이해할 수 있었다.
또한 6장의 주제인 model fitting을 설명할 때에도 Loss function을 시각화 하여 Loss가 감소하는 training을 잘 이해해 볼 수 있었다.
2. Batch & Epoch
이전에는 딥러닝 모델을 작성할 때에 Batch와 Epoch이라는 용어를 완전히 이해하지 못하고 대강 사용도만 파악한 채로 마냥 사용하기만 하였다.
하지만 여기 Batches and epochs 부분을 읽어보니 이 용어들에 대해서 알 수 있게 되었다.
Batch는 Stochastic Gradient Descent를 진행하기 위해 학습 데이터셋을 분할한 부분 집합이고, Epoch은 이 Batch들이 학습 데이터셋을 한 번 다 채워 완주하는 횟수라고 이해할 수 있었다.
그리하여 경험적으로만 알던 용어들을 실제로 무슨 의미를 나타내는 지 알게 되었다.
3. Optimizer의 발전
6장에서는 여러 종류의 optimizer들이 소개 되었다.
초반의 Gradient Descent 부분을 읽을 때에는 당연한 fitting 과정이라 생각했는데, 이후의 SGD, Adam 등의 optimizer들을 보고 나니 어떠한 문제들이 존재 했었고 어떻게 해결 되었는지의 발전의 역사를 알 수 있었다.
이러한 발전을 보며 현재 모델에서 나아질 수 있는 점을 찾아 더욱 진화시키는 연구자들이 정말 대단하며 본받아야 한다고 생각했다.
Reference
[1] Prince, S. J. D. (2023). Understanding Deep Learning. The MIT Press. Retrieved from http://udlbook.com