개요
해당 포스팅 시리즈는 “Unerstanding Deep Learning” 책을 학습하는 과정을 기록하는 스터디 노트이다.
이번에는 18장, Diffusion models에 대해 다룬다.
Marginalization
Problem 18.7에서 아래 식을
아래 식으로 바꾸는데 이게 어떻게 되는 건지 이해가 가지 않았다.
이걸 이해하려면 Marginalization을 먼저 이해해야 한다.
우선 가장 간단한 것부터 보자.
위와 같이 joint distribution에서 다른 variable로 적분해서 distribution을 얻을 수 있다.
이제 다시 원래 식으로 돌아가면
위와 같이 적분을 분리시킬 수 있다. 에는 가 없기 때문에 따로 빼준다.
그리고 안쪽의 적분하는 부분에서 marginalization을 적용할 수 있다. 만 빼고 다 적분을 하기 때문에 만 남겨둘 수 있는 것이다.
그 결과 위와 같은 식을 얻는데 expectation의 정의에 따라 최종적으로 아래 식이 된다.
느낀 점
이번 챕터는 다른 챕터와 다르게 개념은 간단한데 수학 식 유도하고 이해하는게 많이 어려웠다. predetermined encoder는 input data x에서 latent variable z로 바꿀 때 multivariate normal distribuion으로부터의 noise를 추가하기만 하고 decoder가 그 noise를 역추적 하도록 train한다는 개념 자체는 정말 확실히 간단하다. 그런데 확률론적으로 loss fucntion을 어떻게 정하고 어떻게 step을 건너뛰고 approximate하는 지에 대한 증명과 식 전개가 난해했다.
Reference
[1] Prince, S. J. D. (2023). Understanding Deep Learning. The MIT Press. Retrieved from http://udlbook.com