개요
해당 포스팅 시리즈는 “Unerstanding Deep Learning” 책을 학습하는 과정을 기록하는 스터디 노트이다.
이번에는 17장, Variational autoencoders에 대해 다룬다.
1. Probability Distribution
17장에서는 VAE를 다루며 많은 종류의 probability distribution이 등장하였다.
, 등의 distribution function이 등장하여 이들을 해석하기에 쉽지 않았다.
다른 장에서도 이러한 distributon은 간간히 등장하였지만, prior, posterior, likelihood 같은 용어들이 섞이니 이해하는 데 좀 더 힘들었다.
2. ELBO
VAE에서는 Gaussian Distribution에서 sampling을 하는 특성 상 training을 진행할 때에 likelihood 혹은 loss를 계산하지 못하는 문제가 발생한다.
그렇기에 실제로는 ELBO라는 새로운 likelihood 함수를 정의하여 학습을 진행하였다.
여기서 Jensen’s inequality를 적용하여 로 ELBO 함수를 정의하고 tight 하게 만드는 과정이 신기하였다.
또한 ELBO를 정의하는 과정에서도 를 variational approximation하는 부분도 신기했다.
Reference
[1] Prince, S. J. D. (2023). Understanding Deep Learning. The MIT Press. Retrieved from http://udlbook.com