[카테고리:] Generative AI

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지난 글에서 Score Based Model을 학습시키고, 학습시킨 모델로 생성하는 법까지 다뤘다. 하지만 그대로 적용하면 제대로 생성이 안되고 해결해야할 문제 3가지를 남겨두었다. 이번 lecture에서는 그 문제를 어떻게 해결하여 훌륭한 생성모델로 만들 수 있었는지 다룰 예정이다. 해결해야할 문제는 아래의 3가지였다. 사실 위 3가지…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지금까지 다룬 Autoregressive model, Normalizing Flow model, GAN, Energy based model등은 다양한 방식으로 데이터의 확률분포를 표현하고 그러한 확률분포가 실제 데이터의 분포와 유사해지도록 학습된다. 이번 lecture에서 다룰 score based model은 데이터의 확률분포를 직접 배우는것이 아니라 기울기를 나타내는 score (\( \nabla _x log…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 이전 포스팅에서 energy based model을 학습시키기 위한 방법인 Contrastive Divergence를 설명하고, 학습을 위해서 sampling을 해야하기 때문에 sampling을 하는 방법까지 소개했다. 아래에 내용이 정리되어 있다. 위 슬라이드에서 나와있듯이 dimensionality가 커지면 sampling의 convergence 속도도 매우 느려지고, sampling하는데 걸리는 시간도 큰데 학습하는 매 iteration마다…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지금까지 다룬 autoregressive model, normalizing flow model, variational autoencoder 등의 모델들은 다 가정하고 있는 조건들이 있기 때문에 모델 architecture를 구성하는데 제약이 있었다. GAN은 훨씬 flexible하게 모델을 만들 수 있지만 이전에 얘기했듯이 학습이 불안정하고 mode collapse 등의 이슈들이 있었다. 이번에 다룰 energy…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지난 포스팅 에서는 높은 likelihood 값이 항상 좋은 sample quality를 보장하지 않으며 GAN이 likelihood-free 방식의 학습을 제공한다는 내용을 설명했다. 그리고 likelihood 대신 생성된 sample과 실제 데이터의 distribution을 비교하기 위해 two-sample test를 진행하고 이를 위해 discriminator를 학습시킨다는 내용을 설명했다. 이때 두…