[카테고리:] AI & Technology

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 앞의 lecture에서 설명한 Autoregressive model, Latent Variable Model, Normalizing Flow Model들 전부 모델의 Likelihood를 계산해서 이를 최대화 하면서 학습을 진행했다. 하지만 과연 높은 Likelihood가 정말 높은 sample quality를 보장하는가? 아니다. 한가지 예시를 생각해보자. \( p_{data} \)가 있고 다른 \( p_{\theta}…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 이전 lecture에서 normalizing flow models가 어떤 건지, 모델을 만들때 어떤 조건들이 필요한지 알아봤었다. 조건에는 먼저, latent variable z를 data x로 변환시키기위한 함수 f가 invertible해야한다는 것, f의 jacobian계산이 용이해지도록 \( x_i \) 가 \( z_{<i} \)에 의해서만 영향을 받아야된다는 것이 있었다.…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 이전의 latent variable model은 이미지의 특징을 담은 z를 만들어 사용해서 p(x|z)를 통해 확률분포를 만들었고 p(x|z)가 간단한 가우시안 분포여도 p(x)는 복잡한 분포를 표현할수 있었다. 하지만 여기서 p(x)를 계산하는것이 모든 z에 대해 계산을 해야해서 intractable해지고 likelihood를 구하기 어려웠다. 이러한 p(x)를 tractable하게 만들고자…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지난 lecture에서 마지막 내용은 \( q_\phi (z) \)를 \( p_\theta (x|z) \)에 근사시키면 된다는 이야기였고 이제 이걸 어떻게 근사시킬까 하는 내용이 나온다. 이를 위해 \( log p_\theta (x) \)를 지난 lecture에서 나온 ELBO와 KL divergence식을 통해 표현하는 과정을 한번 더…

Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 이전의 Autogressive Model 같은 경우에는 likelihood 계산도 직관적이라 쉽고 학습하기도 쉽지만 sequential하게 생성하기 때문에 오래걸리기도 하고 생성하려고 하는 데이터의 특징을 전혀 학습할 수 없다는 단점이 있다. (단순히 확률대로 계속 sampling되는것일 뿐) 하지만 실제로 데이터들에는 특징이 존재한다. 얼굴이라고 하면 성별, 눈…