[카테고리:] Generative AI

  • [Generative Artificial Intelligence] Energy Based Models – 2

    Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 이전 포스팅에서 energy based model을 학습시키기 위한 방법인 Contrastive Divergence를 설명하고, 학습을 위해서 sampling을 해야하기 때문에 sampling을 하는 방법까지 소개했다. 아래에 내용이 정리되어 있다. 위 슬라이드에서 나와있듯이 dimensionality가 커지면 sampling의 convergence 속도도 매우 느려지고, sampling하는데 걸리는 시간도 큰데 학습하는 매 iteration마다…

  • [Generative Artificial Intelligence] Energy Based Models – 1

    Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지금까지 다룬 autoregressive model, normalizing flow model, variational autoencoder 등의 모델들은 다 가정하고 있는 조건들이 있기 때문에 모델 architecture를 구성하는데 제약이 있었다. GAN은 훨씬 flexible하게 모델을 만들 수 있지만 이전에 얘기했듯이 학습이 불안정하고 mode collapse 등의 이슈들이 있었다. 이번에 다룰 energy…

  • [Generative Artificial Intelligence] Generative Adversarial Networks – 2

    Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 지난 포스팅 에서는 높은 likelihood 값이 항상 좋은 sample quality를 보장하지 않으며 GAN이 likelihood-free 방식의 학습을 제공한다는 내용을 설명했다. 그리고 likelihood 대신 생성된 sample과 실제 데이터의 distribution을 비교하기 위해 two-sample test를 진행하고 이를 위해 discriminator를 학습시킨다는 내용을 설명했다. 이때 두…

  • [Generative Artificial Intelligence] Generative Adversarial Networks – 1

    Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 앞의 lecture에서 설명한 Autoregressive model, Latent Variable Model, Normalizing Flow Model들 전부 모델의 Likelihood를 계산해서 이를 최대화 하면서 학습을 진행했다. 하지만 과연 높은 Likelihood가 정말 높은 sample quality를 보장하는가? 아니다. 한가지 예시를 생각해보자. \( p_{data} \)가 있고 다른 \( p_{\theta}…

  • [Generative Artificial Intelligence] Normalizing Flow Models – 2

    Stanford CS236 Deep Generative Models 수업의 자료를 기반으로 생성모델의 기본 개념들을 정리해보고자 한다. (참고 https://deepgenerativemodels.github.io/syllabus.html) 이전 lecture에서 normalizing flow models가 어떤 건지, 모델을 만들때 어떤 조건들이 필요한지 알아봤었다. 조건에는 먼저, latent variable z를 data x로 변환시키기위한 함수 f가 invertible해야한다는 것, f의 jacobian계산이 용이해지도록 \( x_i \) 가 \( z_{<i} \)에 의해서만 영향을 받아야된다는 것이 있었다.…