[카테고리:] Paper Review

Introduction  이번에 리뷰할 논문은 2022 CVPR에 나왔던 All-In-One Image Restoration for Unknown Corruption, 줄여서 AIRNet이다.   제목 그대로 다양한 이미지 손상에 대해서 네트워크 하나로 한번에 복원하는 것을 목적으로 한다.   대부분의 이미지 복원 분야에서는 네트워크 하나를 하나의 task로만 학습시켜서 사용한다. 예를들어 denoising 목적으로 네트워크를 학습시키면 그 네트워크는 학습한 noise만 잘 제거하고 다른 타입의 노이즈는 제거하지 못한다. 이…

Introduction 최근 이미지 노이즈 제거 (denoising) 분야에서는 대부분 Deep Learning을 사용한다. 하지만 Deep Learning을 사용하여 denoising을 학습할 때 문제점이 학습 데이터에 존재하는 노이즈 분포는 잘 제거하지만 학습 데이터에 없는 노이즈에 대해서는 잘 제거를 못한다는 것이다. 기존에 denoising을 학습할 때 clean image에 가우시안 노이즈를 더해서 노이즈 이미지를 만들어 학습에 사용을 많이 하는데 이렇게 학습한 네트워크는 ISP…

Image Restoration Architecture 관련 논문 DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks (2018 CVPR) – GAN 구조를 활용하여 Deblurring 학습 Restormer: Efficient Transformer for High-Resolution Image Restoration (2022 CVPR) – Unet 구조 및 Transformer 구조를 적절히 결합한 restoration architecture 제안 Simple Baselines for Image Restoration (NAFNet) (2022 ECCV) – 기본적인 Unet 구조에 여러 technique(GeLU,…

Introduction  이번 논문은 Transformer를 Image Restoration 분야에 성공적으로 적용시킨 논문이다.  Image Restoration 분야에서 Transformer를 쓰기 힘들었던 이유 중에 하나는 self-attention의 computation 양 때문이었다. 특히 attention이 이미지의 resolution의 제곱에 비례해서 computation이 증가하기 때문에 비교적 큰 resolution을 다루는 restoration 분야 특성상 transformer를 적용하기 더 어려웠다. 이 논문에서는 attention을 조금 변형시켜 spatial dimension에서 적용하지 않고 channel dimension에 적용함으로써…

간단하게 noise2noise와 noise2void 방식을 정리해보려고 한다.각각 논문 제목은 아래와 같다. “Noise2Noise: Learning Image Restoration without Clean Data” (2018 ICML)“Noise2Void – Learning Denoising from Single Noisy Images” (2019 CVPR)  기본적으로 딥러닝을 이용해 Denoising을 학습시킬 때는 아래와 같이 noisy image와 clean image를 이용한다. 이런 noisy와 clean 이미지의 pair를 얻는것이 쉽지 않기 때문에 이런 pair 데이터 없이도 네트워크를 training시키기…