StarGAN: Unified Generative Adversarial Networks for Multi Domain Image-to-Image Translation

[논문리뷰]

---

---

논문에서 사용되는 단어 정의

1. attribute : 이미지의 특징 (머리색, 성별 등)
2. attribute value : 각각의 attribute가 가질 수 있는 값을 의미. 예를 들어 머리색에 대한 value는 금발, 갈색 등
3. domain : 같은 attribute value를 가지는 데이터 집합을 의미. 검은색 머리, 금발 머리, 남성, 여성 등이 도메인의 예시

<다중 도메인에서의 효율적인 image-to-image translation 네트워크인 StarGAN을 제안>

 

기존의 GAN 모델들은 생성하고 싶은 도메인의 개수만큼의 모델이 필요하다는 단점이 존재.

이 단점을 보완하고자 StarGAN을 제시. StarGAN은 한 개의 Generator(생성자)와 한 개의 Discriminator(구별자)로 수행함.

 

Generator(생성자) : 구별자를 속이기 위한 가짜 이미지를 생성

Discriminator(구별자) : 생성자가 생성해낸 이미지가 진짜인지 가짜인기 구별하는 역할

 

논문에서 제안하는 좋은 I2I 모델이 가져야 할 특성

1. 다양한 이미지를 생성할 것
2. 다양한 도메인으로의 확장이 가능할 것

StarGAN v1에서는 원본 이미지에 따라 각 도메인마다 비슷비슷한 결과를 생성하는 문제점

→ StarGAN v2는 그러한 문제점을 보완하고 생성하는 이미지의 다양성과, 여러 도메인에 대한 확장성을 갖춘 모델

 

(a) Training the discriminator

Discriminator의 구조에 대해서 알아보면, D는 이미지가 Real인지 Fake인지 구분하는 역할을 함.

일반적인 GAN의 D의 역할은 여기까지지만 StarGAN의 D는 ‘Domain classification’이라는 한 가지 역할을 추가함.

인풋 이미지가 어떤 도메인을 가지는지 분류하게 되는 것이다. (ex. 남성 이미지를 남성으로 분류하는지, 금발 이미지를 금발로 분류하는지)

 

(b) Original-to-target domian

G는 이미지와 타겟 도메인을 인풋으로 받고 G를 통해 가짜 이미지를 생성해냄

→ (c) Target-to-original domain을 통해 원래 이미지의 도메인을 나타내는 벡터와 함께 다시 G로 들어가서 Reconstructed image를 원래의 이미지와 비교해 그 차이가 작아지도록 학습하는 구조

→ (d) Fooling the discriminator에서는 (b)에서 생성한 가짜 이미지를 인풋으로 받아, 진짜인지 가짜인지 구분. (a)와 마찬가지로 classification을 진행한다. 두 결과 모두 G에 피드백 되어 더 진짜 같고, 해당 도메인에 적합한 이미지를 만들 수 있게 함.

 

[StarGAN Loss Function]

StarGAN : Adversarial loss + Domain classification loss + Reconstruction loss

Adversarial loss

• Generator로 하여금 진짜처럼 보일 정도로 사실적인 가짜 이미지를 생성하도록 학습하는 알고리즘
• $ G(x,c) $에서 c는 특정 도메인을 의미하고, 특정 도메인으로 해당 이미지를 바꾸도록 만듦. → Real이미지로 분류될 수 있게끔 학습을 진행
• $ D$src $ 같은 경우는 가짜이미지로 분류되도록 학습을 진행한다.
• $ Ldiscriminator $ 같은 경우에 Adversarial loss에 마이너스를 붙여서 minimize를 함으로써(adversarial loss를 maximize 하겠다)
• $ Lgenarator $ 같은 경우는 Adversarial loss를 그대로 사용해서 loss값을 minimize하는 방향으로 학습을 진행

Domain classification loss

• cGAN의 특징처럼 c(도메인 정보) 특정 도메인으로 바꾼다음에 바뀐 이미지가 타겟 도메인으로 분류될 수 있는 형태로 학습을 진행
• Discriminator에만 들어가있는 것을 확인 할 수 있다.

Reconstruction loss

• Generator가 만든 이미지가 tranlation을 진행할 때 원본이미지의 컨텐츠가 유지될 수 있도록 → 즉 도메인 정보만 바뀔 수 있도록 Cycle loss를 이용하는 형태

• Mask Vector를 사용해서 어떤 도메인을 쓸 것인지에 대한 mask를 진행하는 것

(사진의 mask vector : [블랙헤어, 금발, 갈색헤어, 성별, 나이])

 

StarGAN v2와의 차이점

• mapping network와 style encoder 모듈을 추가하여 다양한 도메인에 대한 style transfer가 가능하도록 발전시켰다.