REFACING: RECONSTRUCTING ANONYMIZED FACIAL FEATURES USING GANS

[논문리뷰]

---

논문 원본 : https://arxiv.org/pdf/1810.06455.pdf

리뷰할 논문의 제목은 REFACING: RECONSTRUCTING ANONYMIZED FACIAL FEATURES USING GANS이다.

최근 GAN을 이용한 프로젝트의 선행 논문으로 참고하고자 논문 리뷰 하였다.

---

ABSTRACT

 

의료 이미지의 익명화는 환자의 프라이버시를 보호하기 위해 필수적이며, 따라서 데이터를 공유하기 위해서는 필수적인 단계이다. 그러나 딥러닝의 발전은 익명성을 보장하기 위해 적용해야 할 익명화에 대한 기준을 높일 수 있다. 이러한 가능성을 테스트하기 위해 본 논문에서는 CycleGAN image to image translation을 통해 부분적으로 복구할 수 있음을 보여주고 있다. 

---

Introduction

 

프라이버시를 위한 익명화는 특히 Head Volume이 포함되는 이미지에 중요하다. 따라서 MRI Volume에서 얼굴 특징을 제거한 후 커뮤니티와 공유하곤 한다.

 

현재 사용되는 익명화 기법

1. FreeSurfer을 이용한 얼굴 전체 특징을 제거하는 방식

2. Blurring 처리를 통해 얼굴 전체를 흐릿하게 하는 방식

 

두 가지가 존재한다. 본 논문에서는 두 가지 모두 복원시킴으로써 성능 비교를 하였다.

최근 MRI to CT, MRI to PET, T2-weighted to T1-weighted 등에 자주 사용되는 GAN(Generative Adversarial Networks)을 이용하여 익명화된 T1-weighted imges를 복원하였다.

 

사용된 데이터셋 : 582명의 T1 MRI images

---

Methods

1. Anonymization

앞서 설명했던 두 가지 익명화 기법을 사용하였으며 얼굴 전체 특징을 제거하는 기법의 경우 FreeSurfer에서 제공하는 mri_deface tools과 얼굴 표면을 흐리게 바꾸는 Mask face software를 사용하였다. 

2. GAN model

본 논문에서는 CycleGAN을 사용하였다. CycleGAN은 두 개의 Generators와 Discriminators를 사용하여 두 개의 도메인 A와 B 사이의 매핑을 동시에 학습하는 GAN 모델이다.

 

CycleGAN의 특징으로 unpaired 한 이미지를 사용하기 때문에 다른 도메인으로 변경된 이미지가 가능한 원본에 근접하게 하는 cycle consistency를 사용한다. 예를 들어 Hello를 불어로 바꾸면 Bonjour이고, 이를 다시 영어로 바꾸면 Hello인 것처럼 말이다.

 

논문에서 Keras API를 기반으로 구현한 CycleGAN 같은 경우는 익명화된 도메인과 오리지널 도메인 사이에 이미지를 변환하게 훈련되고, Generators의 경우 24개의 convolutional layers를 가지고, Discriminators는 5개의 convolutional layers를 가지고 있다고 말한다. 

 

3. Training

훈련에 사용된 모든 데이터는 254x254 pixel을 갖는 이미지이고, 각각의 데이터를 21개의 슬라이스로 쪼개어서 데이터의 수를 늘렸다. 

 

First case

- subjects scanned at Guy’s Hospital

- training : test = 6300 images (300 subjects) : 462 (22 subjects)

 

Second case

- subjects scanned at all three locations

- training : test = 10500 images (500 subjects) : 1701 (81 subjects)

 

4. Evaluation 

결과에 대한 평가는 원본 영상과 재구성된 이미지 간의 correlation coefficients와 structural similarity indices (SSIMs) 지표를 통해 비교하였다.

 

correlation coefficients

• 두 이미지 간 상관관계의 정도를 나타내는 수치

structural similarity indices (SSIMs) 

• 구조적 유사 지수, 두 개의 이미지 x와 y를 비교하는 상황에서 이미지의 구성(휘도, 대조, 구조)에 대해 유사도를 측정하는 방법 
• SSIM의 최종 결과는 0 ~ 1 사이이며, 1에 가까울수록 두 이미지가 유사함을 의미한다. 입력값의 범위에 따라 -1 ~ 1 사이의 값을 가질 수도 있다.
• Luminance(휘도) : 빛의 밝기를 나타내는 양, SSIM에서 계산할 때, 이미지의 픽셀 값을 이용한다

• Contrast(대조) : 이미지 내에서 빛의 밝기가 바뀌는 정도를 나타내는 양

• Structure(구조) : 픽셀 값의 구조적인  차이점을 나타냄

SSIM의 정의

논문에서는 얼굴 부분에만 관심이 있기 때문에 이미지의 평가를 얼굴 전반부로 분석을 제한해서 평가하였다.

---

Result

 

위 사진은 Face-blurred image에 대한 학습 결과이다. 좌측 사진의 경우 first case에 대한 결과, 우측의 경우 second case에 대한 결과이다. 

위 사진은 Face-removed image에 대한 학습 결과이다. 좌측 사진의 경우 first case에 대한 결과, 우측의 경우 second case에 대한 결과이다. 

 

예상한 대로 Face-blurred image가 Face-removed image에 비해 더 좋은 성능의 결과를 보여준다.

좌측 두 개의 사진은 First case에 대한 성능 결과이고 우측 두개의 사진은 Second case에 대한 결과이다.

전체적으로 비교해 보았을 때, 학습 데이터가 더 많은 Second case에서 평균적으로 더 높은 성능의 결과를 확인할 수 있다.

---

이번 저널 리뷰를 통해 프로젝트에 대한 방향성이 어느 정도 잡혔고 성능 평가에 대한 부분이 가장 궁금했는데 궁금증이 해결되었습니다.

 

자세한 프로젝트 결과는 추후에 업로드하겠습니다.