Sketch2Idol: 나만의 여자 아이돌 만들기

Introduction

본 프로젝트는 GAN를 이용해 손으로 그린 스케치를 아이돌 이미지로 변환하는 Image To Image Translation을 다룹니다.

Dataset

Data	데이터 수	Train 데이터 수	Val 데이터 수	세부사항
1	2449	2429	20	web crawling, 여자 아이돌
2	1669	1669	0	aihub, 일반인

학습에는 크롤링으로 모은 2449장의 여자 아이돌 이미지와 AIHub 한국인 감정인식을 위한 복합 영상 데이터셋의 1669장의 이미지를 활용했습니다.

각 이미지는 resize, super resolution를 거쳐 (512, 512) 해상도로 변환한 뒤, OpenCV, Learning to Simplify 코드를 이용해 스케치로 변환됩니다. 이후 이미지-스케치 pair는 google API를 이용해 눈, 입의 좌표를 정규화하는 face alignment를 적용해 저장됩니다.

데이터 중 정면에서 고개가 10도 이상 돌아간 사진, 마이크, 손 등으로 얼굴 일부를 가린 사진, 얼굴에 그림자가 있거나 조명이 너무 강한 사진은 제거했습니다.

Model

전체적인 파이프라인은 ¹⁾AutoEncoder를 이용해 512*512 크기의 스케치를 512차원의 feature vector로 encoding한 뒤 ²⁾데이터셋의 스케치들의 feature vector와 가중 평균을 낸 뒤 decoding해서 실제 사진과 유사한 스케치를 얻고, ³⁾이렇게 얻은 스케치를 Pix2Pix를 이용해 실제 사진으로 변환하는 구조로 이루어져있습니다.

Folder Structure

Sketch2Idol/
│
├── CycleGAN
├── UGATIT-pytorch
├── frontend
├── backend - Pix2Pix
├── backendU - U-GAT-IT
│
├── data/ - Data Preprocessing
│   ├── airflow
│   ├── dockers
│   ├── image_files
│   └── upload_server
│
├── data_loader/
│   └── dataset.py
│
├── manifold/ - KNN, weighted average
│   └── manifold.py
│
├── module_fold/ - AutoEncoder, Pix2Pix
│   ├── Block.py
│   ├── CEModule.py
│   ├── ISModule.py
│   └── utils.py
│
├── train_stage_1.py
├── train_stage_2.py
└── inference.py

Requirements

pillow
numpy
google-api-python-client
oauth2client
pyGenericPath
piexif
opencv-python
basicsr
facexlib
gfpgan
gunicorn 
uvicorn
apache-airflow
tqdm
pydantic
pytorch
torchvision
fastapi

Authors

박진한	유형진	이양재	임채영	최태종	한재현
Github	Github	Github	Github	Github	Github

reference

• DeepFaceDrawing: Deep Generation of Face Images from Sketches
• Learning to simplify: fully convolutional networks for rough sketch cleanup
• Nonlinear Dimensionality Reduction by Locally Linear Embedding
• Image-to-Image Translation with Conditional Adversarial Networks
• Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
• U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation