Skip to content

Latest commit

 

History

History
113 lines (75 loc) · 7.88 KB

lap_style.md

File metadata and controls

113 lines (75 loc) · 7.88 KB
Raw

LapStyle

LapStyle--拉普拉斯金字塔风格化网络，是一种能够生成高质量风格化图的快速前馈风格化网络，能渐进地生成复杂的纹理迁移效果，同时能够在512分辨率下达到100fps的速度。可实现多种不同艺术风格的快速迁移，在艺术图像生成、滤镜等领域有广泛的应用。

本文档提供CVPR2021论文"Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer"的官方代码。

1. 论文介绍

艺术风格迁移的目的是将一个实例图像的艺术风格迁移到一个内容图像。目前，基于优化的方法已经取得了很好的合成质量，但昂贵的时间成本限制了其实际应用。

同时，前馈方法仍然不能合成复杂风格，特别是存在全局和局部模式时。受绘制草图和修改细节这一常见绘画过程的启发，论文 提出了一种新的前馈方法拉普拉斯金字塔网络（LapStyle）。

LapStyle首先通过绘图网络（Drafting Network）传输低分辨率的全局风格模式。然后通过修正网络（Revision Network）对局部细节进行高分辨率的修正，它根据拉普拉斯滤波提取的图像纹理和草图产生图像残差。通过叠加具有多个拉普拉斯金字塔级别的修订网络，可以很容易地生成更高分辨率的细节。最终的样式化图像是通过聚合所有金字塔级别的输出得到的。论文还引入了一个补丁鉴别器，以更好地对抗的学习局部风格。实验表明，该方法能实时合成高质量的风格化图像，并能正确生成整体风格模式。

lapstyle_overview

2. 快速体验

PaddleGAN为大家提供了四种不同艺术风格的预训练模型，风格预览如下：

原图 StarryNew Stars Ocean Circuit

只需运行下面的代码即可迁移至指定风格：

python applications/tools/lapstyle.py --content_img ${PATH_OF_CONTENT_IMG}

参数

  • --content_img (str): 输入的内容图像路径。
  • --output_path (str): 输出的图像路径，默认为output_dir。
  • --weight_path (str): 模型权重路径，设置None时会自行下载预训练模型，默认为None。
  • --style (str): 生成图像风格，当weight_path为None时，可以在starrynew, circuit, ocean 和 stars中选择，默认为starrynew。
  • --style_image_path (str): 输入的风格图像路径，当weight_path不为None时需要输入，默认为None。

3. 模型训练

配置文件参数详情：Config文件使用说明

3.1 数据准备

为了训练LapStyle，我们使用COCO数据集作为内容图像数据集。您可以从starrynew，ocean，stars或circuit中选择一张风格图片，也可以任意选择您喜欢的图片作为风格图片。在开始训练与测试之前，记得修改配置文件的数据路径。

3.2 训练

示例以COCO数据为例。如果您想使用自己的数据集，可以在配置文件中修改数据集为您自己的数据集。

注意，LapStyle模型训练暂时不支持Windows系统。

(1) 首先在128*128像素下训练LapStyle的绘图网络（Drafting Network）:

python -u tools/main.py --config-file configs/lapstyle_draft.yaml

(2) 然后，在256*256像素下训练LapStyle的修正网络（Revision Network）:

python -u tools/main.py --config-file configs/lapstyle_rev_first.yaml --load ${PATH_OF_LAST_STAGE_WEIGHT}

(3) 最后，在512*512像素下再次训练LapStyle的修正网络（Revision Network）:

python -u tools/main.py --config-file configs/lapstyle_rev_second.yaml --load ${PATH_OF_LAST_STAGE_WEIGHT}

3.3 测试

测试时需要将配置文件中的validate/save_img参数改成True以保存输出图像。 测试训练好的模型，您可以直接测试 "lapstyle_rev_second"，因为它包含了之前步骤里的训练权重：

python tools/main.py --config-file configs/lapstyle_rev_second.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

4. 结果展示

Style Stylized Results
starrynew chicago_stylized_starrynew
ocean chicago_ocean_512
stars chicago_stylized_stars_512
circuit chicago_stylized_circuit

5. 模型下载

PaddleGAN中提供四个风格的预训练模型下载：

模型 风格 下载地址
lapstyle_circuit circuit lapstyle_circuit
lapstyle_ocean ocean lapstyle_ocean
lapstyle_starrynew starrynew lapstyle_starrynew
lapstyle_stars stars lapstyle_stars

References

@article{lin2021drafting,
  title={Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer},
  author={Lin, Tianwei and Ma, Zhuoqi and Li, Fu and He, Dongliang and Li, Xin and Ding, Errui and Wang, Nannan and Li, Jie and Gao, Xinbo},
  booktitle={Computer Vision and Pattern Recognition (CVPR)},
  year={2021}
}