开源 | 怎么让你的照片带上艺术大师风格?李飞飞团队开源快速神经网络风格迁移代码

选自 GitHub

机器之心编译

参与：吴攀

这是来自 Justin Johnson、Alexandre Alahi 和李飞飞的论文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》的代码，该论文已被 ECCV 2016 接收。本论文和文中提到的其它论文可点击文末「阅读原文」下载。

该论文基于 Leon A. Gatys、Alexander S. Ecker 和 Matthias Bethge 的论文《A Neural Algorithm of Artistic Style》，即训练将艺术风格应用于图像的前馈网络。在训练之后，我们的前馈网络能以比 Gatys 等人提出的基于优化的方法（optimization-based method）快数百倍的速度为图像改变风格。

这个 repository 还包含一个实例归一化（instance normalization）的实现，其在 Dmitry Ulyanov、Andrea Vedaldi 和 Victor Lempitsky 的论文《Instance Normalization: The Missing Ingredient for Fast Stylization》中得到了描述。这种简单的技巧能极大地提升前馈风格迁移模型（feedforward style transfer models）的质量。

项目地址：https://github.com/jcjohnson/fast-neural-style

在一个 Pascal Titan X 上只用 50 毫秒就能实现这张分辨率为 1200x630 的斯坦福校园照片的风格迁移：

在这个 repository 中，我们提供了：

• 我们的论文中所使用的风格迁移模型

• 额外的使用了实例归一化的模型

• 用于在新图像上运行模型的代码

• 在一个网络摄像机上实时运行模型的演示

• 一种 Gatys 等人描述的基于优化的风格迁移方法的实现

如果你觉得这些代码有用，请加上引用信息：

@inproceedings{Johnson2016Perceptual,

title={Perceptual losses for real-time style transfer and super-resolution},

author={Johnson, Justin and Alahi, Alexandre and Fei-Fei, Li},

booktitle={European Conference on Computer Vision},

year={2016}

}

设置

所有的代码都在 Torch 中实现。

首先安装 Torch，然后更新或安装以下软件包：

luarocks install torch

luarocks install nn

luarocks install image

luarocks install lua-cjson

GPU 加速（可选）

如果你有一个 NVIDIA GPU，你可以通过 CUDA 加速所有的运算。

首先安装 CUDA，然后更新或安装以下软件包：

luarocks install cutorch

luarocks install cunn

cuDNN（可选）

当使用 CUDA 时，你可以使用 cuDNN 加速卷积运算。

首先下载 cuDNN（https://developer.nvidia.com/cudnn），然后将该库复制到 /usr/local/cuda/lib64/。然后安装用于 cuDNN 的捆绑组件：

luarocks install cudnn

预训练模型

通过运行以下脚本可下载所有的预训练的风格迁移模型：

bash models/download_style_transfer_models.sh

这会将 10 个模型文件（约 200 MB）下载到文件夹 models/ 中。

论文中的模型

我们在我们的论文中使用的风格迁移模型可以在文件夹 models/eccv16 中找到。下面是一些我们使用这些模型给大小为 512 的芝加哥楼群照片施加风格的例子：

带有实例归一化的模型

正如 Dmitry Ulyanov、Andrea Vedaldi 和 Victor Lempitsky 的论文《Instance Normalization: The Missing Ingredient for Fast Stylization》中讨论的那样，使用实例归一化替代批归一化（batch normalization）能够显著提升前馈的风格迁移模型的质量。

我们使用实例归一化训练了多个模型；在下载了预训练模型之后，你可以在 models/instance_norm 文件夹中找到它们。

这些模型使用了我们在论文中所使用的一样的架构，除了其每一层的过滤器（filter）只有一半，而且使用的是实例归一化而非批归一化。使用更窄的层可以让模型更小和更快，且不会牺牲模型的质量。

下面是这些模型的一些输出案例，图像大小为 1024：

在新图像上运行

脚本 fast_neural_style.lua 让你可以使用一个预训练的模型给新的图像施加风格：

th fast_neural_style.lua \

-model models/eccv16/starry_night.t7 \

-input_image images/content/chicago.jpg \

-output_image out.png

你可以在一个完全不同的图像目录上运行同样的模型，如下：

-input_dir images/content/ \

-output_dir out/

你可以使用 -image_size 标签控制输出图像的大小。该脚本是默认运行在 CPU 上；要在 GPU 上运行，应增加 -gpu 标签特定所运行的 GPU。

该脚本的完整选项介绍参见：https://github.com/jcjohnson/fast-neural-style/blob/master/doc/flags.md#fast_neural_stylelua

网络摄像头演示

您可以使用脚本 webcam_demo.lua从网络摄像头视频流中实时运行一个或多个模型。要运行这个演示，你需要使用 qlua 而不是 th：

qlua webcam_demo.lua -models models/instance_norm/candy.t7 -gpu 0

通过给 -models 标签添加逗号分隔的列表，你可以同时运行多个模型：

qlua webcam_demo.lua \

-models models/instance_norm/candy.t7,models/instance_norm/udnie.t7 \

-gpu 0

使用一个 Pascal Titan X，你可以轻松地实时地在 640x480 大小下运行 4 个模型：

该网络摄像头的演示依赖于几个额外的 Lua 包：

clementfarabet/lua---camera：https://github.com/clementfarabet/lua---camera

torch/qtlua：https://github.com/torch/qtlua

要安装这些包，运行：

luarocks install camera

luarocks install qtlua

关于该脚本的完整描述参见：https://github.com/jcjohnson/fast-neural-style/blob/master/doc/flags.md#webcam_demolua

训练新模型

你可以在这里找到训练新模型的说明：https://github.com/jcjohnson/fast-neural-style/blob/master/doc/training.md

基于优化的风格迁移

脚本 slow_neural_style.lua 类似于原来的 neural-style（https://github.com/jcjohnson/neural-style），并且使用了 Gatys 等人描述的基于优化的风格迁移方法。

该脚本使用了和前馈训练脚本一样的计算损失的代码，允许前馈的风格迁移网络和基于优化的风格迁移之间进行公平的比较。

和原来的 neural-style 相比，这个脚本有如下的改进：

移除了对 protobuf 和 loadcaffe 的依赖

支持远远更多 CNN 架构，包括 ResNets

该脚本的完整选项集合参见：https://github.com/jcjohnson/fast-neural-style/blob/master/doc/flags.md#slow_neural_stylelua

证书

个人或研究可免费使用；商业用途请与我联系。

论文：实时风格迁移和超分辨率的感知损失（Perceptual Losses for Real-Time Style Transfer and Super-Resolution）

摘要：我们思考了图像转换问题，即一个输入图像被转换成一个输出图像的问题。近来针对这类问题的方法通常是使用输出图像和 ground-truth 图像之间的 \emph{per-pixel} 损失来训练前馈卷积神经网络（feed-forward convolutional neural networks）。另一些研究已经表明高质量的图像可以基于从预训练的网络中提取的高层次特征，定义和优化 \emph{perceptual} 损失函数来生成。我们将这两种方法的优势结合了起来，提出使用感知损失函数（perceptual loss functions）来训练用于图像转换任务的前馈网络。我们给出了在图像风格迁移上的结果，其中我们训练出了一种前馈网络来实时解决由 Gatys 等人提出的优化问题。与基于优化的方法（optimization-based method）相比，我们的网络在给出类似定性结果的同时速度能快上三个数量级。我们还实验了单图像超分辨率（single-image super-resolution），其中用感知损失替代每像素损失（per-pixel loss）的做法得到了视觉上让人满意的结果。

?本文由机器之心编译，转载请联系本公众号获得授权。

?------------------------------------------------

加入机器之心（全职记者/实习生）：hr@almosthuman.cn

投稿或寻求报道：editor@almosthuman.cn

广告&商务合作：bd@almosthuman.cn