ABSTRACT

Thangka is an art of decorative painting with religious themes. It emphasizes contrast in color, pays attention to rich colors, and pursues resplendent effects. These brilliant colors give people visual impact and spiritual shock. Its original mission is to serve religion, draw materials from scriptures, and become exquisite works of art through exquisite painting. The content, color, shape and many other aspects of Thangka also provide a variety of reference for today’s development of painting art, but it is profound and difficult to copy. Image style transfer refers to the generation of style transfer map with both content and artistic style features by using the given content map and style map. The deep learning technology based on neural network promotes the research of image style transfer. This paper analyzes the color features of Thangka with the help of the depth neural network method which is developing rapidly in the field of vision, and extracts the color features of Thangka, which provides a new method for the research of the overall style transfer of Thangka. Using this method to conduct experiment on image data, this method can realize all style transfer of Thangka efficiently, quickly and naturally.

Keywords:Thangka, Deep Neural Network, Style Transfer, Feature Extraction

基于深度神经网络的唐卡的色彩风格特征 提取

钱潇驰，米书里

中国人民大学附属中学，北京

收稿日期：2019年11月2日；录用日期：2019年11月19日；发布日期：2019年11月26日

摘 要

唐卡是一门以表现宗教题材为主的重彩装饰绘画艺术，其用色上强调对比，讲究色彩富丽，追求金碧辉煌的效果，这些灿烂的色彩给人以视觉的冲击和心灵的震撼。其原始使命服务于宗教，取材于经文，通过精美的绘制，成了一件件精致的艺术品。唐卡的内容、颜色、造型等诸多方面也都为当今的为绘画艺术的发展提供了多种借鉴意义，但是其博大精深难以复制。图像风格迁移指利用给定的内容图与风格图生成同时具有内容特征和艺术风格特征的风格迁移图，基于神经网络的深度学习技术推动了图像风格迁移的研究。本文借助当前在视觉领域中快速发展的深度神经网络方法，对唐卡的色彩特征进行分析，并且提取唐卡色彩的色彩特征，为唐卡的整体风格转移研究提供新的方法。利用该方法在图像数据上进行实验，该方法能够高效、快速并自然地实现唐卡的全部风格迁移。

关键词 :唐卡，深度神经网络，风格迁移，特征提取

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

唐卡是一种画在布幔或纸上的画像，其题材几乎包罗了西藏生活的各个方面，故而堪称“西藏的百科全书”。其具有精细的画工、艳丽的色彩、丰富的民族文化内涵。作为藏族传统美术的一个主要的组成部分，其在佛教传入藏区后的上千年的发展历史中，不断受到周边地区其他民族和国家艺术风格的影响，在造像比例和服饰，色彩的运用等方面都发生了一定的变化，色彩在唐卡中包含着多种文化元素，能够直接反映藏传佛教美术象征意义以及宗教文化，藏传佛教及僧众的世界观和价值观等，通过最为直接、本质的色彩语言传递着复杂的含义。对于唐卡色彩特征的研究能够找寻到藏族绘画中的集体意识，是对唐卡内在精神含义的探索(见图1)。尽管经过前人的努力研究已经对其造像、图解、构图等方面都已

图1. 色彩丰富的唐卡

经取得了很大的研究成果，然而由于其博大精深、整体艺术特征复杂，对唐卡色彩的象征意义认识及其风格艺术吸收利用仍然不够 [1] [2]。

随着唐卡绘画艺术的发展，画师们在绘制过程中形成了色彩运用等诸多方面经验和理论，对于优秀的艺术，尤其是绘画，人们通过在内容与风格中加入复杂的色彩运用来创造独特的视觉体验，并形成了特定历史时期、特定民族特色的绘画风格。本文中我们通过在其他基于视觉概念的关键领域取得重要成果的深度学习方法，来实现唐卡整体风格特征迁移，使人们能够充分吸收利用唐卡的艺术风格特征注入到特定作品中。唐卡的内容、颜色、造型等诸多方面也都为当今绘画艺术品提供丰富的创作素材和借鉴 [3]。

2. 深度神经网络

深度学习开始于Hinton和他的学生Salakhutdinov在《Science》发表的一篇文章 [4]，其说明多隐层人工神经网络具有优异的特征学习能力，其核心在于各层的特征学习不依赖于领域专家知识，而是通过通用学习过程从数据中学习得来，它把原始数据通过一些简单的非线性模型转变为更高层次的，更加抽象的表达，并且对数据有更本质的刻画。Gatys [5] 等实现了图像风格迁移的算法，其最终生成的风格迁移结果图应该同时具备内容特征与风格图像。图像风格迁移方法主要针对输入的整幅图像进行全局风格迁移，可以对整幅图像进行统一操作，用户操作简单方便，可以继承图形整体风格。

当前图像视觉任务处理中最为强大的深度神经网络是卷积神经网络。卷积神经网络由小型计算单元层构成，以前馈方式分层处理视觉信息。每层单元可以被理解为图像滤波器的集合，每个图像滤波器从输入图像中提取特定特征，因此，给定层的输出包括经过不同滤波器滤波过后的输入信息，也就是所谓的图像的特征。在图像视觉任务中，我们将图像视为二维数据，对于任意二维数据，可以将它们转换为矩阵。如果需要识别图像中的特定曲线，根据数字图像的原理，该位置的像素值必须具有如图2所示的规则。此时，当我们使用不同卷积核与原始图像做卷积运算，卷积神经网络提取的图像特征也不同。当使用具有与图像特征相似的卷积核时，得到的特征与原始图像接近，如卷积结果-2，而通过卷积核-1得到的特征则与原始图像具有相反的数组特征。卷积神经网络在训练每层神经网络的过程可以被视为一系列卷积核的优化。即通过提供的样本数据，优化卷积核，使其提取期望的特征值。

图2. 卷积核运算示例

因此当卷积核在图像上训练时，它们生成了一种对与图像的表达，能够依次对图像内的信息不断地识别。随着网络层次的加深，这个输入图片被不断转化为我们想要关注的图像色彩的特征内容，而不仅仅是像素值所表现出来的色彩内容，如图3所示

图3. 图像特征深层神经网络迁移

3. 深度学习提取色彩特征方法

本文中，为获取图片色彩风格的表现，以VGG网络为基础 [6]，它是使用广泛的卷积神经网络框架，其在同一视觉对象识别的任务上与人类表现相媲美。修改其结构，使用16层卷积层和5个池化层特征空间，并且删去其中的所有的全连接层。网络的每一层定义了一个非线性的过滤组，它的复杂性随着网络的深度而增加。

首先依据Gatys等提出算法构建内容提取与色彩风格提取误差函数。给定一个输入图片 $\stackrel{\to }{x}$ 在卷积神经网络的每一层的都会给出其对应的编码输出。图片 $\stackrel{\to }{x}$ 在计算机内部以一维矩阵的形式展开，大小为M (图像高与宽的乘积)。假设第l层神经网络的卷积层具有 $N_l$ 个不同的滤波器(即卷积核)，则在第l层中，图像的映射特征有 $N_l$ 个，每个大小为 $M_l$，特征输出为 $\stackrel{\to }{p}$，每层分别以矩阵 $F^l,P^l\in {\mathcal{R}}^{N_l\times M_l}$ 形式存储，其中 $F_{ij}^l$ 是第i个滤波器第j个像素点的激活值。

定义平方误差函数作为输出特征与输入图像之间内容提取误差函数：

${\mathcal{L}}_{\text{content}}\left(\stackrel{\to }{p},\stackrel{\to }{x},l\right)=\frac{1}{2}{\displaystyle {\sum }_{i,j}\left(F_{ij}^l-P_{ij}^l\right)}$ (1)

损失值的导数与激活函数输出之间关系为：

$\frac{\partial {\mathcal{L}}_{\text{content}}}{\partial F_{ij}^l}=\{\begin{array}{l}{\left(F^l-P^l\right)}_{i,j}{F}_{ij}^l>0\\ 0F_{ij}^l<0\end{array}$ (2)

在网络每一层中的卷积神经网络响应之上，构建一种样式表示，其计算不同滤波器响应之间的相关性，其中期望是在输入图像的空间扩展上获得的。这些特征相关性通过Gram矩阵给定 $G^l\in {\mathcal{R}}^{N_l\times N_l}$，这里 $G_{i,j}^l$ 是l层中第i个向量化特征映射与第j个向量化特征之间的内积：

$G_{ij}^l={\displaystyle {\sum }_k{F}_{ik}^l{F}_{ik}^l}$ (3)

为了生成与给定图像生成特征匹配的纹理，使用来自白噪声图像的梯度下降法找到与原始图像特征表示想匹配的另一图像，其通过最小化原始图像的Gram矩阵与期望生成图像的Gram之间的均方误差实现。因此，令 $\stackrel{\to }{a}$ 与 $\stackrel{\to }{x}$ 分别是原始图像与期望生成的特征图像，并且 $A^l$ 与 $G^l$ 分别代表其在l层中的色彩风格特征，那么此层对误差损失的贡献是：

(4)

全部的误差损失是：

${\mathcal{L}}_{\text{style}}\left(\stackrel{\to }{a},\stackrel{\to }{x}\right)={\displaystyle {\sum }_{l=0}^L{w}_l{E}_l}$ (5)

这里 $w_l$ 是每层对总损失的贡献的加权因子。关于第l层中的激活的 $E_l$ 的倒数可以通过分析计算：

$\frac{\partial E_l}{\partial F_{ij}^l}=\{\begin{array}{l}\frac{1}{N_l^2{M}_l^2}{\left({\left(F^l\right)}^{\text{T}}\left(G^l-A^l\right)\right)}_{ji}{F}_{ij}^l>0\\ 0F_{ij}^l<0\end{array}$ (6)

这里可以用误差反向传播算法计算 $E_l$ 相对于网络的较低层中的激活的梯度，最终的色彩风格重建是通过赋予五个卷积层不同的权值而生成的。

4. 唐卡风格特征迁移

本文利用上述算法将唐卡图像作为风格提取的源图像，如图4(a)所示，提取唐卡的整体图像特征和风格特征，通过风格提取神经网络将唐卡的色彩特征提取并赋予图4(b)的图像上，最终得到具有唐卡色彩特征的风景图像，如图4(c)。经过整体风格迁移后，使得现代建筑图像图4(b)具有了唐卡图4(a)的色彩、构图风格特征，而且浑然一体，自然流畅，使得简约的现代建筑举办了丰富的色彩和神秘的宗教特征。迁移工作虽说运算量较大，但是输入输出简单，易于实现。

图4. 唐卡风格提取实例。(a) 唐卡风格提取源图像，(b) 输入的风景图像，(c) 唐卡色彩特征下的风景图像

5. 结论

基于卷积神经网络的深度学习方法能够对图像的色彩表现的艺术风格特征进行提取，并通过加深层的深度来使得色彩艺术风格表现的更为抽象，是图像风格的更高空间中的特征提取，实现图像整体风格迁移，不破坏艺术品的整体风格特征。对于唐卡这种色彩极为丰富及内涵深奥的宗教文化信息的绘画艺术，能够做到整体继承，为唐卡艺术的借鉴利用提供了快速、可靠的方法。也为后面分析不同历史时期、不同情景下的绘画特征提供更加丰富的参考信息。

文章引用

钱潇驰,米书里. 基于深度神经网络的唐卡的色彩风格特征提取
Color Style Feature Extraction of Thangka Based on Depth Neural Network[J]. 计算机科学与应用, 2019, 09(11): 2129-2134. https://doi.org/10.12677/CSA.2019.911238

参考文献