 Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2012, 1, 6-14 http://dx.doi.org/10.12677/airr.2012.11002 Published Online November 2012 (http://www.hanspub.org/journal/airr.html) Defocus Matting on Background Blur Priors Guilin Yao, Hongxun Yao School of Computer Science and Technology, Harbin Institute of Technology, Harbin Email: yaoguilin1980@sina.com, h.yao@hit.edu.cn Received: Sep. 22nd, 2012; revised: Oct. 15th, 2012; accepted: Oct. 22nd, 2012 Abstract: In this paper, we present a matting method based on focused foreground and blurred background. We classify some pixels as priors to prevent the similarities between foreground and background colors. Firstly, we design a three-channel edge detector to roughly predict some edge pixels. Secondly, for each edge pixel, we estimate its blur degree by fitting an ideal second derivative filter response on the actual one along the gradient direction, and comparing its color and known foreground one. Thirdly, if this pixel is classified into a blurred background edge, we extend it along the gradient direction as blur priors according to the fitting errors to an ideal blurred edge. Finally, with the back- ground blur priors, we run a general matting algorithm along with a trimap expansion method. The experimental results show that our background blur priors could generate much more precise alpha results than the state-of-art algorithms. Keywords: Image Matting; Background Prior; Edge Detection; Blur Magnification 基于背景先验点的虚焦抠图方法 姚桂林，姚鸿勋 哈尔滨工业大学计算机科学与技术学院，哈尔滨 Email: yaoguilin1980@sina.com, h.yao@hit.edu.cn 收稿日期：2012 年9月22 日；修回日期：2012年10月15 日；录用日期：2012年10 月22日 摘 要：本文针对图像抠图问题中背景虚焦时的情况，将一些模糊的背景预划分成先验点，使之成为绝对背景， 进而避免了与前景颜色相近背景的干扰，使得抠图结果更为理想。首先，采用边缘检测器进行边缘检测，进而 对每个边缘点进行分析，根据其对二阶算子的响应值与理想响应值之间的拟合误差，以及它与已知前景之间的 颜色差异，判断其是否为被模糊的背景边缘点；然后再计算它沿梯度正负方向两侧的像素与理想化边缘之间的 拟合误差，根据阈值可以将两侧的若干点扩展成背景先验点集，即将它们划分为绝对背景点。最后利用与trimap 扩展相结合的抠图方式，得到最终的透明度图像。实验结果表明，本文提出的背景先验点与抠图算法，可以得 到相对于以往的抠图算法更好的结果。 关键词：图像抠图；背景先验；边缘检测；模糊扩展 1. 引言 图像抠图问题为图像编辑中比较典型的一类问 题，目的是将前景物体从背景环境中分离出来，并与 另一幅新背景合成，最终形成新的图像。从数学的角 度上来说，对于图像中的点 z，观察到的图像颜色 Iz 可以采用前景图像的颜色 Fz和背景图象的颜色 Bz以 及透明度az的线性组合来表示： 1 z zzz z I F B (1) 其中 αz可以取在区间[0,1]中的任意值。如果 1 z 或 者0，我们将点 z称作绝对前景或者绝对背景。否则 称z点位混合点。在自然图像中，如何将每个点的 α 值准确的估计出来是将前景从背景中分离出来的关 键技术之一。如果没有多余的附加条件，从单一的输 入图像中提取前景信息显然是无解问题，因为公式(1) Copyright © 2012 Hanspub 6  基于背景先验点的虚焦抠图方法 中有 3个已知量，却有 7个未知量。为了解决这类问 题，通常的方法需要用户提供trimap 模板用来大体的 指定前景、背景和未知区域，并且要求未知区域尽量 小，以便简化问题，并求得更精确的解；另外，很多 方法需要对输入图像提供其它约束条件与附加先验 假设。本文算法对输入图像的前景与背景做出了假设 ——即需要背景相对是一种模糊失焦的状态，而前景则 是清晰的对焦状态。 利用附加信息中相对简单的方法为规定单一颜 色的背景，统称为蓝屏抠图，或者将同一前景放置到 2个已知且不同的背景中进行拍摄的“三角抠图”法 [1]。闪光抠图[2]利用相机的闪光灯来生成闪光及非闪 光下的“图片对”，强调闪光与非闪光图像的最大区 别为在背景距离较远的条件下，它们的前景物体由于 受到闪光的影响，颜色值会产生很大差异，而背景颜 色则几乎不受影响。可合成式抠图[3]需要提供新背景， 将抠图与合成问题看作一种联合的优化问题。多相机 抠图[4]可以从“相机组”中获取多幅合成图像，以提 取高质量的 α图。虚焦抠图[5]与本文相似，同样利用 了虚焦的特性，约束条件为前景与背景模糊程度不 同。它采用了多传感器照相机，利用 3路传感器来同 步采集视频流。该系统相对普通用户而言，对硬件的 要求非常高。 本文所要求的背景虚焦、前景实焦的输入图像， 相当于虚焦抠图[5]中前景传感器的成像，而对设备的 需求上相比虚焦抠图[5]要宽泛的多，只需要单幅背景 虚焦的照片，因此相应的实例也要多很多。图1显示 了4幅前景实焦，而背景虚焦的例子，通过这 4个例 子中的局部图可以看出，它们均存在很多虚焦化的背 景边缘，其颜色与前景颜色十分相似。如果对背景不 做任何假设，只利用抠图公式(1)与trimap 模板对这些 Figure 1. Examples in input images and local windows with blurred background 图1. 背景虚焦的例子与局部窗口图 例子进行抠图，常会出现的问题是将虚焦化的背景误 判成前景，或包含有前景的成分。因此，需要对虚焦 的背景边缘进行“附加处理”，以使得它们被预先判 别成绝对背景，即背景的“先验点”，这样才能对下 一步的抠图计算有利。 本文算法针对背景虚焦这类问题，从已提供的 trimap 中，首先第 2节通过边缘检测器，从全体像素 V中划分出一部分边缘点集 VE，并对每个边缘点针对 噪声阈值，对其设定一个最小可依赖模糊核宽度；其 次第 3节通过计算对每个边缘点沿着梯度方向对二阶 算子的响应，与理想化模糊边界对二阶算子响应的拟 合误差值，从边缘点集VE中进一步提取属于背景并被 模糊的边缘点集Vb，并计算出该边界的模糊程度；第 4节对 Vb中的点按照梯度方向进行扩展，通过计算实 际模糊边缘与理想化模糊边缘的拟合误差，将所有扩 展到的点提取出其中的一部分，划分为属于绝对背景 的点集 Bex；第 5节将这些扩展到的背景先验点作为 已知绝对背景，采用全局采样与局部采样相结合、以 及采样与仿射相结合的方式，并利用 trimap 扩展的方 式进行 α抠图；第 6节的实验结果表明，利用背景先 验点与 trimap 扩展相结合的抠图方式，可大大提高图 像抠图的质量，解决由以往的抠图算法所无法解决的 图像实例。 需要说明的是，本章针对每个边缘点设置最小可 依赖模糊核宽度的方式，与基于空间变化的 PSF 算法 [6]相类似；然而，本章的主导思想与该算法存在几点 根本的不同：1) 理论依据不同：空间变化 PSF 法[6] 是针对 α，即假设即α真实值由某个二值化的 αb，与 某个固定的卷积核 K，通过卷积运算而来，即 b K ，而本文算法针对的是图像，假设模糊背 景是由某个清晰背景由类似的方式通过卷积得到，一 定程度上较 α模糊的概念更具一般化性质，理论依据 更为充分；2) 计算方法不同：空间变化 PSF 法[6]在αb 边缘处计算模糊程度，这样会遗漏很多细节，本文则 于图像边缘处计算，计算区域更为充分；3) 计算方式 不同：空间变化 PSF 法[6]是基于某个算法得到初始 α 后，再进行下一步处理，如果初始 α不准确则会影响 到二值化处理以及模糊程度的计算，而本文直接在图 像上运行，不存在依赖上一步计算的问题；4) 最终目 的不同：空间变化PSF 法[6]用于为 α提供先验值，由 Copyright © 2012 Hanspub 7  基于背景先验点的虚焦抠图方法 于在某种程度上空间变化PSF 法[6]得到的先验并不一 定准确，因而原文中该先验的权值较小(0.08)，而 本文 算法则用于模糊背景边缘的识别，即将得到扩展点直 接划分为绝对背景，可靠性非常好。 2. 图像边缘检测器 首先，我们采用基于局部模糊度的边缘检测与模 糊估计[7]的方式对原始输入图像 I进行边缘检测。其 中，设 Ib为一个理想的模糊边界，g1与g1分别为预先 设定的一阶算子与二阶算子，θ为图像梯度的正方向， * 2 为图像二阶响应最小可依赖模糊度，Ib对g1和g2 的响应 G1与2 G 如图 2所示。于是，最终边缘检测器 的输出，即判断图像上某点z属于边缘点集 VE的准则 为：对于点z，设沿着θ方向所对应的邻域为 neb z ，负 方向的邻域 – neb z ，如果在最小可依赖模糊度 * 2 对应的 二阶响应上，点 z与neb z 、或 z与– neb z 之间有过零点(即 乘积≤ 0)，并且 z点与 neb z 和– neb z 处的二阶响应大小关 系如式(2)，则判断 E zV，即 222 2222 2 222 22222 2 2222 ,,0,,, ,,,, ,0, ,0 neb neb neb neb neb neb Gz GzGz Gz Gz GzGzGz Gz Gz 0 , (2 然后，我们在 3个通道上分别计算边缘点，最 的边 ) 后 缘点集VE为3个通道上边缘点的集合。图 3的第 2列给出了边缘检测的 4个例子，而本文的边缘检测 器相对于普通边缘检测不同的是，普通边缘检测方法 在模糊的边缘处，可能会检测到大量的、或者宽度较 Figure 2. Responses of first and second derivative basis filters f or an ideal blurred edge 图2. 理想模糊边界分别对一阶算子和二阶算子的响应 Figure 3. From left to right of each example: input image, edge se 图3. 每个例子从左至右 边缘检测器得到的边 的被模糊后的边缘，而本文的边缘检测器则只在二 模糊边缘的检测 为了检测在图像边缘处的模糊度，在以往的诸多 算法均提 t VE from the edge detector, blurred background set Vb, and back- ground prior set Bex ：原始局部窗口，由 缘点集 VE，被模糊的背景边缘点集 Vb，背景先验点集 Bex 大 阶算子响应的“过零点”处寻找边缘，因此在模糊边 缘处只寻找初始未被模糊的边缘，相对普通边缘检测 方法更准确。 3. 出了不同形式的点扩散函数gb，但是，在实 际运用中采用最广泛的是高斯函数。我们首先按照扩 大模糊的方法[8]将边界处的模糊核定义为如下的高斯 卷积核： 22 2 2 1 ,, exp2 2π bb b gxyx y (3) 其中 b 为该高斯模糊核的宽度，即对每个边缘点需要 b 估计的值。如果该值较大则说明该边缘点属于被模糊 的边缘点。考虑图 2所示的一个沿 x轴分布的理想化 模糊边界 I，假设 I xAux为图像边缘的理想化 模型， ux为单位 为 ux的幅值，而 对模糊边 阶跃函数，A 界有 bb I xIxgx 按照扩大模 糊[8]的方式， *xy ，于是 gx模糊边界 Ib对二阶算子 22 ,, 的期 即理想化响应为 望响应， 22 22 222 222 2 32 22 2 2 2 3 ,, ,, exp 2 2π exp22 2π2 xxx bb b b rxyIgAuxgxy Ax x Ax xd d (4) Copyright © 2012 Hanspub 8  基于背景先验点的虚焦抠图方法 222 2bb d 其中，幅值 A计算为 12 2 22πd2 x r eAT (5) 其中 2 x Tr 为2 x r的极值，若按照梯度正方向，则计算 为mi 2 n x r，负方向计算为 2 max x r。 析说明，若某边缘上述分 点 为被模糊的边缘点， 那么“它实际二阶算子的响应一定与某个”理想的二 阶响应 2 x r相符合，而寻找该理想2 x r的方式，可以采用 逐个对“不同形状”或“不同大小”下的 2 x r与实际响 应G2之间的差异获得，如图 4所示。一般的，在得 到理想响应 2 x r之后，对边缘点集VE中的任意点 ， 沿着梯度方向，我们采用一个以 为中心、半径为 k 窗口，计算边界对二阶算子的响应的 2 x r，与实际二阶 算子响应 G2之间的平均拟合误差，并求得使得拟合 误差最小的窗口半径k*。图 4表示了在 3个不同的窗 口半径 k下，对应的 3个理想二阶算子 2 x r，与实际二 阶响应 G2之间的差异，其中窗口半径为 k2对应的理 想响应与实际响应符合的最好。 具体的说，对于边缘点 ，设其梯度的正方向 ， 负方向为 ， 2 为边缘点 的最小可依赖模糊核 宽度，于是 按照方向 , ， 发射两条射线，在 以 为中心、窗口半径为算子响应 2 Gk阶时，二 与理 想化响应r2的平均拟合误差为 222 1 22 , ,, l s z lz k rd zz lz (6) 其中 为点 1 ,, k errzkG k 沿着 θ的射线方向，与第 l层(l ≤ k) 窗口最的像素，如图 5所示； , s dl 为点接近 与 l 的空间矢量距离，亦即(4) 标值， 在正方向 式中的 x坐 下， ,0 s dl ，负方向 下 ,0 s dl ；而在 根据梯度的方向，r2的A值中， 极值 2 x Tr 分别计算为 in x 2122 2122 ,m , ,max , k l xk l TrG l TrG l , (7) 这里我们假设在窗口宽度k处为极值点的位置， 因此 2d即计算为窗口 k的最远点 k 与 点的空 间距离 , s ， , Figure 4. Comparisons for the ideal and actual second derivative 图 filter responses on different window sizes 4. 不同窗口半径对应的理想二阶算子响应，与实际二阶算子响 应之间的符合程度 Figure 5. Generated points through two opposite directionall 两条射线，到达与以 y shooting rays from the source point 图5. 由出发点沿梯度正负方向的射线所经过的点的示意图 出 为中心的第 l层窗口的点 l 与 –l ，浅灰色表示第 l层窗口，深灰色表 层的层窗口。本例中窗口宽度为k = 5，中 间点 l = 3。需要注意的是此假设与扩大模糊的方法[8] 的不同之处在于，后者将 2 G 示最外 第k 中的实际极值对应的位 置设定为极值点，然而此方 的局限性在于其很容易 受到噪声的干扰，如果出现某些错误的局部极值点， 则会影响到对极值点位置的判断，因此这里我们采用 实际极值点位置与理论位置相分离的方式，即假定在 理论上极值点处于窗口宽度k处，而不考虑实际极值 点的位置。如图 5所示，在窗口半径为k下，极值点 位置固定为 k 或 –k ，而实际极值点的位置可 能不在这两个 由于我们假设在窗口 式 点上。 宽度k处为极值点的位置， 亦即 ,2 s dkd ，而根据已知有 * 2 2d ，于 是定义 k的下界为 – arg maxkd * 2 , ks k (8) 且我们不希望σb的值过大，因此定义 k的上界为 dk 。表示了一个 例子，由 图5 * arg max,kdk 2ks (9) 出发点 沿梯度正方向 ，负方向为 发 Copyright © 2012 Hanspub 9  基于背景先验点的虚焦抠图方法 其中通常取 5 。于是 点按照方向 ,– ， 实现最优拟合度的窗口宽度k*计算为 k 2 ,arg min k kk kerr ,, (10) 于是 点按照每个方向 θ，其模糊核宽度 小拟合误差计算为 σb与最 22 2 2 , b, ,,, s dk errErr k (11) 同时，若 z沿着梯度正负方向 , 基准，向两侧变 为一段 模糊边界，我们希望以方向θ为 化一 个微小 的情况下，仍然为模糊边 其二阶 算子 2 界，亦即 g 仍然与其期望值 r2相符合。于是，对于正方 向 n ，反方向 n ， 0,, 2n，各 5个方向，我们对每对互为相反方向 的 , 1 对“θ5对” ，在 各 糊核宽度 3个通道 c上， 计算其模 ,,c 与拟合误差 2,,err c 。这 b 对边缘点样 的3个通道分别计算5 对这样的值，总共有15 对值。这样，定义 属于“被 景边缘点集Vb，需要满足以下三个条件： 该边缘点 a) 在每个颜色通道中，按每对相反方向上 的2个拟合误差的和要尽量小；b) 在每个颜色通道 中，每个方向的模糊核宽度要尽量大； c) 其颜色与已 知前景要有一定的差别。具体的，需要满足以下条件： 22 ,,, ,, 模糊”的背 color &, , , E cerrc errcT bT T sc cN dF t (12) 其中 为相反方向上的误差和阈值，0.35 E T3 T 为 小模糊核宽度阈值 据模糊边界的最 判别式 ，12 T N，δ为根 函数输入的是否成立而返回0或1的布尔 ， , color s dF 按照 trimap 扩展算法[9]定 点义，为 与已 知前景“学习区域”Fs之间的平均颜色差异，这里我 trimap 扩展算法[9]，已将每幅图划分成若 干局部窗口；阈值 t定义与该算法的定义相似但略有 差异：若 5 bf tt则0.1 t 们假设按照 c ，否则 0 t 。上式说 明，若边缘点 属于被模糊的背景边缘点 ，在 3个 通道各 5对中，满足上述阈值 的数对， 需要大于一定的个数NT；而且该点与前景的颜色差异 应大于一定的以确保υb不会是前景点。 在得到被模糊的背景边缘点集Vb之后，我们记录 每个这样的点 υb在3个通道 c上的各 5对、总 2 ,err b 设定 阈值， 共30 个方向 上的 30 个模糊核宽度值 ,, bb c ，以供 下一步边缘扩展时使用。图 3的第 3列表示在每个例 子中，由边缘点集 VE经过本节的判 被模糊 背景边缘点集 Vb的示意图。可以看出 Vb基本将属于 前景或者混合区域的边缘从VE中排除掉了，保留下来 的只是背景上被模糊的边缘点集。 4. 模糊边缘的扩展 别，得到的 边缘对于每个被模糊的背景 bb V 的、 ，上一节已计 3个通道上 15 对互为相反方向总共30个方 向的 算出 模糊度 ,, bb c ，其中 , ，正方向 n ，反方向 n ， 0,1, 2n，按照每个按图 6所因此可以 个模糊方向 模糊度 σb， 示，对每 进行“模糊 ex ， 的划分判别准则，将 ex V中的一部分子集划 分为背景先验点集 B，作为绝对背景点。换一个角 度说，如果前一节寻找的是模糊边缘对二阶算子响应 的“过零点”，那么本节寻找的则是该过零点按照梯 度的正方向或负方向，向两侧延伸得到的点。且与前 一节不同的是，本节的运算域在模糊边缘 Tb的实域 上，而不是对算子的响应域。 与计算被模糊的边界方法类似，我们希望每个被 模糊的背景边缘点 υb，按照每个 扩展”得到点集V 并按照一定 ex 模糊方向 的各个像 素(例如图 4中的实际模糊边缘 Ib的灰度值，如果与按 照υb的计算的“理想化”模糊边界(例如图 2中的理 想模糊边缘 Ib)的期望值相似，并且如果这些像素的灰 度值依照 或者 的方向，满足绝对递减或者递增 的方式，那么这些像素就能够被划分为绝对前景，否 Figure 6. 10 rays from the source point 图6. 由出发点分别向两侧发出的 10条射线示意图 Copyright © 2012 Hanspub 10  基于背景先验点的虚焦抠图方法 ，其中 , 像素记为 υex 则按照实际情况，依旧划分为未知点。 一般的，给出一个沿 x轴分布的未被模糊的理想 边界，它表现为单位阶跃函数u(x)，幅值为A，它对 二阶算子 ,, x bb gxy 响应的期望为 ,, x bb rxy Au xg ,, x bb x y 形式表示 边缘点 υb ，该卷积虽然无法用初等函数的 近的方式来求，但可以用逼 ，设其沿着某个 解。对被模糊的 的射线方向， 口对应的点集 到达以 υb bk ，其中为中心的第 0,1,k k层窗 k max ,；令理想化边缘 A ux以点 bk 为模 次按照与模 , bb 糊中心，fw为二阶算子 gb的模糊半径，每 糊中心距离为l、间隔 0. 1l 进行对算子 gb的乘积运 算，最终对算子gb所有元素的和求平均。于是，幅值 为A的单位 x对二阶算子 gx阶跃函数 u ，按 照方向 ，在以点υb为中心的第 k层窗口所对应的响 应期望 rb为 ,, ,, ,, f bb bsbb lf bb rkuld k gl gl (13) 其中 , sbb dk 为点 υb与 bk 的空间矢量距 离，若 , bb l A 为某个梯度正方向 ，则ds值大于 0，若 为某个梯度负方向 ，ds值小于0。 对于像素序列 max 0,1,, bk A与 的最大窗口扩展半径kmax 的值分别计算为 ,kk，幅值 max min 2 arg max, cc bb ksbb k IkI kdkf maxAI (14) 其中 Ic为图像像素值，c为图像的第c个颜色通道， 一化至[0,1]区且被归间， 3 255 I 偿值。在得到 bb 为补 对,gx 的期望响应之后，可以计算以 υb为中心的 第k层窗口，按 应的点 方向对 ，其实际像素 灰度值与 误差为 bk 期望值的拟合 min ,, , ,,, 2 cc bkb bb b bb cc Ik Ik rk A errc k 2 max ,,, kb b bbb I kI k r k A υb 30 个方向的模糊度 (15) 实际上，我们对被模糊的边缘点 ，按照 3个通 道上 15 对互为相反方向的、总共 ,, bb c ，分别进行扩展。设 的 ，于是它的平均拟合误差每个扩展到 bex err 定义为 , 1,, , bex b bex bb c ex k errerrk c N (16) 其中 Nex 为所有上述扩展到能够到达点 zex的次数。于 是，由任一被模糊的背景边缘点 υ扩展得到的点 bex ， 若被判 一 对应的任一组 序列中， 值，否则要小 窗口的灰度值； c) 其颜色与已 知前景要有一定的差别。即 别为绝对背景Bex，需要满足以下三个条件： 该扩展点 a) 平均拟合误差小于 定的阈值；b) 在其 扩展像素 若扩展方向为梯度的 正方向，则其灰度值要大于上一级窗口对应的灰度 于上一级 gb exex err T IkI k k color 1 ,,,, 1 , cc bb be xb cc bb ex sff ck Ik I k dFt (17) 其中 8 255 ex =T， colorex sff ap [9]定义相同。通过上述扩展方 ,dF 和t与trim 扩展算法 法，可以将背景上的一 些由模糊边界 扩展的点 υ划分至绝对背景 ，而 此时的未知区。图 3的第 4列 被 模糊的背景边 本节的背景扩到 的背景先验点 5. 全局与局部相结合的抠图方法 既然已经获得了由背景模糊边界扩展而得到的 集， 此我们希望 trimap 扩展 景先验点集 的像素个数小于 某阈值，即 ex –ex UUB 缘点集 Vb，经 ex B。 ex B 表示由 展方法得 域 集 先验点 因对于每个未知点，除了 ex B 初始提供的 trimap 外，均可以利用这些背景先验点ex B 作为已知背景点，进行最终的 α抠图计算。同时，我 们可以继续利用 [9]结果，作为附加辅助输 入，以使得本算法的结果更好。 进一步，如果背 ex B ex N BT ，可以将这 景先验点看作全 ， 将这 些背 局样本，每个未知点 z均可以利用这些样本。为此 些新扩展的点集ex B按照GMM 聚类的方式，聚 成10 C N 个类，并在每个类中随机抽取 3 S N 个样 本，于是至多有 30 个全局样本；即对于每个未知点z， Copyright © 2012 Hanspub 11  基于背景先验点的虚焦抠图方法 这些样本均起作用。 另外，我们对每个点都采用局部采样，为此我们 采用鲁棒性算法[10]中的方法，对于每个未知点 z，在 已知前景与背景轮廓上采用稀疏采样的方式，选取距 离z作 点z的 点空间距离最近的各 10个样本 为局部前景与背 景样本。于是 前景样本为 10 个，而背景样本包 括全局与局部样本，至多 40 个。与改进颜色模型[11] 算法相类似，给出未知点 zU 以采集到及每个样本 对 , ij F B 里 ，首先定义距离比值Rd，为了强 多数 未知点为绝对前景或背景，我们对每个前景或背景样 本定义权值。注意与改 调大 法[11]不同的是， 这 进颜色模型算 我们计算每个未知点z与已知前景或背景颜色欧 式距离的最小值，这样会避免最终的权值w过小。其 次，对每个样本对 , ij F B均算出一个相应的信念值 f，为未知点 z选出拥有最大信念值 f的3对样本 , ij FB ，2 计算为由 , ij FB 计算得到的 3个α值 的平均，各变量的定义与改进颜色模型算法[11]类似。 下一步，我们采用拉普 抠图矩阵作为“后处 理” α进行平滑性操作。最终的 α求解为 拉斯 ，即对 arg min--LD (18) 其中 为上一步颜色采样法得到的 α值，L为拉普拉 斯抠图矩阵，λ = 1 为平衡二者的权值，D为对角阵， 已知点所对应的对角 为恒定的较大值，对于未 知点，其对角元素固定为 线元素 ，注意这里与传统算法不 我们忽略了信念终 α计算的影响， 实验结果亦表明f对最终 α的影响很小。 同的是， 值f对最 6. 实 我们采用在线 α评估系统[12]所提供的图像。 并非所有图像均具有前景实焦、背景虚焦的性质 景 。其 集中的图像，后 2个为训练集 ，而初始 trimap 均为每个例子的最大 trimap。 由于 过大 验结果 由于 ，因 此我们从中选出 4幅具有背景虚焦特性、且具有典型 性的例子的局部窗口。图7显示了4个例子，每个例 子中，左图为初始局部窗口图像；右图中深红与深蓝 表示初始trimap 的已知前 与背景，浅红色与浅蓝色 区域表示由trimap 扩展算法[9]得到的绝对前景与背 景，粉色区域表示本章算法得到的背景先验点集 中，前 2个例子为测试 中的图像 大trimap 中包含的未知点最多，不确定的因素最 大，对抠图算法的挑战性也最高，因此本算法采用大 型号的 trimap 以证明其对解决难点问题的有效性。 对于前 2幅测试集中的图像，α评估系统[12]提供 了由 21个算法得到的 α结果，但 没有真实值。为了节 省空间，我们仅从中选取了平均排名前 4位的抠图算 法在最大 trimap 下，所对应的 α结果图，它们分别为 SVR 算法[13]、共享算法[ 14]、基于拉普拉斯抠图矩 阵后 处理的全局算法[15]、基于 2值分割与空间变化 PSF 的 算法[6]。图 8针对这 2个例子的局部，对包括上述4 种算法，以及 trimap 扩展算法[9]、本文背景先验点 算 法、本文先验点算法与trimap 扩展方法[9]相结合的算 法等 7种算法，分别进行了比较，其中第 1幅图由于 ，我们相应截取了2个局部窗口。从图 8中的α 结果可以看出，第 1幅图的 2个局部中，由于背景中 桥梁的模糊边缘与前景木偶头发的颜色极为相近，排 在评估系统[12]前列的 4种算法以及 trimap 扩展算法由 于只考虑到颜色，而没有考虑模糊背景的因素，而且 所提供的trimap 又没有足够的、与桥梁边缘相对应的 已知背景参考点，因此它们均将一段较长且较暗的桥 梁边缘、以及深褐色的桥梁内部判别为前景的一部 分，即具有相当大的 α值；而在本文得到的 2种算法 中，由于考虑到背景模糊边缘的因素，已经预先将一 部分模糊的桥梁边缘以及内部划分为绝对背景，因此 大大降低了桥梁部分对抠图算法的干扰；而且这些预 划分的点可以为抠图部分提供较为充分的背景样本， 使得得到的 α值也相对准确，而结合了trimap 扩展[9] Figure 7. 4 examples of initial input 图7. 4个初始输入的例子 Copyright © 2012 Hanspub 12  基于背景先验点的虚焦抠图方法 Copyright © 2012 Hanspub 13 局部窗口 SVR 共享 全局(L) 空间变化PSF Trimap扩展 背景先验 先验+扩展 Figure 8. Alpha comparisons of 7 algorithms in 3 local windows of the test images 图8. 测试图像的 3个局部窗口中，由 7种算法得到的 α结果的比较图 局部窗口 鲁棒 闭合形式 Trimap扩展 背景先验 先验+扩展 真实值 Figure 9. Alpha comparisons of 5 algorithms in 2 local windows of the training images 图9. 训练图像的 2个局部窗口中，由 5种算法得到的 α结果的比较图 的本文算法，由于样本更为充分，结果则更为精确。 第2幅动物图像也如此，这里我们把一段背景的模糊 石墩边 边缘的模糊背景产生了 的2种算法可以得 对于后 2幅训练集中的图像，评估系统[12]提供了 α实值，但并没有其它全部算法得到的抠图结果，然 而我们可以从中选取比较有代表性的算法进行比较。 这里我们选取鲁棒性算法[10]、闭合形式算法[16]、trimap 扩展算法[9]，分别在最大trimap 下，得到的 α结果图。 糊的背景边缘，且颜色 点的方式可以使一部分模糊背景划分至绝对背景 不同算法得到的 5个α结果图中，根据真实值得到的 平均 SAD(绝对误差和)。从结果可以看出，采用本文 中单独的背景先验点法的误差不是最优结果；而将先 于 可以说，trimap扩展 补充，因为其可以为本章 算法提供更为充分的样本。 缘进行了预判，这同时对中间一段虽然不属于 验点法与trimap 扩展算法[9]相结合，可以得到相对 影响；相比较其它 5种算法， 其它算法最优的 α结果。因此也 到更好的 α结果。 算法[9]是对本章算法的有力 本文对应 从图 9中的输入的图像窗口可知，背景均存在一段模 与前景比较接近，按照背景先 验 中，而且对下一步的抠图算法提供了充分的样本，而 背景先验点方法与trimap 扩展算法[9]相结合，可以获 得更为充分的样本，因此结果更好。从图9中的每个 α结果可知，本文算法相对其它 3种算法，对背景干 扰的影响最低，且与 α真实值最为接近。 Figure 10. SAD comparisons of 5 algorithms in 2 examples of test set 图10 表示了对于 2个训练集中的例子，由 5种 图10. 2个训练集的例子中，5个算法得到的α与真实值的平均 SAD  基于背景先验点的虚焦抠图方法 7. 算法局限性与讨论 阈值被 它们根据 由 好； 布状态 本文在提取被模糊的背景边缘部分，以及模糊边 缘的扩展部分，各种设定为一个固定的值；但 例子可能需要随时调整，这可以由已知区域 “学习”方式得到，使得其自适应性更 另一个 局限是需 景的模糊 尽量呈直线分且 不要过于与扭曲。 此对背景边缘分布规律的分 析是可以 步探讨与研究的问题。 实验结果表明，该背 先验点的方式，可以使抠图过程更为精确，并得到 好的抠图结果。 9. 致谢 本文由中国国家自然科学 基金 (No. 6107118 及关键项目(No.61133003)支持。 参考文献 (References) [1] A. R. Smith, J. F. Blinn. Blue screen matting. ACM Transactions on Graphics (TOG), 1996: 259-268. [2] J. Sun, Y. Li, S. B. Kang and H.-Y. Shum. Flash matting. ACM [3] Rother, P. Kohli and M. Gelautz. A spatially psf-based prior for Alpha matting. IEEE Conference on ter Vision and Pattern Recognition (CVPR), 2010: 2149- 2156. [7] [8] S. Bae, Fmagnification. Proceedings of Euro- graphics, 2007. [9] G. L. Yao, H. X. Yao. Trimap expansion based Alpha matting via port, 2012. color sampling for robust mat- 要背 边缘， 杂乱 因 进一 8. 结论 本文针对图像抠图中前景实焦、背景虚焦这类问 题，对一些模糊的背景预划分成先验点，使之成为绝 对背景，并为下一步的抠图提供更为准确的背景样 本，使得抠图结果更为理想。景[1 更C 0)以 Transactions on Graphics (TOG), 2006, 25(3): 772-778. J. Wang, M. Cohen. Simultaneous matting and compositing. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2007. [4] N. Joshi, W. Matusik and S. Avidan. Natural video matting using camera arrays. ACM Transactions on Graphics (TOG), 2006: 779-786. [5] M. McGuire, W. Matusik, H. Pfister, J. F. Hughes and F. Durand. Defocus video matting. ACM Transactions on Graphics (TOG), 2005: 567-576. [6] C. Rhemann, C. varying Compu J. Elder, S. Zucker. Local scale control for edge detection and blur estimation. IEEE Transactions on Pattern Analysis and Ma- chine Intelligence (TPAMI), 1998, 20(7): 699-716. . Durand. Defocus localized windows. Technical Re [10] J. Wang, M. Cohen. Optimized ting. IEEE Conference on Computer Vision and Pattern Recog- nition (CVPR), 2007: 1-8. 1] C. Rhemann, C. Rother and M. Gelautz. Improving color mod- eling for alpha matting. Proceedings of British Machine Vision onference (BMVC), 2009: 1155-1164. [12] C. Rhemann, C. Rother, J. Wang, M. Gelautz, P. Kohli and P. Rott. A perceptually motivated online benchmark for image mat- ting. IEEE Conference on Computer Vision and Pattern Recog- nition (CVPR), 2009: 1826-1833. [13] Z. P. Zhang, Q. S. Zhu and Y. Q. Xie. Learning based Alpha mat- ting using support vector regression. IEEE International Confer- ence on Imaging Processing (ICIP), 2012. [14] E. Gastal, M. Oliveira. Shared sampling for real time alpha matting. Proceedings of Eurographics, 2010, 29(2): 575-584. [15] K. He, C. Rhemann, C. Rother, X. Tang and J. Sun. A global sampling method for alpha matting. IEEE Conference on Com- puter Vision and Pattern Recognition (CVPR), 2011: 2049-2056. [16] A. Levin, D. Lischinski and Y. Weiss. A closed-form solution to natural image matting. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2007, 30(1): 228-242. Copyright © 2012 Hanspub 14 |