根据前面的分析，我们直接将模型(1)中的重构系数矩阵替换为亲和矩阵，得到亲和矩阵图卷积子空间聚类(AMGCSC)方法，模型如下：

$\begin{array}{l}\underset{F,W,C}{\min }{\Vert 2F-\left(W+I\right)X\Vert }_F^2+\alpha {\Vert X-WF\Vert }_F^2+\beta {\Vert C-C^2\Vert }_F^2,\\ \text{s}\text{.t}.W=\frac{\left|C\right|+\left|C^{\text{T}}\right|}{2},W1=1,\text{diag}\left(W\right)=0,\end{array}$ (2)

相对于AGCSC方法，我们的方法无需对重构系数矩阵施加额外限制，从而能够更好地挖掘数据间的关系。但是这也增加了模型求解上的难度，不过我们克服了这个难题。

相似于解决现存的大部分子空间聚类问题，我们使用交替最小化迭代(Alternating Direction Method, ADM) [12] 来解决AMGCSC问题。

首先我们将问题(2)转换为如下等价问题：

$\begin{array}{l}\underset{F,W,C,Z,G,A}{\min }{\Vert 2F-\left(W+I\right)X\Vert }_F^2+\alpha {\Vert X-WF\Vert }_F^2+\beta {\Vert C-CZ\Vert }_F^2,\\ \text{s}\text{.t}.C=Z,W1=1,W=\frac{G+G^{\text{T}}}{2},\text{diag}\left(G\right)=0,G=\left|A\right|,A=C,\end{array}$ (3)

其中 $Z,G,A$是辅助变量。问题(3)对应的增广拉格朗日函数定义如下：

$\begin{array}{c}\ell ={\Vert 2F-\left(W+I\right)X\Vert }_F^2+\alpha {\Vert X-WF\Vert }_F^2+\beta {\Vert C-CZ\Vert }_F^2+tr\left(Y_1^{\text{T}}\left(C-Z\right)\right)+tr\left(Y_2^{\text{T}}\left(W1-1\right)\right)\\ +tr\left(Y_3^{\text{T}}\left(W-\frac{G+G^{\text{T}}}{2}\right)\right)+tr\left(Y_4^{\text{T}}\left(G-\left|A\right|\right)\right)+tr\left(Y_5^{\text{T}}\left(A-C\right)\right)\\ +\frac{\mu }{2}\left({\Vert C-Z\Vert }_F^2+{\Vert W1-1\Vert }_F^2+{\Vert W-\frac{G+G^{\text{T}}}{2}\Vert }_F^2+{\Vert G-\left|A\right|\Vert }_F^2+{\Vert A-C\Vert }_F^2\right)\end{array}$

其中 $Y_1,Y_2,Y_3,Y_4,Y_5$是拉格朗日乘子。通过最小化 $\ell$，固定其他变量，交替优化变量 $W,F,C,Z,G,A$。

1) 固定其他变量更新W。

$\begin{array}{l}\underset{W}{\min }{\Vert 2F-\left(W+I\right)X\Vert }_F^2+\alpha {\Vert X-WF\Vert }_F^2+tr\left(Y_2^{\text{T}}\left(W1-1\right)\right)+tr\left(Y_3^{\text{T}}\left(W-\frac{G+G^{\text{T}}}{2}\right)\right)\\ +\frac{\mu }{2}\left({\Vert W1-1\Vert }_F^2+{\Vert W-\frac{G+G^{\text{T}}}{2}\Vert }_F^2\right)\end{array}$

很容易验证：

$W=\left(4F{X}^{\text{T}}-2X{X}^{\text{T}}+2\alpha X{F}^{\text{T}}-Y_2{1}^{\text{T}}-Y_3+\mu \left({11}^{\text{T}}+\frac{G+G^{\text{T}}}{2}\right)\right){\left(2X{X}^{\text{T}}+2\alpha F{F}^{\text{T}}+\mu \left({11}^{\text{T}}+I\right)\right)}^{-1}$ (4)

2) 固定其他变量更新F。

$\underset{F}{\min }{\Vert 2F-\left(W+I\right)X\Vert }_F^2+\alpha {\Vert X-WF\Vert }_F^2$

容易得到：

$F={\left(2\alpha W{W}^{\text{T}}+8I\right)}^{-1}\left(\left(4W+4I+2\alpha W^{\text{T}}\right)X\right)$ (5)

3) 固定其他变量更新C。

$\underset{C}{\min }\beta {\Vert C-CZ\Vert }_F^2+tr\left(Y_1^{\text{T}}\left(C-Z\right)\right)+tr\left(Y_5^{\text{T}}\left(A-C\right)\right)+\frac{\mu }{2}\left({\Vert C-Z\Vert }_F^2+{\Vert A-C\Vert }_F^2\right)$

很容易验证：

$C=\left(-Y_1+Y_5+\mu \left(Z+A\right)\right)\left(2\beta \left(I-Z\right){\left(I-Z\right)}^{\text{T}}+2\mu I\right)$ (6)

4) 固定其他变量更新Z。

$\underset{Z}{\min }\beta {\Vert C-CZ\Vert }_F^2+tr\left(Y_1^{\text{T}}\left(C-Z\right)\right)+\frac{\mu }{2}{\Vert C-Z\Vert }_F^2$

容易得到：

$Z=\left(2\beta C^{\text{T}}C+\mu I\right)\left(2\beta C^{\text{T}}C+Y_1+\mu C\right)$ (7)

5) 固定其他变量更新G。

$\underset{G}{\min }tr\left(Y_3^{\text{T}}\left(W-\frac{G+G^{\text{T}}}{2}\right)\right)+tr\left(Y_4^{\text{T}}\left(G-\left|A\right|\right)\right)+\frac{\mu }{2}\left({\Vert W-\frac{G+G^{\text{T}}}{2}\Vert }_F^2+{\Vert G-\left|A\right|\Vert }_F^2\right)$ (8)

问题(8)可转化为对如下等价问题的讨论

$\underset{G}{\min }\frac{\mu }{2}\left({\Vert G-M\Vert }_F^2+{\Vert \frac{G+G^{\text{T}}}{2}-N\Vert }_F^2\right)$

其中 $M=\left|A\right|-\frac{Y_4}{\mu },N=W+\frac{Y_3}{\mu }$。由于 $\text{diag}\left(G\right)=0$，所以仅需考虑矩阵非对角元处元素。

其非对角元素的最优解为 $G^{*}$， $G^{*}$的计算公式如下，其中 $i>j$。

$\{\begin{array}{l}{G}_{ij}^{*}=\frac{3}{4}{M}_{ij}-\frac{1}{4}{M}_{ji}+\frac{1}{4}{N}_{ij}+\frac{1}{4}{N}_{ji}\\ G_{ji}^{*}=\frac{3}{4}{M}_{ji}-\frac{1}{4}{M}_{ij}+\frac{1}{4}{N}_{ij}+\frac{1}{4}{N}_{ji}\end{array}$ (9)

6) 固定其他变量更新A。

$\underset{A}{\min }tr\left(Y_4^{\text{T}}\left(G-\left|A\right|\right)\right)+tr\left(Y_5^{\text{T}}\left(A-C\right)\right)+\frac{\mu }{2}\left({\Vert G-\left|A\right|\Vert }_F^2+{\Vert A-C\Vert }_F^2\right)$ (10)

问题(10)可转化为对如下等价问题的讨论：

$\underset{A}{\min }\frac{\mu }{2}\left({\Vert \left|A\right|+P\Vert }_F^2+{\Vert A-Q\Vert }_F^2\right)$

其中 $P=-G-\frac{Y_4}{\mu }$， $Q=C-\frac{Y_5}{\mu }$

a) 当 $P_{ij}\ge 0$

$A_{ij}=\{\begin{array}{l}\frac{Q_{ij}-P_{ij}}{2}当Q_{ij}>P_{ij}\\ \frac{P_{ij}+Q_{ij}}{2}当Q_{ij}<-P_{ij}\end{array}$ (11)

b) 当 $P_{ij}<0$

$A_{ij}=\{\begin{array}{l}\frac{Q_{ij}-P_{ij}}{2}当Q_{ij}\ge 0\\ \frac{P_{ij}+Q_{ij}}{2}当Q_{ij}<0\end{array}$ (12)

本文算法步骤如下：

在这一部分，我们进行了大量的子空间聚类实验去评估亲和矩阵图卷积子空间聚类方法AMGCSC在聚类过程中的实际表现。

1) 数据集：为了论证AMGCSC的有效性，我们在人造数据集和真实数据集上进行了大量实验。用于评估的四个基准数据集包括ORL人脸数据集¹，PIE人脸数据集²，MNIST手写体数字数据集³，COIL20一般物品图像数据集 [13] 。

2) 对比算法：我们将AMGCSC与一些经典的相关方法进行对比，例如有LRR、SSC、BDR、LSR1、LSR2、SMR、IDR、AGCSC，进而去验证AMGCSC的有效性。

3) 参数设置：由于不同参数对于评估的算法实验结果影响较大，因此对于每一种比较的算法，我们都采取其对应文献中建议的参数设置并保留其在每个实验数据集上得到的最好结果。对于AMGCSC，我们的参数设置在AGCSC的基础上进行了再次细化以追求更好的实验效果。AMGCSC的参数选择区间为 $\left\{1\text{e}-5,1\text{e}-4,1\text{e}-3,5\text{e}-3,0.01,0.05,0.1,0.5,1,2,10,100\right\}$。

4) 评价指标：为了能更全面地评估所有算法的性能，我们使用获得的重构系数矩阵去构建无任何后处理的亲和矩阵。本文采用了准确率(Accuracy, ACC)、归一化互信息(Normalized Mutual Information, NMI)、纯度(Purity)调整兰德系数(Adjusted Rand Index, ARI)、F值(F-score)、查准率(Precision)、查全率(Recall)共计七个评价指标进行量化，对于上述七个评价指标而言，数值越高表示聚类性能越好。

我们在MALAB中生成了一个8 × 8的包含负数的块对角矩阵。

$X=\left(\begin{array}{cccccccc}-1& -1& 0& 0& 0& 0& 0& 0\\ -1& -1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& -1& -1\\ 0& 0& 0& 0& 0& 0& -1& -1\end{array}\right)$

显然该矩阵包含四个对角块，由于在相同的数据集上对不同算法进行实验可以充分地比较出不同聚类算法的性能优劣。故我们在上述数据上应用了不同算法进行聚类实验。

图1 展示了由我们提出的算法和AGCSC在人造数据集上获得的两个系数矩阵，我们可以看到：

1) AGCSC未呈现正确的聚类结果，AMGCSC的聚类结果为4类，AMGCSC获得了准确的聚类结果；

2) 通过对AGCSC相关工作的分析以及在具体实验的过程中我们可以发现AGCSC的对称限制及非负限制会对真实的聚类结果造成影响，如遇到了负的表示系数就会难以处理，算法中可能会出现计算错误，使其无法得到正确的聚类结果；

3) 去掉AGCSC关于矩阵C对称及非负的限制后转而代换为约束幂等亲和矩阵W，以此方法进行改进的AMGCSC就可以很好规避该影响，使得重构系数矩阵有了更好的表示能力，从而获得数据的真实分类情况(4类)。且可以在更一般的情况下进行使用，无论何种表示系数都能得到准确的聚类结果；

图1. AGCSC、AMGCSC的子空间聚类分块结果。(a) AGCSC分块结果；(b) AMGCSC分块结果

从上述实验以及分析中我们不难发现AMGCSC是克服了AGCSC的缺陷的一个更加准确且普适的子空间聚类算法。但人工合成的数据集是在未考虑噪声的情况下进行实验。而真实数据集大部分都是存在噪声的，故我们又在真实数据集中进行了大量实验。

1) ORL人脸数据库是目前使用最广泛的标准人脸数据库。共有40个不同年龄、不同性别和不同种族的对象。每个人10幅图像共计400幅灰度图像组成，图像尺寸是32 × 32，图像背景为黑色。其中人脸部分表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着，戴或不戴眼镜等，人脸姿态也有变化，其深度旋转和平面旋转可达20度，人脸尺寸也有最多10%的变化。在本数据集的实验中，我们选取了40类图像，每类选取了10张人脸图进行实验。ORL数据集部分样本展示如 图2(a) 。

2) PIE数据集是著名人脸识别数据库，经常被应用于各种聚类实验。该数据集共包含68个人，每人约170张正脸、左右侧脸、正脸微笑以及不同角度光照下的人脸图片，原始图像大小为32 × 32，共计11,554张。在本数据集的实验中，我们选取了8类图像，每类选取60张人脸图进行实验。PIE数据集部分样本展示如 图2(b) 。

图2. 人脸数据集的样本图像。(a) ORL数据集样本图像；(b) PIE数据集样本图像

然而，两个数据集上每个图像的像素都位于[0, 255]之间，为了便于计算且得到更好的聚类结果，我们将每个像素值都除以255，这一做法可以在不改变原始数据分布的情况下使得每个像素值都位于[0, 1]之间。

在每个子空间上，我们评估了这些方法的表现。随着参数的变化，我们发现聚类结果有很大的不同。为了防止随机性，我们统一固定了每组实验的中心以保证在不同次实验中同一算法、同一组数据在同一参数下得到的聚类结果是相同的。详细实验结果见 表2~3 。

MNIST数据集包含0~9共计十个手写体数字，每个手写体数字包含200个样本，共计2000个。每个图像像素大小为28 × 28。MNIST数据集部分样本展示如 图3 。在本数据集的实验中，我们选取了3类作为实验对象，每类选取200张手写数字图像进行实验。

我们使用了同人脸数据集参数调节及固定中心相同的实验方法对不同算法在MNIST数据集上进行评估，得到的实验结果见 表4 。

COIL20数据集是灰度图片集合，包含了对20个物体从不同角度的拍摄，每隔5度拍摄一张图像，每个物体有72张图像，共计1440张图像。每张图像大小进行了统一处理为32 × 32。COIL20数据集的样本展示如 图4 。

图4. COIL20数据集的样本图像。(a) COIL20数据集的样本图像；(b) COIL20数据集的第一个样本图像

在本数据集的实验中，我们随机选取了10类物体每类选取70张图像作为实验对象对不同算法进行评估。采取的参数调节及固定中心方法与上述方法相同。得到的实验结果见 表5 。

在 表2~5 中，我们对在不同指标下表现最好的两种算法进行了加粗标注。综合各个指标的聚类结果，可以直观地看到，我们的算法在上述四个数据集中都获得了极为不错的表现。在ORL、MNIST、COIL20数据集上，AMGCSC各评价指标都取得了第一，展现了最优的聚类表现。但在PIE数据集上，IDR取得了最好的结果，但AMGCSC取得了仅次于IDR的结果，也可以充分证明AMGCSC在实践中的有效性。