辽宁师范大学数学学院，辽宁 大连

收稿日期：2023年9月9日；录用日期：2023年10月10日；发布日期：2023年10月18日

摘要

近年来，多视图子空间聚类是一个热点话题，基于低秩张量的方法受到广泛关注。为了更好地挖掘不同视图间的高阶关联性，本文采用最新基于t-SVD的张量核范数，使用系数矩阵的核范数和Frobenius范数作为正则项。在PIE、ORL、MSRA和MNIST四个数据集上与流行的子空间聚类算法的对比试验表明，本文提出的算法是一个有效的方法。

关键词

子空间聚类，低秩张量表示，Frobenius范数，张量核范数

Multi-View Subspace Clustering Based on Low-Rank Tensor Representation

Huan Li, Kewei Tang

School of Mathematics, Liaoning Normal University, Dalian Liaoning

Received: Sep. 9^th, 2023; accepted: Oct. 10^th, 2023; published: Oct. 18^th, 2023

ABSTRACT

In recent years, multi-view subspace clustering has been a hot topic, and methods based on low-rank tensors have received widespread attention. In order to better mine the high-order correlation between different views, this paper adopts the latest tensor kernel norm based on t-SVD, using the kernel norm and Frobenius norm of the coefficient matrix as regularization terms. Comparative experiments with popular subspace clustering algorithms on four data sets: PIE, ORL, MSRA and MNIST show that the algorithm proposed in this article is an effective method.

Keywords:Subspace Clustering, Low-Rank Tensor Representation, Frobenius Norm, Tensor Core Norm

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

多视图学习一直是人工智能和数据分析中一个活跃的话题，因为多视图数据在实际应用中普遍存在并且影响着人们生活的方方面面。例如：网页可以通过使用页面文本和超链接来表示；图像可以用不同类型的特征来描述，如颜色、边缘和纹理，这样有助于提供更多的互补性和差异性的信息。多视图学习主要包括多视图聚类、分类和去噪等，旨在寻找有意义的数据组，对各种现实世界的应用非常重要。

本文将研究多视图子空间聚类问题，子空间聚类在近20年来一直受到学者们的广泛关注，已知采样于多个线性子空间的数据点，子空间聚类的任务是把这些数据点按照各自所在的线性子空间进行聚类。传统的子空间聚类方法主要是单视图方法，经典的方法包括低秩表示算法(LRR) [1] ，主要思路是通过低秩性得到子空间表示矩阵，然后构造相似度矩阵，最后利用谱聚类算法来得到最终的聚类结果。关于LRR的改进扩展有很多工作，最小二乘回归(LSR) [2] 对子空间表示矩阵采用了F范数的惩罚，这种做法不仅能大大提升算法速度，还能得到同LRR一样的理论保证结果。如果将LRR这样的传统子空间聚类方法用于多视图数据集，只能将不同视图的数据进行拼接或者仅仅使用某个视图的信息，完全忽视了各个视图间的关系，因为不同的视图通常包含可以利用的彼此互补的信息。因此，利用这种信息以揭示多视图数据的潜在价值的方法在大数据研究中非常重要。多视图聚类在实践中越来越流行，对多视图聚类模型和算法的研究越来越受到人们的关注。多视图聚类的关键是如何融合多个视图提供的信息，以提高聚类性能。近年来，学者们提出了诸多多视图子空间聚类方法，各种方法都是基于两个重要的原则，共识原则或补充原则，尽可能充分地融合各个视图提供的互补的信息，以改进由单个视图中的有限信息生成的聚类结果。

早期的多视图子空间聚类方法包括多视图子空间聚类(MSVC) [3] ，该方法通过让不同视图的子空间表示矩阵得到一致的聚类结果来引入一致性。文章 [3] 通过构造不同视图间子空间表示矩阵的正则项引入多样性，该性质考虑了不同视图间的互补关系，文章 [3] 同时考虑了视图间的多个性质，包括一致性、排他性。近几年，有一些工作利用深度网络来处理多视图子空间聚类问题，但是视图间的关系仍然被这些方法所关注。

上述多视图聚类方法已经取得了良好的效果，但还是没有有效的利用多视图数据间的互补信息。针对这一问题，张等 [4] 提出了低秩张量约束的多视图子空间聚类(LT-MSC)方法，该技术可以挖掘多视图数据的空间结构和高阶信息，考虑视图间的高阶相关性，从而进一步提高聚类性能。其方法是将不同视图的子空间表示矩阵视为一个张量，然后亲和矩阵的推导是一个张量核范数最小化问题，但其张量核范数是基于Tucker分解的，而Tucker分解并不是秩函数的凸松弛。与上述方法相比，谢等 [5] 提出的多视图子空间聚类是基于张量奇异值(t-SVD)分解的，基于t-SVD分解的张量核范数已被证明是一种有效的凸松弛。但上述方法同等的对待每一个奇异值，限制了处理问题的灵活性，所以高等 [6] 提出了加权张量核范数的多视图聚类方法。但以上两种基于t-SVD分解的张量核范数是多秩的凸松弛，在t-SVD代数框架下定义的张量核范数中，它并不是最为严格的。此外，上述方法在计算各个视图的子空间表示矩阵时，并没有对表示矩阵进行任何惩罚，无法确保得到的表示矩阵能够很好地挖掘数据间的关系。

为了克服上述方法的局限性，本文提出了低秩张量表示方法(LRTR)，基于LSR的思路，我们的方法对各个视图的子空间表示矩阵引入了F范数的惩罚，这样可以在确保数据间关系被较好地挖掘的同时不增加算法的计算量，此外，本文采用卢等 [7] 提出的新的张量核范数，他们将张量乘积看作是一个算子，然后利用算子范数诱导出张量谱范数，最后将张量谱范数的对偶范数定义为张量核范数。他们还提出了张量平均秩的概念，同时证明了张量核范数是张量平均秩在张量谱范数单位球里的凸松弛。这个框架，包括新的张量核范数概念及其关系，与矩阵情况下的框架是一致的。

2. 基本概念与预备知识

本文提出的多视图聚类主要是在矩阵和3阶张量基础上开展的，在介绍具体之前，先将涉及到的符号进行简单的介绍。一些常见符号如表1所示。

表1. 相关符号

给定任意张量 $\mathcal{A}\in R^{n_1\times n_2\times n_3}$ ，引入bcirc、unfold和fold算子。 $\text{bcirc}\left(\mathcal{A}\right)$ 表示张量 $\mathcal{A}$ 的块循环矩阵

$\text{bcirc}\left(\mathcal{A}\right)=\left[\begin{array}{cccc}{A}^{\left(1\right)}& A^{\left(n_3\right)}& \cdots & A^{\left(2\right)}\\ A^{\left(2\right)}& A^{\left(1\right)}& \cdots & A^{\left(3\right)}\\ ⋮& ⋮& \ddots & ⋮\\ A^{\left(n_3\right)}& A^{\left(n_3-1\right)}& \cdots & A^{\left(1\right)}\end{array}\right]$

算子unfold和它的逆算子fold为

$\text{unfold}\left(�\right)=\left[\begin{array}{c}{A}^{\left(1\right)}\\ A^{\left(2\right)}\\ ⋮\\ A^{\left(n_3\right)}\end{array}\right]\in R^{n_1{n}_3\times n_2}$ , $\text{fold}\left(\text{unfold}\left(�\right)\right)=�$

定义1-1 (张量t-积)：两个张量 $\mathcal{A}\in R^{n_1\times r\times n_3}$ 和 $\mathcal{B}\in R^{r\times n_2\times n_3}$ 的t-积为大小为 $n_1\times n_2\times n_3$ 的张量：

$\mathcal{A}\ast \mathcal{B}=\text{fold}\left(\text{bcirc}\left(\mathcal{A}\right)\cdot \text{unfold}\left(\mathcal{B}\right)\right)$ (1)

定义1-2 (共轭转置)：张量 $\mathcal{A}\in C^{n_1\times n_2\times n_3}$ 的共轭转置为 ${\mathcal{A}}^{\ast }\in C^{n_2\times n_1\times n_3}$ ，它是通过先将 $\mathcal{A}$ 的每个正面切片共轭转置，然后从第二个正面切片到第 $n_3$ 个正面切片依次交换位置得到。

定义1-3 (单位张量)：若存在张量 $\mathcal{I}\in R^{n_1\times n_1\times n_3}$ ，它的第一个正面切片为单位矩阵，其余前向切片均为 $n_1\times n_1$ 的零矩阵，则称 $\mathcal{I}$ 为单位张量。

定义1-4 (正交张量)：若存在张量 $\mathcal{Q}\in R^{n\times n\times n_3}$ 满足 ${\mathcal{Q}}^{\ast }\ast \mathcal{Q}=\mathcal{Q}\ast {\mathcal{Q}}^{\ast }=\mathcal{I}$ ，则称 $\mathcal{Q}$ 为正交张量。

定义1-5 (f-对角张量)：若张量 $\mathcal{A}\in R^{n_1\times n_1\times n_3}$ 的所有正面切片都为对角矩阵，则称 $\mathcal{A}$ 为f-对角张量。

定义1-6 (张量奇异值分解)：张量 $\mathcal{A}\in R^{n_1\times n_2\times n_3}$ 的张量奇异值分解(t-SVD)如图1所示，定义为

$\mathcal{A}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^{\ast }$ (2)

其中 $\mathcal{S}\in R^{n_1\times n_2\times n_3}$ 为f-对角张量， $\mathcal{U}\in R^{n_1\times n_1\times n_3}$ 和 $\mathcal{V}\in R^{n_2\times n_2\times n_3}$ 为正交张量。

图1. 三阶张量的张量奇异值分解示意图

定义1-7 (张量平均秩 [7] )：对于张量 $\mathcal{A}\in R^{n_1\times n_2\times n_3}$ ，其平均秩定义为

${\text{rank}}_a\left(\mathcal{A}\right)=\frac{1}{n_3}\text{rank}\left(\text{brirc}(\; A\; )\right)$

定义1-8 (张量管秩 [7] )：给定张量 $\mathcal{A}\in R^{n_1\times n_2\times n_3}$ 和它的t-SVD分解 $\mathcal{A}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^{\ast }$ ，张量 $\mathcal{A}$ 的管秩定义为张量 $\mathcal{S}$ 的所有管纤维中非零向量的个数，即

${\text{rank}}_t\left(\mathcal{S}\right)=\text{\#}\left\{i,\mathcal{S}\left(i,i,:\right)\ne 0\right\}$

在文献 [7] 中，作者卢等人利用离散傅里叶变换的性质得到如下结论：

$\mathcal{S}\left(i,i,1\right)=\frac{1}{n_3}{\displaystyle \underset{j=1}{\overset{n_3}{\sum }}\bar{\mathcal{S}}\left(i,i,j\right)}$

由上式可知， $\mathcal{S}$ 的管纤维是否为零向量等价于 $\mathcal{S}$ 的第一个正面切片对角线元素是否为零，则由此定义 $\mathcal{S}$ 的第一个正面切片对角线元素为张量 $\mathcal{A}$ 的奇异值，张量的管秩等价定义为非零张量奇异值的个数，即

${\text{rank}}_t\left(\mathcal{A}\right)=\text{\#}\left\{i,\mathcal{S}\left(i,i,1\right)\ne 0\right\}$

这同矩阵秩的定义在某种程度上具有一致性。

定义1-9 (张量核范数 [7] )：给定张量 $\mathcal{A}\in R^{n_1\times n_2\times n_3}$ ，若其t-SVD分解为 $\mathcal{A}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^{\ast }$ ，那么它的张量核范数(TNN)定义为

${\Vert \mathcal{A}\Vert }_{\ast }={\displaystyle \underset{i=1}{\overset{r}{\sum }}\mathcal{S}\left(i,i,1\right)}$

其中，r为 $r={\text{rank}}_t(\; A\; )$

3. 基于LRTR的多视图子空间聚类

本文提出了低秩张量表示算法(Low Rank Tensor Representation, LRTR)，多个视图特征矩阵堆叠可以形成张量，因此我们引入了一个低秩张量约束，并且联合核范数和Frobenius范数构建模型。

3.1. 基于自表示的子空间聚类

子空间聚类的方法是将数据聚类成多个子空间。本文考虑了基于自表示的子空间聚类方法，该方法通过重构系数构造亲和矩阵。假设 $X=\left[x_1,x_2,\cdots ,x_N\right]\in R^{D\times N}$

为数据向量的矩阵，其中每列为D维样本向量。为了将数据聚类到各自的子空间中，我们首先计算一个子空间表示矩阵如下：

$\begin{array}{l}\underset{Z,E}{\text{min}}R\left(Z\right)+\lambda L\left(X,Z\right)\\ \text{s}\text{.t}\text{.}X=XZ+E,\end{array}$ (3)

其中 $Z=\left[z_1,z_2,\cdots ,z_N\right]\in R^{N\times N}$ 是子空间表示矩阵，E为重构误差矩阵。 $L\left(:,:\right)$ 表示损失函数， $R(\cdot )$ 是正则化器， $\lambda$ 是控制损失强度的参数。在得到自表示矩阵Z后，得到一个亲和矩阵 $\left(\left|Z\right|+\left|Z^{\text{T}}\right|\right)/2$ ， $\left|Z\right|$ 为Z元素取绝对值形成的矩阵，并输入谱聚类算法，得到最终的聚类结果。尽管取得了很好的性能，但所有这些方法都集中在单视图数据上。一种扩展式(3)处理多视图数据的方式如下：

$\begin{array}{l}\underset{Z^{\left(v\right)},E^{\left(v\right)}}{\min }{\displaystyle \underset{v=1}{\overset{V}{\sum }}\left(R\left(Z^v\right)+{\lambda }_{v}L\left(X^{\left(v\right)}\right),\left(Z^{\left(v\right)}\right)\right)}\\ \text{s}\text{.t}.X^{\left(v\right)}=X^{\left(v\right)}{Z}^{\left(v\right)}+E^{\left(v\right)},v=1,2,\cdots ,V,\end{array}$ (4)

其中 $X^{\left(v\right)}$ ， $Z^{\left(v\right)}$ 和 $E^{\left(v\right)}$ 表示第v个视图的数据矩阵、子空间表示矩阵和重构误差矩阵。 ${\lambda }_v$ 是第v个视图控制损失惩罚强度的参数。然而，这种方式只独立地考虑每个视图，而忽略了不同视图之间的相关性。为了解决这个问题，我们建议用张量约束这些亲和矩阵。

3.2. 构建LRTR算法的目标函数

我们在子空间聚类中引入了一个低秩张量约束，并提出了一个基于LRTR的多视图子空间聚类算法，联合学习不同视图的子空间表示，探索不同视图之间的内在相关性。首先我们利用张量将不同视图的特征自表示信息进行统一建模，并使用新的张量核范数进行约束，得到初步目标函数为：

$\begin{array}{c}\underset{Z^{\left(v\right)},E^{\left(v\right)}}{\min }{\Vert \mathcal{Z}\Vert }_{\ast }+\lambda {\Vert E\Vert }_{2,1},\\ \text{s}\text{.t}\text{.}{X}^{\left(v\right)}=X^{\left(v\right)}{Z}^{\left(v\right)}+E^{\left(v\right)},v=1,2,\cdots ,V,\\ \mathcal{Z}=\Psi \left(Z^{\left(1\right)},Z^{\left(2\right)},\cdots ,Z^{\left(V\right)}\right),\\ E=\left[E^{\left(1\right)};E^{\left(2\right)};\cdots ;E^{\left(V\right)}\right],\end{array}$ (5)

其中 $\Psi (\cdot )$ 通过合并不同的表示矩阵 $Z^{\left(v\right)}$ 来构造一个三阶张量 $\mathcal{Z}$ ，其维数为 $N\times N\times V$ ， $E=\left[E^{\left(1\right)};E^{\left(2\right)};\cdots ;E^{\left(V\right)}\right]$ 是通过沿着每个视图对应误差的列垂直连接在一起而形成的。并应用 $l_{2,1}$ 范数 ${\Vert \cdot \Vert }_{2,1}$ 鼓励E在列中保持稀疏。我们对不同视图的数据矩阵进行归一化，以迫使不同视图的误差是相同的尺度，这可以减少不同视图之间误差幅度的变化。直观地说，式(5)中的目标函数通过共同协作多个视图来寻求自我呈现的最低秩。

在确保数据间关系被较好地挖掘的同时不增加算法的计算量，我们加入矩阵 $Z^{\left(v\right)}$ 奇异值的 $l_2$ 范数惩

罚函数 ${\Vert Z^{\left(v\right)}\Vert }_F^2$ 。因此式(5)中的 ${\Vert \mathcal{Z}\Vert }_{\ast }$ 可以优化为 ${\Vert \mathcal{Z}\Vert }_{\ast }+\beta {\displaystyle \underset{v=1}{\overset{V}{\sum }}{\Vert Z^{\left(v\right)}\Vert }_F^2}$ ， $\beta$ 用于平衡 ${\Vert \mathcal{Z}\Vert }_{\ast }$ 和 ${\displaystyle \underset{v=1}{\overset{V}{\sum }}{\Vert Z^{\left(v\right)}\Vert }_F^2}$ 的关系。由于 ${\displaystyle \underset{v=1}{\overset{V}{\sum }}{\Vert Z^{\left(v\right)}\Vert }_F^2}={\Vert \mathcal{Z}\Vert }_F^2$ ，因此我们得到的目标函数为：

$\begin{array}{c}\underset{Z^{\left(v\right)},E^{\left(v\right)}}{\min }{\Vert \mathcal{Z}\Vert }_{\ast }+\lambda {\Vert E\Vert }_{2,1}+\beta {\Vert \mathcal{Z}\Vert }_F^2,\\ \text{s}\text{.t}\text{.}{X}^{\left(v\right)}=X^{\left(v\right)}{Z}^{\left(v\right)}+E^{\left(v\right)},v=1,2,\cdots ,V,\\ \mathcal{Z}=\Psi \left(Z^{\left(1\right)},Z^{\left(2\right)},\cdots ,Z^{\left(V\right)}\right),\\ E=\left[E^{\left(1\right)};E^{\left(2\right)};\cdots ;E^{\left(V\right)}\right],\end{array}$ (6)

3.3. 求解LRTR算法的目标函数

我们采用ADMM算法 [8] 求解式(6)，引入辅助变量 $\mathcal{G}$ ，式(6)可以转变为

$\begin{array}{c}\underset{Z^{\left(v\right)},E^{\left(v\right)}}{\min }{\Vert \mathcal{G}\Vert }_{\ast }+\lambda {\Vert E\Vert }_{2,1}+\beta {\Vert \mathcal{G}\Vert }_F^2,\\ \text{s}\text{.t}\text{.}{X}^{\left(v\right)}=X^{\left(v\right)}{Z}^{\left(v\right)}+E^{\left(v\right)},v=1,2,\cdots ,V,\mathcal{Z}=\mathcal{G},\\ \mathcal{Z}=\Psi \left(Z^{\left(1\right)},Z^{\left(2\right)},\cdots ,Z^{\left(V\right)}\right),\\ E=\left[E^{\left(1\right)};E^{\left(2\right)};\cdots ;E^{\left(V\right)}\right],\end{array}$ (7)

式(7)的增广拉格朗日函数为

$\begin{array}{l}L\left(Z^{\left(1\right)},\cdots ,Z^{\left(v\right)};E^{\left(1\right)},\cdots ,E^{\left(v\right)};Y^{\left(v\right)};\mathcal{G},\mathcal{W}\right)\\ ={\Vert \mathcal{G}\Vert }_{\ast }+\lambda {\Vert E\Vert }_{2，1}+\beta {\Vert \mathcal{G}\Vert }_F^2+{\displaystyle \underset{v=1}{\overset{V}{\sum }}\langle Y^{\left(v\right)},X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}-E^{\left(v\right)}\rangle }\\ +\frac{\mu }{2}{\displaystyle \underset{v=1}{\overset{V}{\sum }}{\Vert X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}-E^{\left(v\right)}\Vert }_F^2}+\langle \mathcal{W},\mathcal{Z}-\mathcal{G}\rangle +\frac{\mu }{2}{\Vert \mathcal{Z}-\mathcal{G}\Vert }_F^2\end{array}$ (8)

其中 $Y^{\left(v\right)}$ ， $\mathcal{W}$ 为拉格朗日乘子， $\mu$ 为惩罚参数。使用ADMM对每个变量进行交替更新。

固定变量E， $\mathcal{G}$ ，更新 $Z^{\left(v\right)}$ ，即：

$\underset{Z^{\left(v\right)}}{\min }\langle Y^{\left(v\right)},X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}-E^{\left(v\right)}\rangle +\frac{\mu }{2}{\Vert X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}-E^{\left(v\right)}\Vert }_F^2+\langle W^{\left(v\right)},Z^{\left(v\right)}-G^{\left(v\right)}\rangle +\frac{\mu }{2}{\Vert Z^{\left(v\right)}-G^{\left(v\right)}\Vert }_F^2$ (9)

式(9)对 $Z^{\left(v\right)}$ 求导并令导数等于0，可以求得：

$Z^{\left(v\right)}{}^{\ast }={\left(X^{\left(v\right)}{}^{\text{T}}{X}^{\left(v\right)}+I\right)}^{-1}\left(X^{\left(v\right)}{}^{\text{T}}{X}^{\left(v\right)}-X^{\left(v\right)}{}^{\text{T}}{E}^{\left(v\right)}+X^{\left(v\right)}{}^{\text{T}}\frac{Y^{\left(v\right)}}{\mu }+G^{\left(v\right)}-\frac{W^{\left(v\right)}}{\mu }\right)$ (10)

固定变量 $Z^{\left(v\right)}$ ， $\mathcal{G}$ ，更新E，即：

$\begin{array}{c}{E}^{\ast }=\underset{E}{\arg \min }\lambda {\Vert E\Vert }_{2,1}+{\displaystyle \underset{v=1}{\overset{V}{\sum }}\langle Y^{\left(v\right)},X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}-E^{\left(v\right)}\rangle }+\frac{\mu }{2}{\displaystyle \underset{v=1}{\overset{V}{\sum }}{\Vert X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}-E^{\left(v\right)}\Vert }_F^2}\\ =\underset{E}{\arg \min }\frac{\lambda }{\mu }{\Vert E\Vert }_{2,1}+\frac{1}{2}{\Vert E-F\Vert }_F^2\end{array}$ (11)

式中F为 $X^{\left(v\right)}-X^{\left(v\right)}{Z}^{\left(v\right)}+\frac{Y^{\left(v\right)}}{\mu }$ 沿着列垂直连接形成的矩阵。式(11)也有闭解，可以通过 $l_{2,1}$ 范数最小化算子求解，由引理1给出。

引理1 [1] 给定矩阵 $F=\left[f_1,f_1,\cdots ,f_n\right]$ ，如果优化问题 $\underset{X}{\min }\tau {\Vert X\Vert }_{2,1}+\frac{1}{2}{\Vert X-F\Vert }_F^2$ 的解为 $X^{\ast }$ ， $X^{\ast }$ 的第i列由式(12)获得。

$X^{\ast }\left(:,i\right)=\{\begin{array}{l}\frac{{\Vert f_i\Vert }_2-\tau }{{\Vert f_i\Vert }_2}{f}_i,\tau <{\Vert f_i\Vert }_2\\ 0,\tau \ge {\Vert f_i\Vert }_2\end{array}$ (12)

固定变量E， $Z^{\left(v\right)}$ ，更新 $\mathcal{G}$ ，即：

$\underset{\mathcal{G}}{\min }{\Vert \mathcal{G}\Vert }_{\ast }+\beta {\Vert \mathcal{G}\Vert }_F^2+\frac{\mu }{2}{\Vert \mathcal{Z}-\mathcal{G}+\frac{\mathcal{W}}{\mu }\Vert }_F^2$ (13)

式(13)可变为：

$\underset{\mathcal{G}}{\min }\frac{1}{2\beta +\mu }{\Vert \mathcal{G}\Vert }_{\ast }+\frac{1}{2}{\Vert \mathcal{G}-\mathcal{H}\Vert }_F^2$ (14)

式中 $\mathcal{H}=\frac{\mu \mathcal{Z}+\mathcal{W}}{2\beta +\mu }$ ，基于t-SVD分解的张量核范数最小化问题可以对 $\mathcal{H}$ 进行奇异值阈值(SVT) [7] 操作求解，即

${\mathcal{G}}^{\ast }=\mathcal{U}\ast T_{\tau }\left({\mathcal{S}}_{\mathcal{H}}\right)\ast {\mathcal{V}}^{\text{T}}$ (15)

式中 $\tau =\frac{1}{2\beta +\mu }$ ， $\mathcal{U}\ast {\mathcal{S}}_H\ast {\mathcal{V}}^{\text{T}}$ 是 $\mathcal{H}$ 的t-SVD分解， $T_{\tau }\left({\mathcal{S}}_{\mathcal{H}}\right)=\text{ifft}\left({\left({\bar{\mathcal{S}}}_{\mathcal{H}}-\tau \right)}_{+},\left[\right],3\right)$

其算法总结如下：

3.4. 基于LRTR的多视图子空间聚类

我们将基于自表示的子空间聚类扩展到多视图，通过使用张量约束来探索不同视图之间的相关性。通过求解目标函数(7)得 ${\mathcal{Z}}^{\ast }$ ，然后共同构建了亲和矩阵 $S=\frac{1}{V}{\displaystyle {\sum }_{i=1}^V\left(\left|Z\left(:,:,i\right)\right|+\left|Z{\left(:,:,i\right)}^{\text{T}}\right|\right)}$ ，目的是捕获不同视图之间的高阶相关性，最后应用基于亲和矩阵S的谱聚类算法 [9] ，得到聚类结果。

4. 实验

4.1. 实验设置

4.1.1. 数据集

为验证方法的有效性，我们在以下4个数据集上进行了几组实验。

1) PIE数据集是一个有代表性的人脸图像数据集，广泛地应用于聚类实验。该数据集包含68类在不同姿态、光照和表情下的11,554张人脸图像，每幅图像的大小是32 × 32。在本节实验中，我们从中选取20类图像，每类取150张进行实验，分别提取了强度、HOG [10] 和Gabor [11] 三种特征。

2) ORL数据集为40个不同人的人脸，对于每个人，都有在不同的时间段，以不同的面部表情，面部细节以及光照条件拍摄的10张人脸图像，共400张图像，图像的大小为32 × 32，该数据集提取了3种特征集，即4096维强度特征，3304维LBP [12] 特征和6750维Gabor特征。

3) MSRA数据集是含有六个试图数据的数据集，包含了7个不同类别的210张图像，其中，每个类别包含30幅图像。

4) MNIST数据集包含大小为28 × 28像素的手写数字的灰度图像。本文选取十类作为实验对象，每类10张，分别提取强度、LBP和Gabor三种特征作为多视图数据的不同视图。

4.1.2. 对比算法

为了说明提出算法的有效性，我们将在实验数据集上与下列7个相关算法进行对比：

1) SPCbest [13] ，对各个视图数据执行谱聚类算法，选取结果最好的那个视图作为结果。

2) LRRbest [1] ，对各个视图数据实施低秩约束，执行LRR算法，最后选取结果最好的那个视图。

3) RMSC [14] ，基于稀疏和低秩特性，首先从每个视图中构造出转移概率矩阵，并使用这些矩阵对共享的低秩转移概率矩阵进行恢复。

4) LT-MSC [4] ，将子空间表示矩阵构成张量并基于Tucker分解进行低秩张量约束，以此获取各个视图之间的高阶相关性，并对融合后的子空间表示矩阵进行谱聚类。

5) t-SVD-MSC [5] ，基于张量奇异值分解，对旋转张量施加一种低秩张量约束，最后对亲和矩阵进行谱聚类。

6) ETLMSC [15] ，基于马尔可夫链的谱聚类，提出一种新的基本张量学习方法来探索多视图表示的高阶相关性。

7) UGLTL [16] ，联合学习投影子空间中的最优亲和矩阵及其固有的低秩张量，用于多视图聚类。

4.1.3. 评价指标

为了综合评估聚类的性能，本文采用6个评价指标对结果进行度量，分别是：精确度(ACC) [17] 、归一化互信息(NMI) [17] 、调整兰德指数(ARI) [17] 、F值(F-score)、查准率(Precision) [17] 以及查全率(Recall) [17] 。对于所有指标，值越高表示性能越好。

4.2. 实验结果与分析

表2~5为各算法在4个数据集上的测试结果，从表中可以看出，本文提出的算法都取得了最佳聚类性能。而且本文算法在ORL、MSRA和MNIST数据集上各项评价指标都达到了100%。由上述实验可以发现，与其他传统算法相比，基于张量的方法在所有数据集上综合表现的更好，主要归功于张量低秩最小化对多视图高阶相关性的有效探索。值得注意的是，LT-MSC是基于展开的张量核范数的方法，它是塔克秩的松弛替代。由于松弛性，LT-MSC方法整体的聚类性能比其他基于张量的方法差一些。而本文算法使用最新的张量核范数并且添加正则项后，与LT-MSC、t-SVD-MSC和ETLMSC相比有明显的进步，相比最有竞争力的UGLTL算法仍体现出优越性。

表2. PIE数据集上实验结果

表3. ORL数据集上实验结果

表4. MSRA数据集上实验结果

表5. MNIST数据集上实验结果

5. 结论

本文提出了基于LRTR的多视图子空间聚类方法，在原有LT-MSC模型的基础上做了改进，对各个视图的子空间表示矩阵引入了F范数的惩罚，这样可以确保数据间关系被较好地挖掘，此外，本文采用新的张量核范数，深入探索了各视图之间的高阶相关性。最后，在4种数据库上的实验结果表明了本文算法的有效性。对于未来的工作，我们计划借助卷积神经网络来学习亲和矩阵，进一步提高多视图子空间聚类算法的性能。

基金项目

国家自然科学基金项目(62076115)。

文章引用

李 欢,唐科威. 基于低秩张量表示的多视图子空间聚类
Multi-View Subspace Clustering Based on Low-Rank Tensor Representation[J]. 理论数学, 2023, 13(10): 2877-2887. https://doi.org/10.12677/PM.2023.1310294

参考文献