非负矩阵分解与K-means聚类

1. 对称非负矩阵分解(Symmetric NMF)与Kernel K-means聚类

1.1 Kernel K-means聚类

假设数据的形式为一个m×n的矩阵X，n表示样本的个数，m表示一个样本的特征维度：

聚成K个类，其中每个类的中心表示为：

K-means的目标函数为最小化以下平方误差和：

                                                            （1）

用K个非负指示向量表示聚类的解，第k个类：，

很明显hk为单位向量且两两正交，令 ，因此H为正交矩阵，满足。

引入H，将公式（1）的范数展开，写成迹的形式：

                                                                                                                  （2）

由于公式（2）的第一项是常数，令，K-means的目标函数可以转化为（注意非负性与正交性）

                                                                                                             （3）

W矩阵（表示原始矩阵X点与点之间的相似性？）是标准的内积线性核矩阵，可以被替换成任意核函数。

利用非线性转换，公式（1）可以转换为

                                                                        （4）

忽略公式（4）的第一项（常数），令核矩阵，核K-means聚类简化为公式（3）。

1.2 对称非负矩阵分解(Symmetric NMF)

对称非负矩阵分解目标函数：

                                                                                                                                   （5）

定理1. 松弛正交约束的核K-means与对称非负矩阵分解等价。

证明：从K-means的目标函数公式（3）着手，转换为

            （6）

公式（6）中添加了两个常量和（因为有正交约束才成立），放松（忽略）公式（6）的正交约束即与对称非负矩阵分解等价。#

观察2. 对称非负矩阵分解可以保留H的近似正交性。

证明：通过公式（6）的推导我们可以看出，对称非负矩阵分解的目标函数等价于同时满足

（1）；（2）。

对于第2个目标函数，

因为，所以近似为一个常量。

因此第2个目标函数可以变成，确保了H（列）的近似正交性。

H的列正交性保证H的每一行只能有一个非零元素，意味着每一个数据样本只属于一个类。这就是hard-clustering（K-means）。

近似正交性放松了这个条件，每个数据样本可能属于多个类。这就是soft-clustering。