如何评价聚类结果的好坏？

您好！

在不借助外部标签 (ground truth) 的情况下，可以使用聚类有效性指标 (CVIs: cluster validity indices) 来做评估。关于 CVIs，我个人比较推荐一个综述：Arbelaitz, Olatz, et al. "An extensive comparative study of cluster validity indices." Pattern Recognition 46.1 (2013): 243-256.

但是，目前经典的和一些新的 CVIs，对含有非球状结构 (non-spherical structure) 的数据集不太能work，这也导致目前的 CVIs 难以具有通用性和鲁棒性，且局限于 K-means 所能处理的类结构。

如果要去评估谱聚类 (如 normalized cuts 算法) 所产生的复杂类结构，其质量如何呢？那么目前的 CVIs 是失效的。究其一个根本原因，在于没有考虑聚类形成所依赖的密度连接性 (density connectivity)。至于为什么 density connectivity 可以是聚类的一个普遍机制，这里不展开，不妨看看这篇小文章：E. Schubert, S. Hess, and K. Morik. "The Relationship of DBSCAN to Matrix Factorization and Spectral Clustering". In: LWDA. Vol. 2191. CEUR Workshop Proceedings. 2018, pp. 330–334.

以上，我提出了一个新的聚类有效性指标，叫 CVDD，其基于密度融合距离 (density-involved distance)，将类间分离性 (separability) 做了更精细的量化，我们知道欧式距离 (euclidean metric) 是不能处理非线性可分的情况的。论文附代码如下：

Lianyu Hu, and Caiming Zhong. "An internal validity index based on density-involved distance." IEEE Access (2019). (Code)

本文实验对比了该知乎回答下所多次提及的 S_Dbw、CVNN - Liu, Yanchi, et al. "Understanding and enhancement of internal clustering validation measures."IEEE transactions on cybernetics (2013).

与本文思想近似的论文：Xie J, Xiong Z Y, Dai Q Z, et al. A new internal index based on density core for clustering validation[J]. Information Sciences, 2020, 506: 346-365.

另分享一篇 TPAMI(2019): F. Iglesias, T. Zseby and A. Zimek, "Absolute Cluster Validity," IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.