Given a matrix $D$ describing the pairwise dissimilarities of a data set, a common task is to embed the data points into Euclidean space. The classical multidimensional scaling (cMDS) algorithm is a widespread method to do this. However, theoretical analysis of the robustness of the algorithm and an in-depth analysis of its performance on non-Euclidean metrics is lacking. In this paper, we derive a formula, based on the eigenvalues of a matrix obtained from $D$, for the Frobenius norm of the difference between $D$ and the metric $D_{\text{cmds}}$ returned by cMDS. This error analysis leads us to the conclusion that when the derived matrix has a significant number of negative eigenvalues, then $\|D-D_{\text{cmds}}\|_F$, after initially decreasing, will eventually increase as we increase the dimension. Hence, counterintuitively, the quality of the embedding degrades as we increase the dimension. We empirically verify that the Frobenius norm increases as we increase the dimension for a variety of non-Euclidean metrics. We also show on several benchmark datasets that this degradation in the embedding results in the classification accuracy of both simple (e.g., 1-nearest neighbor) and complex (e.g., multi-layer neural nets) classifiers decreasing as we increase the embedding dimension. Finally, our analysis leads us to a new efficiently computable algorithm that returns a matrix $D_l$ that is at least as close to the original distances as $D_t$ (the Euclidean metric closest in $\ell_2$ distance). While $D_l$ is not metric, when given as input to cMDS instead of $D$, it empirically results in solutions whose distance to $D$ does not increase when we increase the dimension and the classification accuracy degrades less than the cMDS solution.


翻译:用于描述数据集对称差异的矩阵 $D$, 一个共同的任务就是将数据点差数的Frobenius 标准值嵌入 Euclidean 空间。 经典的多维缩放算法( CDMS) 算法是一种很普遍的方法。 但是, 算法的稳健性以及非欧clide 指标性能的深入分析都缺乏。 在本文中, 我们根据从$D获得的矩阵的偏重值, 共同的任务是将数据点嵌入 $D 和 $$D 的调值差值。 这个错误分析让我们得出这样的结论: 当衍生的矩阵具有大量负电子值时, 那么当我们增加尺寸时, 美元D- d text{ mds_F$, 最终会增加一个公式。 因此, 相对直观地, 嵌入的特性会降低到新维度。 我们从 Frobenbinius 标准提高的值值值值值值值值值值, 当我们增加一个更近的内基化的内基值值数据时, 。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
83+阅读 · 2021年12月9日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
已删除
将门创投
18+阅读 · 2019年2月18日
Clustering with UMAP: Why and How Connectivity Matters
Arxiv
0+阅读 · 2021年12月16日
Hyperbolic Graph Attention Network
Arxiv
6+阅读 · 2019年12月6日
Arxiv
3+阅读 · 2018年6月1日
Arxiv
3+阅读 · 2017年12月14日
Arxiv
3+阅读 · 2017年9月14日
VIP会员
相关资讯
已删除
将门创投
18+阅读 · 2019年2月18日
Top
微信扫码咨询专知VIP会员