Universality, namely distributional invariance, is a well-known property for many random structures. For example, it is known to hold for a broad range of variational problems with random input. Much less is known about the algorithmic universality of specific methods for solving such variational problems. Namely, whether algorithms tuned to specific variational tasks produce the same asymptotic behavior across different input distributions with matching moments. In this paper, we establish algorithmic universality for a class of models, which includes spin glass models and constraint satisfaction problems on sparse graphs, provided that an algorithm can be coded as a low-degree polynomial (LDP). We illustrate this specifically for the case of the Max-Cut problem in sparse Erdös-Rényi graph $\mathbb{G}(n,d/n)$. We use the fact that the Approximate Message Passing (AMP) algorithm, which is an effective algorithm for finding near-ground states of the Sherrington-Kirkpatrick (SK) model, is well approximated by an LDP. We then establish our main universality result: the performance of the LDP based algorithms exhibiting a certain connectivity property, is the same in the mean-field (SK) and in the random graph $\mathbb{G}(n,d/n)$ setting, up to an appropriate rescaling. The main technical challenge we address in this paper is showing that the output of an LDP algorithm on $\mathbb{G}(n,d/n)$ is truly discrete, namely, that it is close to the set of points in the binary cube. This is achieved by establishing universality of coordinate-wise statistics of the LDP output across disorder ensembles, which implies that proximity to the cube transfers from the Gaussian to the sparse graph setting.


翻译:普适性,即分布不变性,是许多随机结构已知的性质。例如,已知其在具有随机输入的广泛变分问题中成立。然而,对于求解此类变分问题的特定方法的算法普适性,目前所知甚少。具体而言,针对特定变分任务调整的算法是否会在具有匹配矩的不同输入分布上产生相同的渐近行为。本文中,我们为一类模型建立了算法普适性,该类模型包括自旋玻璃模型和稀疏图上的约束满足问题,前提是算法可编码为低次多项式(LDP)。我们以稀疏Erdös-Rényi图$\mathbb{G}(n,d/n)$中的最大割问题为例具体说明。我们利用以下事实:近似消息传递(AMP)算法(一种用于寻找Sherrington-Kirkpatrick(SK)模型近基态的有效算法)可由LDP良好逼近。随后,我们建立了主要的普适性结果:具有特定连通性质的基于LDP的算法在平均场(SK)和随机图$\mathbb{G}(n,d/n)$设置中的性能相同,直至适当的重新缩放。本文解决的主要技术挑战是证明LDP算法在$\mathbb{G}(n,d/n)$上的输出是真正离散的,即其接近二进制立方体中的点集。这是通过建立LDP输出在无序系综中坐标统计量的普适性实现的,该普适性意味着从高斯设置到稀疏图设置中,接近立方体的性质得以传递。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
【ICML2025】生成模型中潜空间的Hessian几何结构
专知会员服务
17+阅读 · 6月15日
NeurIPS 2021 | 寻找用于变分布泛化的隐式因果因子
专知会员服务
17+阅读 · 2021年12月7日
专知会员服务
25+阅读 · 2021年7月31日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【ICML2025】生成模型中潜空间的Hessian几何结构
专知会员服务
17+阅读 · 6月15日
NeurIPS 2021 | 寻找用于变分布泛化的隐式因果因子
专知会员服务
17+阅读 · 2021年12月7日
专知会员服务
25+阅读 · 2021年7月31日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员