项目名称: 面向大规模分布式一致性最优化问题的结构型一阶求解算法研究

项目编号: No.11501210

项目类型: 青年科学基金项目

立项/批准年度: 2016

项目学科: 数理科学和化学

项目作者: 王祥丰

作者单位: 华东师范大学

项目金额: 18万元

中文摘要: 近年来,随着“大数据”处理需求的增加,大规模最优化问题受到了越来越多的关注。大规模分布式一致性最优化问题,因其结构特性以及在大规模机器学习等热门领域的优异表现,成为大规模优化的焦点问题之一。基于我们的前期工作,本项目旨在设计大规模结构型一阶算法高效求解大规模分布式一致性最优化问题,主要内容包括:(1)从分布式交替方向法入手,结合增量式、随机化、异步并行等计算技巧,设计问题结构驱动的高效分布式并行交替方向法,并分析算法框架理论性质;(2)将随机块坐标选择策略引入结构型并行算法框架,设计灵活的子问题求解方式,解决问题数据量与变量维度均大规模等问题;(3)将大规模结构型一阶算法框架应用到分布式机器学习与智能电网需求侧管理问题中,并结合Spark等大规模计算平台。该项目的实施不仅能为求解大规模分布式一致性最优化问题提供新方法,而且可为最优化、信息科学的交叉融合提供新元素,为学科发展做出切实的贡献。

中文关键词: 大规模优化问题;一阶算法;变分不等式;交替方向法;块坐标下降法

英文摘要: Recently, with the increasing demands for “Big Data” processing, large-scale optimization has received more and more attentions. The large-scale distributed consensus optimization problem becomes one of the hottest issues in large-scale optimization, because of its structure characteristics and excellent performance in large-scale machine learning and other popular research areas. Based on our preliminary work, the main purpose of this project is to design efficient large-scale structured first-order algorithms for large-scale distributed consensus optimization problems, which includes: (1) start from the distributed alternating direction method of multipliers (ADMM), combine with computing skills like the incremental, randomization, asynchronous parallel and etc., design problem-structure-driven efficient distributed parallel ADMM, and analyze the theory properties of the new algorithm framework; (2) introduce randomized block chosen strategy into the structured parallel algorithm framework, design flexible sub-problem computing patterns, and solve the problems with both large data size and large data dimension; (3) apply the large-scale structured first-order algorithm framework to the distributed machine learning and demand side management in smart grid, while mixing some large-scale computing platform like Spark and etc. The implementation of this project can not only provide new algorithms for solving large-scale distributed consensus optimization problems, but also provide new elements for the cross fusion of optimization and information science, which can make a tangible contribution to the development of the discipline.

英文关键词: Large-scale optimization problem;First-order method;Variational Inequality;Alternating direction method of multipliers;Block coordinate descent method

成为VIP会员查看完整内容
0

相关内容

【2021新书】分布式优化,博弈和学习算法,227页pdf
专知会员服务
221+阅读 · 2021年5月25日
【WWW2021】 大规模组合K推荐
专知会员服务
42+阅读 · 2021年5月3日
专知会员服务
22+阅读 · 2021年4月21日
专知会员服务
71+阅读 · 2020年12月7日
专知会员服务
76+阅读 · 2020年12月6日
【NeurIPS 2020】大规模分布式鲁棒优化方法
专知会员服务
25+阅读 · 2020年10月13日
专知会员服务
42+阅读 · 2020年7月29日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
【2021图灵奖】授予: 高性能计算先驱Jack Dongarra
深度强化学习实验室
0+阅读 · 2022年3月31日
CUDA高性能计算经典问题:归约
极市平台
1+阅读 · 2022年1月13日
CIKM21 | 图模型在广告检索(Ad Retrieval)中的应用
图与推荐
0+阅读 · 2021年12月16日
分布式一致性算法:解决分布式系统 80%核心问题
夕小瑶的卖萌屋
1+阅读 · 2021年8月31日
求解稀疏优化问题——半光滑牛顿方法
极市平台
41+阅读 · 2019年11月30日
研究SLAM,对编程的要求有多高?
计算机视觉life
24+阅读 · 2019年2月18日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
16+阅读 · 2017年8月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月20日
Warped Dynamic Linear Models for Time Series of Counts
Arxiv
12+阅读 · 2018年1月28日
小贴士
相关VIP内容
【2021新书】分布式优化,博弈和学习算法,227页pdf
专知会员服务
221+阅读 · 2021年5月25日
【WWW2021】 大规模组合K推荐
专知会员服务
42+阅读 · 2021年5月3日
专知会员服务
22+阅读 · 2021年4月21日
专知会员服务
71+阅读 · 2020年12月7日
专知会员服务
76+阅读 · 2020年12月6日
【NeurIPS 2020】大规模分布式鲁棒优化方法
专知会员服务
25+阅读 · 2020年10月13日
专知会员服务
42+阅读 · 2020年7月29日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
相关资讯
【2021图灵奖】授予: 高性能计算先驱Jack Dongarra
深度强化学习实验室
0+阅读 · 2022年3月31日
CUDA高性能计算经典问题:归约
极市平台
1+阅读 · 2022年1月13日
CIKM21 | 图模型在广告检索(Ad Retrieval)中的应用
图与推荐
0+阅读 · 2021年12月16日
分布式一致性算法:解决分布式系统 80%核心问题
夕小瑶的卖萌屋
1+阅读 · 2021年8月31日
求解稀疏优化问题——半光滑牛顿方法
极市平台
41+阅读 · 2019年11月30日
研究SLAM,对编程的要求有多高?
计算机视觉life
24+阅读 · 2019年2月18日
范式大学|迁移学习实战:从算法到实践
机器学习研究会
16+阅读 · 2017年8月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员