尽管它在机器学习中有重要的应用,非凸非凹目标的最小-最大优化仍然是难以实现的。不仅没有已知的一阶方法收敛甚至近似局部最小最大点,而且识别它们的计算复杂度也不为人所知。本文给出了非凸非凹目标和线性约束的约束最小-最优优化问题的计算复杂度,以及一阶方法的局限性。

https://arxiv.org/abs/2009.09623

成为VIP会员查看完整内容
0
23

相关内容

图在许多应用中被广泛用于表示复杂数据,如电子商务、社交网络和生物信息学。高效、有效地分析图数据对于基于图的应用程序非常重要。然而,大多数图分析任务是组合优化(CO)问题,这是NP困难。最近的研究集中在使用机器学习(ML)解决基于图CO问题的潜力上。使用基于ML的CO方法,一个图必须用数值向量表示,这被称为图嵌入。在这个调查中,我们提供了一个全面的概述,最近的图嵌入方法已经被用来解决CO问题。大多数图嵌入方法有两个阶段:图预处理和ML模型学习。本文从图预处理任务和ML模型的角度对图嵌入工作进行分类。此外,本文还总结了利用图嵌入的基于图的CO方法。特别是,图嵌入可以被用作分类技术的一部分,也可以与搜索方法相结合来寻找CO问题的解决方案。最后对未来的研究方向做了一些评论。

成为VIP会员查看完整内容
0
51

这本书全面介绍优化工程系统设计的实用算法。这本书从工程的角度进行优化,其目标是设计一个系统来优化受约束的一组指标。读者将学习一系列挑战的计算方法,包括高维搜索空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。图表、例子和练习传达了数学方法背后的直觉。文本提供了Julia编程语言的具体实现。

https://mitpress.mit.edu/books/algorithms-optimization

许多学科的核心都涉及到优化。在物理学中,系统被驱动到他们的最低能量状态服从物理定律。在商业上,公司的目标是股东价值最大化。在生物学中,越健康的生物体越有可能生存下来。这本书将从工程的角度关注优化,目标是设计一个系统来优化受约束的一组指标。这个系统可以是一个复杂的物理系统,比如飞机,也可以是一个简单的结构,比如自行车车架。这个系统甚至可能不是物理的;例如,我们可能会有兴趣为自动化车辆设计一个控制系统,或设计一个计算机视觉系统来检测肿瘤活检的图像是否为癌。我们希望这些系统能运行得尽可能好。根据应用程序的不同,相关的度量可能包括效率、安全性和准确性。对设计的限制可能包括成本、重量和结构坚固性。

这本书是关于优化的算法,或计算过程。给定系统设计的一些表示,如编码机翼几何的一组数字,这些算法将告诉我们如何搜索空间的可能设计,以找到最好的一个。根据应用程序的不同,这种搜索可能涉及运行物理实验,比如风洞测试,也可能涉及计算解析表达式或运行计算机模拟。我们将讨论解决各种挑战的计算方法,例如如何搜索高维空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。

成为VIP会员查看完整内容
0
174

【导读】深度神经网络在很多监督任务都达到了SOTA性能,但是其计算量是个挑战。来自MIT 教授 Vivienne Sze等学者发布了关于《深度神经网络的高效处理》著作,本书为深度神经网络(DNNs)的高效处理提供了关键原则和技术的结构化处理。值得关注。

https://www.morganclaypoolpublishers.com/catalog_Orig/product_info.php?cPath=22&products_id=1530

本书为深度神经网络(DNNs)的高效处理提供了关键原则和技术的结构化处理。DNNs目前广泛应用于许多人工智能(AI)应用,包括计算机视觉、语音识别和机器人技术。虽然DNNs在许多人工智能任务中提供了最好的性能,但它以高计算复杂度为代价。因此,在不牺牲准确性或增加硬件成本的情况下,能够有效处理深层神经网络以提高指标(如能源效率、吞吐量和延迟)的技术对于在人工智能系统中广泛部署DNNs至关重要。

本书中包括了DNN处理的背景知识;设计DNN加速器的硬件架构方法的描述和分类;评价和比较不同设计的关键指标;DNN处理的特点是服从硬件/算法的共同设计,以提高能源效率和吞吐量;以及应用新技术的机会。读者将会发现对该领域的结构化介绍,以及对现有工作中关键概念的形式化和组织,从而提供可能激发新想法的见解。

深度神经网络(DNNs)已经变得非常流行; 然而,它们是以高计算复杂度为代价的。因此,人们对有效处理DNNs产生了极大的兴趣。DNN加速的挑战有三:

  • 为了实现高性能和效率
  • 提供足够的灵活性,以满足广泛和快速变化的工作负载范围
  • 能够很好地集成到现有的软件框架中。

目录内容:

第一部分理解深层神经网络

  • 介绍
  • 深度神经网络概述

第二部分处理DNNs的硬件设计

  • 关键量度和设计目标
  • 内核计算
  • 设计DNN加速器
  • 专用硬件上的操作映射

第三部分,DNN硬件和算法的协同设计

  • 减少精度
  • 利用稀疏
  • 设计高效的DNN模型
  • 先进技术
  • 结论

第一个模块旨在提供DNN领域的总体背景和了解DNN工作负载的特点。

  • 第一章提供了DNNs为什么重要的背景,他们的历史和他们的应用。
  • 第二章概述了神经网络的基本组成部分和目前常用的神经网络模型。还介绍了用于DNN研究和开发的各种资源。这包括各种软件框架的讨论,以及用于训练和评估的公共数据集。

第二部分主要介绍处理DNNs的硬件设计。它根据定制程度(从通用平台到完全定制硬件)讨论各种架构设计决策,以及在将DNN工作负载映射到这些架构时的设计考虑。同时考虑了时间和空间架构。

  • 第三章描述了在设计或比较各种DNN加速器时应该考虑的关键指标。
  • 第四章描述了如何处理DNN内核,重点关注的是时序架构,比如cpu和gpu。为了获得更高的效率,这类架构通常具有缓存层次结构和粗粒度的计算能力,例如向量指令,从而使计算结果更高效。对于这样的架构,DNN处理通常可以转化为矩阵乘法,这有很多优化的机会。本章还讨论了各种软件和硬件优化,用于加速这些平台上的DNN计算,而不影响应用程序的精度。
  • 第五章介绍了DNN处理专用硬件的设计,重点介绍了空间架构。它强调了用于处理DNN的硬件的处理顺序和产生的数据移动,以及与DNN的循环嵌套表示的关系。循环嵌套中的循环顺序称为数据流,它决定了移动每个数据块的频率。循环嵌套中的循环限制描述了如何将DNN工作负载分解成更小的块,称为平铺/阻塞,以说明在内存层次结构的不同级别上有限的存储容量。
  • 第六章介绍了将DNN工作负载映射到DNN加速器的过程。它描述了找到优化映射所需的步骤,包括枚举所有合法映射,并通过使用预测吞吐量和能源效率的模型来搜索这些映射。

第三个模块讨论了如何通过算法和硬件的协同设计来提高堆栈的效率,或者通过使用混合信号电路新的存储器或设备技术来降低堆栈的效率。在修改算法的情况下,必须仔细评估对精度的影响。

  • 第七章描述了如何降低数据和计算的精度,从而提高吞吐量和能源效率。它讨论了如何使用量化和相关的设计考虑来降低精度,包括硬件成本和对精度的影响。
  • 第八章描述了如何利用DNNs的稀疏性来减少数据的占用,这为减少存储需求、数据移动和算术操作提供了机会。它描述了稀疏的各种来源和增加稀疏的技术。然后讨论了稀疏DNN加速器如何将稀疏转化为能源效率和吞吐量的提高。它还提出了一种新的抽象数据表示,可用于表达和获得关于各种稀疏DNN加速器的数据流的见解。
  • 第九章描述了如何优化DNN模型的结构(即(例如DNN的“网络架构”),以提高吞吐量和能源效率,同时尽量减少对准确性的影响。它讨论了手工设计方法和自动设计方法(例如。(如神经结构搜索)
  • 第十章,关于先进技术,讨论了如何使用混合信号电路和新的存储技术,使计算更接近数据(例如,在内存中处理),以解决昂贵的数据移动,支配吞吐量和DNNs的能源消耗。并简要讨论了在光域内进行计算和通信以降低能耗和提高吞吐量的前景。

Vivienne Sze,来自 MIT 的高效能多媒体系统组(Energy-Efficient Multimedia Systems Group)。她曾就读于多伦多大学,在 MIT 完成 PhD 学业并获得电气工程博士学位,目前在 MIT 任教。Sze 教授的主要研究兴趣是高效能算法和移动多媒体设备应用架构。

成为VIP会员查看完整内容
0
97

深度学习系统在许多任务中都取得了显著的性能,但要确保生成的模型服从硬约束(在许多控制应用程序中可能经常需要这样做),常常是出了名的困难。在这次演讲中,我将介绍一些最近的关于在深度学习系统中加强不同类型的约束的工作。具体来说,我将重点介绍最近的一些工作,包括将一般的凸优化问题集成为深网络中的层次,研究保证表示凸函数的学习网络,以及研究增强非线性动力学的全局稳定性的深层动力系统。在所有情况下,我们都强调我们可以设计网络结构来编码这些隐性偏见的方式,这种方式可以让我们轻松地执行这些硬约束。

成为VIP会员查看完整内容
0
30

【导读】场景优化理论(Scenario Optimization Approach)是一种基于约束样本解决鲁棒优化和机会约束优化问题的启发式解决方案。该理论经过多年的发展,已经形成了较为系统的理论基础。

介绍

本文从风险与复杂度(Risk and Complexity)的新角度,介绍了场景优化理论ScenarioOptimization Theory的最新进展。场景(scenario)是指源于环境的观测样本,场景优化(scenario approach)指使用一组可用的观测样本进行优化的理论,通过数据驱动优化(data-driven optimization)的思路,解决含不确定性的随机优化和随机决策问题。场景优化理论具有坚实的数学基础,尝试回答了一些基本问题,例如,如何将经验纳入决策过程,以取得优化的结果?若遇到训练样本中从未见过的新样本,决策的执行效果如何?使用该理论和方法时,优化结果的鲁棒性如何?该理论自2005年由M.C. Campi教授(IEEEFellow, 因该贡献获得2008年IEEE CSSGeorge S. Axelby outstanding paper award)等人提出以来,不断取得新进展,已经广泛应用于机器学习、控制系统设计、系统识别等问题,以及医学分类、量化金融、航空运输系统、能源系统等应用领域。本讲座是M.C. Campi教授关于场景优化理论最新进展的介绍,更多相关研究可以访问https://marco-campi.unibs.it/?origin=publication_detail。

参考地址:

http://files.elearning.sztaki.hu/mta_sztaki/Rudolf_E_Kalman_Distinguished_Lecturer/02_Marco_C_Campi/start.html

成为VIP会员查看完整内容
0
26

本书概述了现代数据科学重要的数学和数值基础。特别是,它涵盖了信号和图像处理(傅立叶、小波及其在去噪和压缩方面的应用)、成像科学(反问题、稀疏性、压缩感知)和机器学习(线性回归、逻辑分类、深度学习)的基础知识。重点是对方法学工具(特别是线性算子、非线性逼近、凸优化、最优传输)的数学上合理的阐述,以及如何将它们映射到高效的计算算法。

https://mathematical-tours.github.io/book/

它应该作为数据科学的数字导览的数学伴侣,它展示了Matlab/Python/Julia/R对这里所涵盖的所有概念的详细实现。

成为VIP会员查看完整内容
0
225

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
318

摘要:

本文将优化描述为一个过程。在许多实际应用中,环境是如此复杂,以致于无法制定一个全面的理论模型,并使用经典算法理论和数学优化。采取一种稳健的方法是必要的,也是有益的,方法是应用一种不断学习的优化方法,在观察到问题的更多方面时从经验中学习。这种将优化视为一个过程的观点在各个领域都很突出,并在建模和系统方面取得了一些惊人的成功,现在它们已经成为我们日常生活的一部分。

作者介绍:

Elad Hazan是普林斯顿大学计算机科学教授。他于2015年从Technion毕业,当时他是该校运筹学副教授。他的研究重点是机器学习和优化的基本问题的算法设计和分析。他的贡献包括合作开发用于训练学习机器的AdaGrad算法,以及第一个用于凸优化的次线性时间算法。他曾(两次)获得2012年IBM Goldberg最佳论文奖,以表彰他对机器学习的次线性时间算法的贡献。2008年,他还获得了欧洲研究理事会(European Research Council)的一笔拨款、玛丽•居里(Marie Curie)奖学金和谷歌研究奖(两次)。他是计算学习协会的指导委员会成员,并担任COLT 2015的项目主席。

https://www.cs.princeton.edu/~ehazan/

成为VIP会员查看完整内容
0
134

A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷积神经网络(CNNs)最近在许多视觉识别任务中取得了巨大的成功。然而,现有的深度神经网络模型在计算上是昂贵的和内存密集型的,这阻碍了它们在低内存资源的设备或有严格时间延迟要求的应用程序中的部署。因此,在不显著降低模型性能的情况下,在深度网络中进行模型压缩和加速是一种自然的思路。在过去几年中,这方面取得了巨大的进展。本文综述了近年来发展起来的压缩和加速CNNs模型的先进技术。这些技术大致分为四种方案: 参数剪枝和共享、低秩因子分解、传输/紧凑卷积过滤器和知识蒸馏。首先介绍参数修剪和共享的方法,然后介绍其他技术。对于每种方案,我们都提供了关于性能、相关应用程序、优点和缺点等方面的详细分析。然后我们将讨论一些最近比较成功的方法,例如,动态容量网络和随机深度网络。然后,我们调查评估矩阵、用于评估模型性能的主要数据集和最近的基准测试工作。最后,对全文进行总结,并对今后的研究方向进行了展望。

成为VIP会员查看完整内容
0
81
小贴士
相关VIP内容
专知会员服务
51+阅读 · 2020年8月31日
专知会员服务
30+阅读 · 2020年5月23日
专知会员服务
225+阅读 · 2020年3月23日
专知会员服务
134+阅读 · 2020年2月3日
深度神经网络模型压缩与加速综述
专知会员服务
81+阅读 · 2019年10月12日
相关论文
Learning Dynamic Routing for Semantic Segmentation
Yanwei Li,Lin Song,Yukang Chen,Zeming Li,Xiangyu Zhang,Xingang Wang,Jian Sun
5+阅读 · 2020年3月23日
Dual Temporal Memory Network for Efficient Video Object Segmentation
Kaihua Zhang,Long Wang,Dong Liu,Bo Liu,Qingshan Liu,Zhu Li
4+阅读 · 2020年3月13日
Deep Co-Training for Semi-Supervised Image Segmentation
Jizong Peng,Guillermo Estrada,Marco Pedersoli,Christian Desrosiers
3+阅读 · 2019年10月30日
Kwonjoon Lee,Subhransu Maji,Avinash Ravichandran,Stefano Soatto
4+阅读 · 2019年4月23日
Saeid Asgari Taghanaki,Yefeng Zheng,S. Kevin Zhou,Bogdan Georgescu,Puneet Sharma,Daguang Xu,Dorin Comaniciu,Ghassan Hamarneh
8+阅读 · 2018年5月22日
Jyh-Jing Hwang,Tsung-Wei Ke,Jianbo Shi,Stella X. Yu
7+阅读 · 2018年5月18日
David Keetae Park,Seungjoo Yoo,Hyojin Bahng,Jaegul Choo,Noseong Park
3+阅读 · 2018年5月8日
Jinjiang Guo,Pengyuan Ren,Aiguo Gu,Jian Xu,Weixin Wu
3+阅读 · 2018年4月16日
Christopher P. Burgess,Irina Higgins,Arka Pal,Loic Matthey,Nick Watters,Guillaume Desjardins,Alexander Lerchner
3+阅读 · 2018年4月10日
EL-Hachemi Guerrout,Samy Ait-Aoudia,Dominique Michelucci,Ramdane Mahiou
6+阅读 · 2018年3月13日
Top