【2018将成为AGI元年】13名专家盘点2017最重要AI事件,预测AGI将取代AI

2017 年 12 月 19 日 产业智能官 新智元

                                                                        








  新智元编译  

来源:kdnuggets.com

作者:Matthew Mayo

编译:刘小芹  常佩琦  闻菲


【新智元导读】2017年人工智能最重要的发展是什么,2018年会有怎样的关键趋势?数据科学网站KDnuggets发布年度报告,征询13位机器学习和AI领域的专家意见。2017见证了AlphaGo系列的成功,深度学习热潮,以及TensorFlow对神经网络技术商用化的影响。2018,AI将走向成熟,迎来全球“AI-first”经济突破,可解释性和透明度将得到更多关注。



在即将告别2017年之际,KDnuggets向多位机器学习和AI专家询问了哪些是2017年最重要的发展,以及他们对2018年关键趋势的预测有哪些。这份报告试图抓住2017年的重要事件,以及产业、学术和技术发展的脉搏,同时也尽力去展望即将到来的2018年的关键趋势。


被采访者是大数据、数据科学、人工智能和机器学习领域的一些顶尖专家。具体来说,采访的问题是:“在2017年,与机器学习和人工智能相关的主要发展是什么?2018年,你认为将看到哪些关键趋势?”


作为一个快速的回顾,去年的趋势和预测主要集中在以下议题:

  • AlphaGo的成功

  • 深度学习的热潮

  • 自动驾驶汽车

  • TensorFlow对神经网络技术商用化的影响




AlphaGo Zero令人兴奋,云竞争激烈




Xavier Amatriain:Curai的联合创始人兼CTO,之前是Quora的工程副总裁和Netflix的研究/工程总监。


如果一定要选一个今年的主要亮点的话,那就是AlphaGo Zero。这一新方法不仅在一些最有前途的方向上得到改进(例如深度强化学习),而且它还代表了一种范式转换,即模型可以在没有数据的情况下学习。最近我们也了解到,AlphaGo Zero还能推广到象棋等其他游戏


至于人工智能的工程方面,2017年Pytorch开始升温,成为Tensorflow的一个对手,特别是在研究领域。


Tensorflow通过在Tensorflow Fold中发布动态网络,迅速作出反应。大公司之间的“AI战争”还包括许多其他的战役,其中竞争最激烈的是云。所有的主要供应商都增加了云的投入,并在云上增加各自的AI支持。亚马逊在他们的AWS中提出了大量的创新,比如他们最近发布Sagemaker用于构建和部署ML模型。另外值得一提的是,较小的玩家也在不断进入。Nvidia最近推出了他们的GPU云,这将成为训练深度学习模型的另一个有趣的选择。尽管有这么多竞争,但这个行业必要时可以团结起来,这是件好事。新的ONNX神经网络表示标准是实现互操作性的重要而且必要的一步。


2017年,围绕AI的社会问题也在延续(升级)。伊隆·马斯克(Elon Musk)认为我们越来越接近杀手AI的观点继续发酵,令许多人感到沮丧。关于AI在未来几年将如何影响工作,也有很多讨论。最后,我们看到更多的焦点放在AI算法的透明度和偏见上。




深度学习模型需要透明度




Georgina Cosma:诺丁汉特伦特大学科学与技术学院高级讲师


机器学习模型,尤其是深度学习模型,正在对医疗、法律体系、工程和金融等关键领域产生重大影响。但是,大多数机器学习模型不容易解释。在分析和诊断模型中,理解模型是如何实现预测的尤其重要,因为人类必须要有足够的信心去相信模型提出的预测。重要的是,一些机器学习模型的决定必须与法律法规相符。现在是创建足够透明的深度学习模型以解释它们的预测的时候了,特别是当这些模型的结果被用来影响或告知人类决策时。




AlphaGo Zero很伟大,但还算不上是突破




Pedro Domingos:华盛顿大学计算机科学与工程系教授,《终极算法》作者。


  • Libratus(冷扑大师)在德州扑克上的胜利,将AI的优势扩展到不完善的信息博弈

  • 自动驾驶汽车和虚拟助理的竞争日益激烈,Alexa在后者的竞争中势如破竹。

  • 谷歌、亚马逊、微软和IBM之间云AI的竞争持续升温。

  • AlphaGo Zero很伟大,但算不上是一个突破。self-play 是ML的一个存在已久的想法,而人类远远不需要下够500万盘棋才能掌握围棋。




2018年将是AI成熟的一年




Ajit Jaokar:主任数据科学家,牛津大学物联网数据科学课程的创建者。


2017年是AI的一年。2018年将是AI成熟的一年。我们已经从更多是“系统工程/云”的角度看到这一趋势。AI正在变得越来越复杂,h2o.ai这类公司则简化了部署AI的复杂性。


AI正越来越多地用于竞争优势,尤其是在工业物联网、零售和医疗领域,这将导致更大的颠覆。AI也正在迅速地部署到企业的各个层面(带来许多新的机会,但也将导致更多职业消失)。


我认为AI正在通过嵌入式AI(即跨越企业和物联网的数据科学模型)融合传统的企业和更广泛的供应链。


最后,传统行业将继续缺乏懂得AI/深度学习技术的数据科学家,例如银行业(尤其是工业物联网领域)。




智能自动化将渗透到各行各业




Nikita Johnson:RE.WORK创始人


2017年,ML和AI的发展取得了巨大的进步,尤其是最近DeepMind发表的通用强化学习算法,在自我对弈4个小时之后,击败了世界上最好的象棋程序。


2018年,我期望看到智能自动化渗透到各行各业的公司,从传统制造业、零售业到公共事业。随着数据收集和分析的不断增加,企业级自动化系统策略的需求将变得至关重要。这将使企业能够投资于一个更长期的AI计划,并确保它是未来增长和效率提升的优先事项。


我们还将看到自动化机器学习帮助非AI研究人员更容易使用机器学习技术,并使更多公司将机器学习方法应用到他们的工作场景。




meta-learning 和 few-shot learning




Hugo Larochelle:谷歌研究科学家,加拿大高级研究所Learning in Machines and Brains项目副主任


在机器学习的趋势中,我最感兴趣也最关注的是元学习(meta-learning)。元学习是一个特别宽泛的概括性术语。但今年,对我来说最令人兴奋的是 few-shot learning 的进展,它解决了发现学习算法的问题,这些算法从很少的样本中得到很好的泛化。 Chelsea Finn 今年年初针对这个问题写了一篇很好的总结文章:bair.berkeley.edu/blog/2017/07/18/learning-to-learn/。


今年有更多关于 few-shot learning 和 meta-learning 研究,包括使用深度时序卷积网络(arxiv.org/abs/1707.03141),图形神经网络(arxiv.org/abs/1711.04043)等等。meta-learning 方法也被用于主动学习(arxiv.org/abs/1708.00088),冷启动项目推荐(papers.nips.cc/paper/7266-a-meta-learning-perspective-on-cold-start-recommendations-for-items),few-shot分布估计(arxiv.org/abs/1710.10304),强化学习(arxiv.org/abs/1611.05763),分层RL(arxiv.org/abs/1710.09767 ),模仿学习(arxiv.org/abs/1709.04905),等等。


这是一个令人兴奋的领域,2018年我会继续密切关注。




2018年将成为全球“AI first”经济的突破之年




Charles Martin:数据科学家、机器学习AI顾问


2017这一年,我们看到了一个巨大的深度学习AI平台和应用程序。今年,Facebook发布了他们的Tensorflow竞争对手PyTorch。Gluon, Alex, AlphaGo等等成果不断。 机器学习从特征工程和逻辑回归发展到阅读论文,实现神经网络,优化训练效果。在我的咨询实践中,客户已经在寻求自定义对象检测,高级NLP和强化学习。当市场和比特币飙升的时候,人工智能一直是一场沉默的革命,零售业的启示激起人们认为人工智能将颠覆行业。公司都想要进行自我变革。我们非常感兴趣进行AI指导,包括技术层面和战略层面。


2018年必将成为全球“AI first”经济的突破之年。我们有来自欧洲、亚洲、印度、甚至沙特阿拉伯的需求。全球需求将继续增长,来自中国和加拿大的人工智能进步很大,印度等国家正从IT重新调整为人工智能。美国和海外的企业培训需求都很大。人工智能将实现大规模的效率,传统行业(如制造业,医疗保健和金融)将从中受益。人工智能创业公司将把新产品推向市场并全面提高投资回报率。而从机器人到自动驾驶汽车的新技术将会带来惊人的进步。


对于创新而言,明年将是伟大的一年。




以工具为中心的方法将减少,重要的是开发和实现利用深度学习的新想法和应用




Sebastian Raschka:密歇根州立大学应用机器学习和深度学习研究员和计算生物学家,《Python机器学习》的作者。


在过去的几年中,开源社区已经就所有新出现的深度学习框架进行了大量的讨论。现在,这些工具已经有所成熟了,我希望以工具为中心的方法会有所减少,期待将更多精力用于开发和实现利用深度学习的新颖想法和应用。我尤其期望看到用生成对抗神经网络和Hinton的capsule来解决更多问题。




“AGI”将会取代“AI”成为流行词




Brandon Rohrer:Facebook的数据科学家。


2017年还有更多机器击败人类的成就。去年,AlphaGo击败了世界上最好的人类棋手,通过了智慧之路上的一个长期里程碑。今年,AlphaGo Zero通过从零开始的自我对弈学习,超越了它的上一版本。(deepmind.com/blog/alphago-zero-learning-scratch)它不仅击败了一个人类,还击败了全体人类的围棋智慧。更实际的兴趣,一台机器现在可以从交换机基准来转录电话交谈。 (arxiv.org/abs/1708.06073)


然而,人工智能的成就仍然狭窄和脆弱。改变图像中的单个像素可以击败最先进的分类器。 (arxiv.org/pdf/1710.08864.pdf)我预计2018年将带来更多通用和强大的AI解决方案。几乎每个主要的科技公司都已经有了一个人工智能的工作。这些团体及其早期成果将成为头条新闻。至少,“AGI”将会取代“AI”成为当年的流行词。




机器学习系统“隐藏”技术欠下的债不容忽视




Elena Sharova是一家投资银行的数据科学家。


要说2017年机器学习/人工智能主要的发展,我看到越来越多的公司和个人将他们的数据和分析转移到基于云的解决方案,对数据安全的重要性的意识也急剧上升。


最大和最成功的技术公司已经竞相成为数据存储和分析平台。对于数据科学家来说,这意味着他们所开发的工具箱和解决方案正被这种平台所能提供的功能和能力所塑造。


2017年,全球发生了几起大型数据安全漏洞。这一点不容忽视。随着越来越多的数据转移到第三方存储,对于适应新威胁的更强大安全性的需求将继续增长。


至于2018年的关键趋势,一个是确保遵守《全球数据保护条例》(GDPR),另一个则是应对机器学习系统“隐藏”技术欠下的债,这笔债正在越变越多,不容忽视。GDPR作为一项欧盟法规,具有全球影响力,所有数据科学家应该充分意识到它对自己工作的影响。根据Google的NIPS’16论文,数据依赖性代价高昂,而且随着企业创建复杂的数据驱动模型,他们将不得不仔细考虑如何解决这一成本问题。




数据科学家正认识到无监督深度学习的价值




Tamara Sipes,Optum/UnitedHealth Group商业数据科学总监


2017年的主要发展和2018年的主要趋势:


  • 深度学习和集成建模方法在2017年继续证明了它们相比其他机器学习工具的价值和优势。特别是深度学习,在各个领域和行业得到了更加广泛的应用。


  • 至于2018年的发展趋势,深度学习可能会被用来从原始输入中产生新的特征和新的概念,并且取代手动创建或设计新变量的需求。深度网络在检测数据的特征和结构方面是非常强大的,数据科学家正在认识到无监督深度学习可以为此发挥的价值。


  • 有效异常检测(Effective anomaly detection)可能也是近期的重点。在许多行业中,数据科学工作的重点是异常事件和其他类型的罕见事件:入侵检测、财务欺诈检测、诈骗、医疗保健中的滥用和错误以及设备故障等等。检测所有这些罕见的事件将会使企业在领域中产生竞争优势。跟上这些罕见事件检测的演变节奏,将是一个有趣的问题和困难的挑战。




深度学习框架变得更加用户友好且易于访问




Rachel Thomas,fast.ai创始人,USF助理教授。


虽然不像AlphaGo或者波士顿动力会后空翻的机器人那样华丽,但让我感到最兴奋的2017年AI趋势,是深度学习框架变得更加用户友好且易于访问。今年发布的PyTorch,对任何了解Python的人都很友好(主要是由于动态计算和OOP设计)。不过,TensorFlow也正朝着这个方向发展,将Keras纳入其核心代码库并宣布动态图运算。编码人员使用深度学习的门槛正变得越来越低。我预计2018年,这种开发人员可用性增长的趋势将持续下去。


第二个趋势是媒体报道专制政府监督人工智能的能力。2017年爆出了很多威胁隐私的新闻,但直到最近这才开始受到广泛的关注。利用深度学习来识别戴着围巾和帽子的示威者,或者通过图片来识别某人的性取向,使得今年有更多的媒体开始关注AI的隐私风险。希望在2018年,我们可以继续扩大讨论马斯克说的邪恶超级AI的话题,并解决通过编码涉嫌监视、隐私和对性别歧视和种族主义偏见的问题。




“可解释的AI”作为一门学科出现




Daniel Tunkelang是Twiggle的首席搜索传播者,也是众多知名组织的顾问。


2017年对于自动驾驶汽车和会话数字助理来说都是一个大年。这两个都是深度学习将科幻小说变为事实的应用领域。


但是,今年机器学习和人工智能最重要的发展,是对道德、问责和可解释性的持续关注。马斯克关于人工智能触发世界大战的启示性警告点燃了媒体,Oren Etzioni和Rodney Brooks等人则认真反驳。尽管如此,机器学习模型偏差的风险仍然存在,比如word2vec中的性别主义,算法在刑事判决中的种族主义,以及对社交媒体信息流的评分模型的故意操纵。这些问题都不是新出现的,但是机器学习的加速应用,特别是深度学习的大量使用,已经将这些问题推到了普通公众面前。


2017年,我们终于看到“可解释的AI”作为一门学科出现,汇集了学者、业界从业者和政策制定者的参加。2018年,照亮深度学习模型黑箱的压力和动力都将进一步加大。



原文:https://www.kdnuggets.com/2017/12/machine-learning-ai-main-developments-2017-key-trends-2018.html




2017年深度学习必读31篇论文(附论文下载地址)


来源:新智元                    


                                                                       





  新智元报道  

来源:kloudstrifeblog.wordpress.com

作者:Kloud Strife

译者:刘光明,费欣欣


【新智元导读】2017年即将擦肩而过,Kloud Strife在其博客上盘点了今年最值得关注的有关深度学习的论文,包括架构/模型、生成模型、强化学习、SGD & 优化及理论等各个方面,有些论文名扬四海,有些论文则非常低调。







一如既往,首先,标准免责声明适用,因为今年仅与GAN有关的论文就超过1660篇。我肯定会有疏漏,试图缩减到每两周一篇论文,包含了Imperial Deep Learning Reading Group上的大量素材。无论如何,我们开始吧。




架构/模型




今年的Convnet网络架构已经少得多,一切都稳定了。 有些论文肯定是在推动这项研究。 其中首先是安德鲁·布鲁克(Andrew Brock)的破解SMASH,尽管有ICLR的评论,但它已经在1000个GPU上进行了神经架构搜索。


SMASH:基于超网络的模型结构搜索

SMASH : one shot model architecture search through Hypernetworks

论文下载地址:https://arxiv.org/pdf/1708.05344.pdf


DenseNets(2017更新版)是一个印象深刻又非常单纯的想法。TLDR是“计算机视觉,眼+皮毛=猫,所以万物互联(包括层)”


密集的连接卷积神经

Densely connected convolutional networks

论文下载地址:https://arxiv.org/pdf/1608.06993.pdf


在CNNs,一个非常被低估的理念是小波滤波器组系数散射变换(conv+maxpool和ReLUctant组建小波理论)。不知何故,令人惊讶的是,这揭示了为什么一个ConvNet前几层像Gabor滤波器,以及你可能不需要培训他们。用Stephane Mallat的话,“我对它的工作原理非常吃惊!”见下文。


缩放散射变换

Scaling the Scattering Transform

论文下载地址:https://arxiv.org/pdf/1703.08961.pdf


在维基百科上,Tensorized LSTM是新的SOTA,有人英语的编码限制是1.0,1.1 BPC(作为参考,LayerNorm LSTMs大约是1.3 bpc)因为新颖,我更愿意把这篇论文定为“超级网络的复兴之路”。


序列学习Tensorized LSTMs

Tensorized LSTMs for sequence learning

论文下载地址:https://arxiv.org/pdf/1711.01577.pdf


最后,无需多言。

胶囊间动态路由

Dynamic Routing Between Capsules 

https://arxiv.org/pdf/1710.09829.pdf


EM路由矩阵胶囊

Matrix capsules with EM routing

论文下载地址:https://openreview.net/pdf?id=HJWLfGWRb




生成模型




我故意遗漏了英伟达关于GAN网络逐渐增大的令人颇为震惊的论文。


先用自回归家庭–Aaron van den Oord的最新力作,vq-vae,是其中的一个文件,看起来明显的滞后,但想出背景渐变止损功能也是不小的壮举。我敢肯定,一堆的迭代,包括包在ELBO’ed Bayesian层中的ala PixelVAE将会发挥作用。


神经离散表示学习

Neural Discrete Representation Learning

论文下载地址:https://arxiv.org/pdf/1711.00937.pdf


另一个惊喜来自并行WaveNetwavenet。当每个人都在期待着与Tom LePaine的工作成果保持一致,DeepMind给我们师生分离,并通过解释高维各向同性高斯/物流潜在空间,作为一个可以通过逆回归流自噪声整形的过程,。非常非常整洁。


并行Wavenet

Parallel Wavenet

论文下载地址:https://arxiv.org/pdf/1711.10433.pdf


头号文件,没有人预料到- Nvidia公司制定了标准。GAN理论完全代替了Wassersteinizing (Justin Solomon的力作),仅保持KL损失。用数据分布的多分辨率近似摒弃了不相交的支持问题。这仍然需要一些技巧来稳定梯度,但经验结果不言自明。


GAN逐渐增长

Progressive growing of GANs

论文下载地址:https://arxiv.org/pdf/1710.10196.pdf


而今年早些时候Peyre和genevay负责的法国学校定义了最小Kantorovich Estimators。这是Bousquet主导的谷歌团队,该团队曾写下了 VAE-GAN的最终框架。这篇WAAE论文可能是ICLR2018最顶级的论文之一。


VeGAN手册

The VeGAN cookbook

论文下载地址:https://arxiv.org/pdf/1705.07642.pdf


Wasserstein自动编码器

Wasserstein Autoencoders

论文下载地址:https://arxiv.org/pdf/1711.01558.pdf


在变分推理面前,没谁比Dustin Tran从强化学习策略和GAN中借鉴到的思路更好,再次推动了先进的VI。


层次式模型

Hierarchical Implicit Models

论文下载地址:https://arxiv.org/pdf/1702.08896.pdf




强化学习




 “被软件/ max-entropy Q-learning主导了一年,我们错了,这些年!

Schulman证实了RL算法的主要的两个成员之间的的等价性。里程碑式的论文,”Nuff 称。


策略梯度与Soft Q-learning的等价性。

Equivalence between Policy Gradients and Soft Q-learning

论文下载地址:https://arxiv.org/pdf/1704.06440.pdf


他有没有在非常仔细的用数学和重新做分区函数计算来证实路径的等价性?没有人知道,除了Ofir:


缩小RL策略和价值之间的差距

Bridging the gap between value and policy RL

论文下载地址:https://arxiv.org/pdf/1702.08892.pdf


另一篇被低估的论文,Gergely通过找出RL程式和convex 优化理论的相似点,默默的超越了所有人。今年IMHO有关RL论文的佳作,不过知名度不高。


统一的熵规则MDP的观点

A unified view of entropy-regularized MDPs

论文下载地址:https://arxiv.org/pdf/1705.07798.pdf


如果David Silver的Predictron因某种方式丢掉雷达在ICLR 2017被拒绝,那么Theo的论文就像是一个双重的观点,它以优美而直观的Sokoban实验结果来启动:


想象力增强剂

Imagination-Augmented Agents

论文下载地址:https://arxiv.org/pdf/1707.06203.pdf


马克·贝莱马尔(Marc Bellemare)发布了另外一个转型的论文 - 废除了所有的DQN稳定插件,并简单地学习了分发(并且在这个过程中击败了SotA)。 漂亮。 许多可能的扩展,包括与Wasserstein距离的链接。


有分位数回归的RL 

A distributional perspective on RL

论文下载地址:https://arxiv.org/pdf/1707.06887.pdf


分布RL的分布视角

Distributional RL with Quantile Regression

论文下载地址:https://arxiv.org/pdf/1710.10044.pdf


一个简单,但非常有效,双重whammy的想法。


勘探用噪声网络

Noisy Networks for Exploration

论文下载地址:https://arxiv.org/pdf/1706.10295.pdf


当然,如果没有AlphaGo Zero的话,这个列表还是不完整的。 将策略网络MCTS前后对齐的思想,即MCTS作为策略改进算法(以及使NN近似误差平滑而不是传播的手段)是传说的东西。


在没有人类知识的情况下掌控Go游戏

Mastering the game of Go without human knowledge

论文下载地址:https://deepmind.com/documents/119/agz_unformatted_nature.pdf

 



SGD & 优化 




对于为什么SGD在非凸面情况下的工作方式(从广义误差角度来看如此难以打败),2017年已经是一年一度的成熟了。


今年的“最技术”论文获得者是Chaudhari。 从SGD和梯度流向PDE几乎连接了一切。 堪称遵循并完成“Entropy-SGD”的杰作:


深度放松:用于优化深度网络的偏微分方程

Deep Relaxation : PDEs for optimizing deep networks

论文下载地址:https://arxiv.org/pdf/1704.04932.pdf


贝叶斯认为这是Mandt&Hoffman的SGD-VI连接。 如你所知,我多年来一直是一个繁忙的人,原文如此。


SGD作为近似贝叶斯推断

SGD as approximate Bayesian inference

论文下载链接:https://arxiv.org/pdf/1704.04289.pdf


前面的文章取决于SGD作为随机微分方程的连续松弛(由于CLT,梯度噪声被视为高斯)。 这解释了批量大小的影响,并给出了一个非常好的chi-square公式。


批量大小,diffusion近似框架

Batch size matters, a diffusion approximation framework

论文下载地址:https://kloudstrifeblog.wordpress.com/2017/12/15/my-papers-of-the-year/


又一篇受Ornstein-Uhlenbeck启发的论文,得到了类似的结果,出自Yoshua Bengio实验室:


影响SGD最小值的三个因素

Three factors influencing minima in SGD

论文下载地址:https://arxiv.org/pdf/1711.04623.pdf


最后,又一篇Chandhari的论文,讲述SGD-SDE-VI三位一体:


SGD执行VI,收敛到限制周期

SGD performs VI, converges to limit cycles

论文下载地址:https://arxiv.org/pdf/1710.11029.pdf




理论




我坚信在解释深度学习为什么有用方面,答案将来自谐波/二阶分析和信息论与基于熵的测量之间的交集。 Naftali Tishby的想法虽然因为最近ICLR 2018提交的内容引发了争议,但这仍然使我们更加接近理解深度学习。


论通过信息论揭开深度网络黑箱

Opening the black box of deep networks via information 

论文下载地址:https://openreview.net/pdf?id=ry_WPG-A-


论深度学习的信息瓶颈理论

On the information bottleneck theory of deep learning

论文下载地址:https://arxiv.org/pdf/1703.00810.pdf


同样,来自ICLR2017的一篇漂亮的论文对信息瓶颈理论采取了一种变化的方法。


深度变分的信息瓶颈

Deep variational information bottleneck

论文下载地址:https://arxiv.org/pdf/1612.00410.pdf


今年已经有几十亿个生成模型,12亿个因子分解对数似然的方法,大都可以归在凸二元的下面。


A Lagrangian perspective on latent variable modelling

对潜变量建模的拉格朗日观点

论文下载地址:https://openreview.net/pdf?id=ryZERzWCZ


最后这篇论文展示了惊人的技术实力,并且告诉我们,数学深度学习的军备竞赛仍然十分活跃!这篇论文结合了复杂的分析,随机矩阵理论,自由概率和graph morphisms,得出了对于神经网络损失函数的Hessian特征值的一个精确的定律,而图(graph)的形状只在经验上是已知的,这一点在Sagun等人的论文中有论述。必读。


通过RMT看神经网络损失曲面几何

Geometry of NN loss surfaces via RMT

论文下载地址:http://proceedings.mlr.press/v70/pennington17a/pennington17a.pdf


深度学习非线性RMT

Nonlinear RMT for deep learning

论文下载地址:http://papers.nips.cc/paper/6857-nonlinear-random-matrix-theory-for-deep-learning.pdf

 


原文地址:https://kloudstrifeblog.wordpress.com/2017/12/15/my-papers-of-the-year/

 



人工智能赛博物理操作系统

AI-CPS OS

人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

  1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

  1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

  2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

  3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

  4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


给决策制定者和商业领袖的建议:

  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。





产业智能官  AI-CPS



用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链






长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能新产业:智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市、“智能驾驶”新模式:“财富空间、“数据科学家”、“赛博物理”、“供应链金融”


官方网站:AI-CPS.NET




本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com





登录查看更多
3

相关内容

AlphaGo Zero是谷歌下属公司Deepmind的新版程序。从空白状态学起,在无任何人类输入的条件下,AlphaGo Zero能够迅速自学围棋,并以100:0的战绩击败“前辈”。 2017年10月19日凌晨,在国际学术期刊《自然》(Nature)上发表的一篇研究论文中,谷歌下属公司Deepmind报告新版程序AlphaGo Zero:从空白状态学起,在无任何人类输入的条件下,它能够迅速自学围棋,并以100:0的战绩击败“前辈”。Deepmind的论文一发表,TPU的销量就可能要大增了。其100:0战绩有“造”真嫌疑。
AI创新者:破解项目绩效的密码
专知会员服务
32+阅读 · 2020年6月21日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
2019中国硬科技发展白皮书 193页
专知会员服务
77+阅读 · 2019年12月13日
AI 辅助科学,预测地震余震位置
谷歌开发者
7+阅读 · 2019年1月24日
为什么2018年AI领域缺乏突破性进展?
AI前线
21+阅读 · 2018年12月24日
2018年的人工智能和深度学习将会如何发展? | 分析
网易智能菌
3+阅读 · 2017年12月30日
2017深度学习NLP进展与趋势
全球人工智能
5+阅读 · 2017年12月19日
Gartner:2018人工智能预测
走向智能论坛
4+阅读 · 2017年11月28日
Logic Rules Powered Knowledge Graph Embedding
Arxiv
7+阅读 · 2019年3月9日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
Arxiv
5+阅读 · 2015年9月14日
VIP会员
相关资讯
AI 辅助科学,预测地震余震位置
谷歌开发者
7+阅读 · 2019年1月24日
为什么2018年AI领域缺乏突破性进展?
AI前线
21+阅读 · 2018年12月24日
2018年的人工智能和深度学习将会如何发展? | 分析
网易智能菌
3+阅读 · 2017年12月30日
2017深度学习NLP进展与趋势
全球人工智能
5+阅读 · 2017年12月19日
Gartner:2018人工智能预测
走向智能论坛
4+阅读 · 2017年11月28日
Top
微信扫码咨询专知VIP会员