【导读】深度学习中的优化问题是非常关键的。今年国立台湾大学教授、IEEE Fellow、ACM Fellow、AAAI Fellow,也是大名鼎鼎LIBSVM作者林智仁教授开设了《深度学习优化方法》课程,讲解深度学习涉及到非常难的非凸优化问题,研究了深度学习优化方法的实现,值得跟踪学习。

https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/

Chih-Jen Lin,现任台湾大学计算机科学系特聘教授。1993年获国立台湾大学学士学位,1998年获密歇根大学博士学位。他的主要研究领域包括机器学习、数据挖掘和数值优化。他最著名的工作是支持向量机(SVM)数据分类。他的软件LIBSVM是最广泛使用和引用的支持向量机软件包之一。由于他的研究工作,他获得了许多奖项,包括ACM KDD 2010和ACM RecSys 2013最佳论文奖。因为他对机器学习算法和软件设计的贡献,他是IEEE fellow,AAAI fellow,ACM fellow。更多关于他的信息可以在http://www.csie.ntu.edu.tw/~cjlin

目录内容:

  • 正则化线性分类
  • 全连接网络优化问题
  • 卷积神经网络优化问题
成为VIP会员查看完整内容
Optimization Problems for Neural Networks.pdf
0
85

相关内容

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自帝国理工学院Michael Bronstein教授讲述《几何深度学习》,166页ppt系统性讲述了几何深度学习基础知识和最新进展,非常干货。

地址: http://mlss.tuebingen.mpg.de/2020/schedule.html

作者介绍 Michael Bronstein,伦敦帝国理工学院教授,Twitter 图机器学习研究负责人,CETI 项目机器学习领导、Twitter 图机器学习负责人、研究员、教师、企业家和投资者。

https://www.imperial.ac.uk/people/m.bronstein

几何深度学习

在过去的几年,深度学习方法在多个领域取得了前所未有的成就,比如计算机视觉和语言识别。目前研究者主要将深度学习方法应用于欧氏结构数据,然而有些非常重要的应用需要处理非欧氏空间结构的数据,比如图和流形。这些几何数据在许多任务重的重要性越来越多高,比如3D视觉、传感网络、药品研发、生物医药、推荐系统以及各种web程序。深度学习在这些方面的应用有着明显的滞后,这是因为处理的对象的非欧性质使得在深层网络中对其基本操作的定义相当麻烦。

本教程的目的是介绍几何深度学习在图和流形数据上的最新成果,并综述针对这些问题的解决方法、关键难点和未来的研究方向。

成为VIP会员查看完整内容
0
43
小贴士
相关主题
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 1月2日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
62+阅读 · 2019年12月19日
The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approach
Noé Tits,Kevin El Haddad,Thierry Dutoit
3+阅读 · 2019年10月14日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
3+阅读 · 2019年4月10日
Occupancy Networks: Learning 3D Reconstruction in Function Space
Lars Mescheder,Michael Oechsle,Michael Niemeyer,Sebastian Nowozin,Andreas Geiger
9+阅读 · 2018年12月10日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
3+阅读 · 2018年11月15日
Asymmetric Similarity Loss Function to Balance Precision and Recall in Highly Unbalanced Deep Medical Image Segmentation
Seyed Raein Hashemi,Seyed Sadegh Mohseni Salehi,Deniz Erdogmus,Sanjay P. Prabhu,Simon K. Warfield,Ali Gholipour
4+阅读 · 2018年6月29日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
10+阅读 · 2018年6月23日
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
5+阅读 · 2018年4月22日
Huifeng Guo,Ruiming Tang,Yunming Ye,Zhenguo Li,Xiuqiang He,Zhenhua Dong
6+阅读 · 2018年4月12日
Top