报告主题： 模仿学习前沿进展

报告摘要： 时空跟踪和传感数据的不断发展，现在使得在广泛的领域中对细粒度的行为进行分析和建模成为可能。例如，现在正在收集每场NBA篮球比赛的跟踪数据，其中包括球员，裁判和以25 Hz跟踪的球，以及带有注释的比赛事件，如传球，射门和犯规。其他设置包括实验动物，公共场所的人员，设置诸如手术室，演员讲话和表演的演员，虚拟环境中的数字化身，自然现象（如空气动力学）以及其他计算系统的行为等专业人员。 在本演讲中，我将描述正在进行的研究，这些研究正在开发结构化模仿学习方法，以开发细粒度行为的预测模型。模仿学习是机器学习的一个分支，它处理模仿模仿的动态行为的学习。结构化模仿学习涉及施加严格的数学领域知识，这些知识可以（有时被证明）可以加速学习，并且还可以带来附带利益（例如Lyapunov稳定性或政策行为的可解释性）。我将提供基本问题设置的高级概述，以及对实验动物，专业运动，语音动画和昂贵的计算神谕进行建模的特定项目。

嘉宾介绍： Yisong Yue，博士，是加州理工学院计算与数学科学系的助理教授。他以前是迪斯尼研究院的研究科学家。在此之前，他是卡耐基梅隆大学机器学习系和iLab的博士后研究员。 Yisong的研究兴趣主要在于统计机器学习的理论和应用。他对开发用于交互式机器学习和结构化机器学习的新颖方法特别感兴趣。过去，他的研究已应用于信息检索，推荐系统，文本分类，从丰富的用户界面中学习，分析隐式人类反馈，临床治疗，辅导系统，数据驱动的动画，行为分析，运动分析，实验设计科学，优化学习，机器人技术政策学习以及自适应计划和分配问题。

主题： Introduction to Hilbert AutoML with TensorFlow Extended (TFX) at Yahoo! JAPAN

报告简介： 日本雅虎提供超过100项服务，包括广告、搜索、电子商务、拍卖、金融、地图、新闻、旅游、视频流、游戏、云服务、数据业务等。该公司的数据科学家和工程师拥有不同的技能组合，而且有必要开发一个人工智能框架来满足他们的个人需求，这样每个人都可以更容易地制作深度学习模型。为了实现生产级AutoML，公司引入了完整的TFX-YAML配置接口。因此，现在可以同时优化超参数、输入特征组合、输入交叉特征组合、嵌入大小、模型类型、模型架构、模型大小等。如果没有TFX配置接口，很难实现所有这些优化。Hilbert是一个人工智能框架，它与TFX一起工作，提供AutoML来自动创建生产级深度学习模型。希尔伯特目前被雅虎超过20家服务商使用！日本。Shin Ichiro Okamoto解释了如何实现生产级AutoML，并探索了雅虎的服务用例。他还详细介绍了公司让希尔伯特开源的目标。

嘉宾介绍： 冈本信一郎（Shin ichiro Okamoto）是Actapio数据科学部门的副总裁。Shin ichiro代表雅虎在Actapio工作。他开发了AutoML和TensorFlow扩展，并领导了Yahoo。此前，他是雅虎数据和科学解决方案管理部门的部门首席技术官。

书籍介绍： 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习是人工智能及模式识别领域的共同研究热点，其理论和方法已被广泛应用于解决工程应用和科学领域的复杂问题。本书从机器学习的基础入手，分别讲述了分类、排序、降维、回归等机器学习任务，是入门机器学习的一本好书。

作者： Mehryar Mohri，是纽约大学库兰特数学科学研究所的计算机科学教授，也是Google Research的研究顾问。

大纲介绍：

• 介绍
• PAC学习框架
• rademacher复杂度和VC维度
• 支持向量机
• 核方法
• Boosting
• 线上学习
• 多类别分类
• 排序
• 回归
• 算法稳定性
• 降维
• 强化学习

作者主页：https://cs.nyu.edu/~mohri/

主题： Zero to ML hero with TensorFlow 2.0

摘要： 从基础到使用卷积神经网络构建复杂的计算机视觉场景，再到使用递归神经网络进行自然语言处理，让程序员了解劳伦斯·莫罗尼的机器学习。这篇教程对数学和理论轻描淡写，对代码要求很高。您将从学习训练与编程的概念开始，创建一个非常简单的示例，训练神经网络来识别模式，再扩展到计算机视觉的一个场景，在这个场景中，你训练一个神经网络来识别衣服上的物品，并分支到更复杂的图像中，学习如何使用卷积来提取图像中的特征，这样你就可以通过猫的耳朵来识别猫，通过马的鼻子来识别马。

邀请嘉宾： 劳伦斯·莫罗尼（Laurence Moroney）是Google Brain团队的开发倡导者，致力于TensorFlow和机器学习。他是数十本编程书籍的作者，其中包括几本畅销书以及Google电路的定期发言人。在不使用谷歌搜索时，他还是出版小说家，漫画书作家和编剧。

主题： Opening keynote

摘要： 杰夫·迪恩（Jeff Dean）解释了为什么Google大约在四年前就将TensorFlow开源。

邀请嘉宾： Jeff Dean，是Google Research Group的Google高级研究员，他与他的合作者共同创立并领导了Google Brain团队，即Google的深度学习和人工智能研究团队。他和他的合作者正在研究语音识别，计算机视觉，语言理解和各种其他机器学习任务的系统。杰夫（Jeff）是ACM和AAAS，美国国家工程院院士，计算机科学ACM -Infosys基金会奖获得者。他拥有华盛顿大学的计算机科学博士学位，在那里他与Craig Chambers一起研究了面向对象语言的全程序优化技术，并获得了明尼苏达大学的计算机科学和经济学学士学位。

ppt下载链接： https://pan.baidu.com/s/14LMWTz-RV_pSPKw82ifWaw 提取码：ay52

简介： 深度学习通常被认为具有解决问题的近乎形而上的能力。 然而，深度学习背后的技术通常被视为神秘的黑匣子。 在本教程中，我们试图为深入了解深度学习提供坚实的基础。 我们的主要重点是反向传播和自动微分，但我们还将讨论各种相关主题，包括梯度下降和出现的各种参数。 此外，我们指出了深度学习与其他非深度技术之间的许多联系，这些联系主要是隐马尔可夫模型（HMM）和支持向量机（SVM）。 但是首先，我们讨论人工神经网络，这是深度学习的基本组成部分。

大纲介绍：

• 介绍
• 神经网络的发展
• 为什么是神经网络呢？
• 决定
• 自动微分
• 反向传播
• 结论
• 问题
• 附件

主题： Machine learning over real-time streaming data with TensorFlow

报告简介： 在流数据上应用机器学习来发现有用的信息一直是人们感兴趣的话题。在物联网传感器、网络交易、全球定位系统位置或社交媒体更新等许多现实应用中，不断产生大量数据。关键是要有一个能够可靠和方便地接收、预处理和提供数据的数据管道，以便进行模型推理和训练。Yong Tang使用TensorFlow开发了用于流数据处理的TensorFlow I/O包。TensorFlow I/O由TensorFlow项目的SIG IO开发，是一个软件包，主要关注TensorFlow的数据I/O、流和文件格式。除了机器学习本身之外，它还支持各种各样的开源软件和框架。在流数据领域，TensorFlow I/O为Apache Kafka、AWS kinisis和Google Cloud PubSub提供支持，这是目前应用最广泛的流框架。TensorFlow I/O构建在tf.data之上，与简洁的tf.keras API完全兼容。这意味着使用Kafka、kinisis和PubSub对流式数据进行模型推断可以像一行代码一样简单。再加上tf.data中的数据转换功能，还可以直接对成批流数据进行模型训练。除了流输入外，TensorFlow I/O还提供流输出支持，使得机器学习算法实时生成的数据可以返回到Kafka，从而允许其他应用程序连续接收数据。有了输入和输出支持，就可以用最少的组件构建以TensorFlow为中心的流媒体管道，这从长远来看大大减少了基础设施的维护。您将看到一个演示，展示了TensorFlow I/O使用的便利性，以及使用完整的流数据管道轻松进行机器学习的能力。

嘉宾介绍： 唐勇是美孚电子的工程总监。他为开源社区的不同容器和机器学习项目做出了贡献。他最近的研究重点是机器学习中的数据处理。他是TensorFlow项目的提交者和SIG I/O负责人，并因对TensorFlow的贡献而获得了谷歌的开源同行奖。除了TensorFlow，唐勇还为开源社区的许多其他项目做出了贡献，并且是Docker和CoreDNS项目的提交者。

摘要：深度学习是近年来应用最广泛的心脏图像分割方法。在这篇文章中，我们回顾了超过100篇使用深度学习的心脏图像分割论文，这些论文涵盖了常见的成像方式，包括磁共振成像(MRI)、计算机断层扫描(CT)和超声(US)以及感兴趣的主要解剖结构(心室、心房和血管)。此外，公开可用的心脏图像数据集和代码库的摘要也包括在内，为鼓励重复性研究提供了基础。最后，我们讨论了当前基于深度学习的方法的挑战和局限性(缺乏标签、不同领域的模型可泛化性、可解释性)，并提出了未来研究的潜在方向。

报告摘要： 构建统计机器学习方法进行图上预测是很多应用的基础问题，例如知识图谱的半监督节点分类和链接预测。传统的统计关联学习方法和近年来发展起来的图神经网络都对这类问题进行了广泛的研究。在这次演讲中，将介绍结合这两个领域的优势来进行图预测和推理所做的努力。以及结合条件随机域和semi-supervised节点的神经网络分类(图马尔可夫神经网络,ICML 19)和最近的研究在结合马尔可夫逻辑网络和知识图谱嵌入(概率逻辑神经网络)的推理。

在这次报告中，作者将介绍今年的ICML2019论文(GMNN: Graph Markov Neural Networks)。研究了关系数据中的半监督对象分类问题，这是关系数据建模中的一个基本问题。这个问题在统计相关学习(如关联马尔科夫网络)和图神经网络(如图卷积网络)的文献中得到了广泛的研究。统计相关学习方法可以通过条件随机域对对象标签的依赖关系进行有效的建模，实现集体分类，而图神经网络则通过端到端训练来学习有效的对象表示，实现分类。在这篇论文中，他们提出了结合这两个领域的优势的图马尔可夫神经网络(GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模，利用变分EM算法对其进行有效训练。 在E-step中，一个图神经网络学习有效的对象表示来近似对象标签的后验分布。 在M -步骤中，使用另一个图神经网络对局部标签依赖关系进行建模 。在目标分类、链路分类和无监督节点表示学习等方面的实验表明，该算法取得了较好的效果。

嘉宾介绍： 唐建博士自2017年12月起担任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度图表示学习，在知识图谱、药物发现和推荐系统等领域有着广泛的应用。他是密歇根大学和卡内基梅隆大学的研究员。他在北京大学获得博士学位，并在密歇根大学做了两年的访问学者。他在微软亚洲研究院做了两年的研究员。他在图表示学习(如LINE、LargeVis和RotatE)方面的工作得到了广泛的认可。他获得了ICML ' 14的最佳论文奖和WWW ' 16的最佳论文提名。个人主页

报告部分纲要：

• 图结构数据
• 关联预测与推理
• 统计关联学习
• 图表示学习
• 知识图谱
• 马尔科夫逻辑网络

报告主题：Natural language processing using transformer architectures

报告摘要：

无论是否需要自动判断用户评论的观点、总结长文档、翻译文本还是构建聊天机器人，都需要最佳的语言模型。在2018年，几乎每一个NLP基准都被新的基于变压器的架构所击垮，取代了长期存在的基于递归神经网络的架构。简而言之，如果你喜欢NLP，你需要变形金刚。但是要使用transformer，您需要知道它们是什么，基于transformer的架构是什么样子的，以及如何在项目中实现它们。

Aurélien Géron深入复发性神经网络及其限制,transformer的发明,注意力机制,transformer架构,subword标记使用SentencePiece, 自我监督预训练-从巨大的corpor、语言模型,、BERT,、GPT学习和如何使用这些语言在你的项目中使用TensorFlow模型。

邀请嘉宾：

Aurélien Géron是Kiwisoft的机器学习顾问，也是畅销书《与Scikit-Learn、Keras和TensorFlow一起进行机器学习》的作者。此前，他曾领导YouTube的视频分类团队，是Wifirst的创始人和首席技术官，并在多个领域担任顾问:金融(摩根大楼和法国兴业银行)、国防(加拿大国防部)和医疗(输血)。他还出版了一些技术书籍(关于c++、WiFi和互联网架构)，他是巴黎多芬大学的讲师。