7 Papers & Radios | NumPy论文登上Nature；高效Transformer综述

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括 登上 Nature 的 NumPy 论文，以及高效 Transformer 综述论文。

目录：

1. High-frequency Component Helps Explain the Generalization of Convolutional Neural Network

2. Learning from Very Few Samples: A Survey

3. Array programming with NumPy

4. Progress in Quantum Computing Cryptography Attacks

5. Implicit Graph Neural Networks

6. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

7. Efficient Transformers: A Survey

8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：High-frequency Component Helps Explain the Generalization of Convolutional Neural Network

• 作者：Haohan Wang、Xindi Wu、Zeyi Huang、Eric P. Xing

• 论文链接：https://arxiv.org/pdf/1905.13545.pdf

摘要： 如何理解神经网络的泛化能力？ CMU 的汪浩瀚、邢波等人在这篇论文中另辟蹊径，从数据的角度入手，探讨那些曾让我们百思不得其解的泛化现象 。

人与模型视觉上的区别：低频重建的图片与原图看起来几乎一致，却被模型预测成了不同的 label。高频重建的图片人眼几乎无法识别，模型却能成功预测出原来的 label。

左：普通卷积神经网络的卷积核的可视化；右：对对抗攻击鲁棒的卷积神经网络的卷积核的可视化。

在训练过程中，测试准确率随着 epoch 数的变化。每一个板块描述的是一个不同的训练技巧。颜色代表着区分低频信息和高频信息的半径。实线代表低频信息，虚线代表高频信息。虚线越高，表示越多的高频信息被学习到了。

推荐： 研究者认为在未来，更加直观地把人的视觉特征加入模型中的技术可能会比较重要。

论文 2：Learning from Very Few Samples: A Survey

• 作者：Jiang Lu、Pinghua Gong、Jieping Ye、 Jianwei Zhang、Changshui Zhang

• 论文链接：https://arxiv.org/pdf/2009.02653.pdf

摘要： 少样本学习（FSL）是机器学习领域中重要且有难度的课题。基于少量样本进行学习和泛化的能力是区分人工智能和人类智能的重要分界线，因为人类往往能够基于一个或少量样本建立对新事物的认知，而机器学习算法通常需要数百或数千个监督样本才能实现泛化。

少样本学习的研究可以追溯到 21 世纪初，近年来随着深度学习技术的发展它也受到广泛的关注，但是目前关于 FSL 的综述文章较少。 清华大学教授、IEEE Fellow 张长水等人广泛阅读和总结了自 21 世纪初到 2019 年的 300 余篇论文，写了一篇关于 FSL 的综述文章 。

这篇综述文章回顾了 FSL 的演进历史和当前进展，将 FSL 方法分为基于生成模型和基于判别模型两大类，并重点介绍了基于元学习的 FSL 方法。

该综述文章的主要内容，包括 FSL 的发展过程、方法分类、扩展性主题和应用。

基于生成模型的 FSL 方法。

基于增强的 FSL 方法的通用框架。

推荐： 30 页 PDF，400+ 参考文献，清华大学张长水等撰写少样本学习综述文章。

论文 3：Array programming with NumPy

• 作者：Charles R. Harris、K. Jarrod Millman、Travis E. Oliphant 等

• 论文链接：https://www.nature.com/articles/s41586-020-2649-2

摘要： NumPy 是什么？它是大名鼎鼎的使用 Python 进行科学计算的基础软件包，是 Python 生态系统中数据分析、机器学习、科学计算的主力军，极大简化了向量与矩阵的操作处理。近日， NumPy 核心开发团队的论文终于在 Nature 上发表，详细介绍了使用 NumPy 的数组编程。这篇综述论文的发表距离 NumPy 诞生已经过去了 15 年 。

NumPy 数组包括多种基础数组概念。

NumPy 是科学 Python 生态系统的基础。

NumPy 的 API 和数组协议向生态系统提供了新的数组。

推荐： 15 年！NumPy 论文终出炉，还登上了 Nature。

论文 4：Progress in Quantum Computing Cryptography Attacks

• 作者：WANG Chao、YAO Hao-Nan、WANG Bao-Nan、HU Feng、ZHANG Huan-Guo、JI Xiang-Min

• 论文链接：http://cjc.ict.ac.cn/online/onlinepaper/08150%20%E7%8E%8B%E6%BD%AE-202094103159.pdf

摘要： 通用量子计算机器件进展缓慢，对实用化 1024-bit 的 RSA 密码破译尚不能构成威胁，现代密码依旧是 安全的。量子计算密码攻击需要探索新的途径：一是，量子计算能否协助 / 加速传统密码攻击模式，拓展已有量子 计算的攻击能力；二是，需要寻找 Shor 算法之外的量子计算算法探索密码攻击。对已有的各类量子计算整数分解 算法进行综述，分析量子计算密码攻击时面对的挑战，以及扩展至更大规模整数分解存在的问题。

结合 Shor 算法 改进过程，分析 Shor 算法对现代加密体系造成实质性威胁前遇到的困难并给出 Shor 破译 2048 位 RSA 需要的资 源。分析基于 D-Wave 量子退火原理的 RSA 破译，这是一种新的量子计算公钥密码攻击算法，与 Shor 算法原理上 有本质性不同。将破译 RSA 问题转换为组合优化问题，利用量子退火算法独特的量子隧穿效应跳出局部最优解逼 近全局最优解，和经典算法相比有指数级加速的潜力。进一步阐述 Grover 量子搜索算法应用于椭圆曲线侧信道攻 击，拓展其攻击能力。探讨量子人工智能算法对 NTRU 等后量子密码攻击的可能性。

Shor 量子算法改进过程。

Shor 算法求解椭圆曲线离散对数 k 的流程图。

量子退火与模拟退火示意图。

推荐： 这篇论文在 2020 年 9 月份的《计算机学报》上发表。

论文 5：Implicit Graph Neural Networks

• 作者：Fangda Gu、Heng Chang、Wenwu Zhu、Somayeh Sojoudi、Laurent El Ghaoui

• 论文链接：https://arxiv.org/pdf/2009.06211.pdf

摘要： 图神经网络（GNN）是得到广泛应用的深度学习模型，这些模型从图结构数据中学习有意义的表示。但是，由于底层循环结构的有限属性，当前 GNN 方法可能很难捕获底层图中的长期依赖（long-range dependency）。

为了克服相关困难， 来自 UC 伯克利和清华大学的研究者在本文中提出了一种名为隐图神经网络（implicit graph neural network, IGNN）的图学习框架，其中预测基于包含隐定义「状态」向量的定点平衡方程的解 。

具体而言，研究者使用 Perron-Frobenius 定理推导出了确保该框架适定性（well-posedness）的充分条件。通过隐微分，研究者又推导出了一种易处理的投影梯度下降方法来训练框架。

一系列任务上的实验表明，IGNN 始终捕获了长期依赖，并优于当前 SOTA 模型。

IGNN 与其他模型在 PPI 数据集中的多标签节点分类 Micro-F_1 的结果比较。

图分类准确率结果比较。

异构网络数据集上节点分类 Micro/Macro-F_1 的结果比较。

推荐： 论文一作 Fangda Gu 为 UC 伯克利 EECS 博士生。

论文 6：Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

• 作者：Kun Zhou、Wayne Xin Zhao、Shuqing Bian、Yuanhang Zhou、Ji-Rong Wen、Jingsong Yu

• 论文链接：https://arxiv.org/pdf/2007.04032.pdf

摘要： 在这篇论文中， 来自北京大学和中国人民大学的研究者合并了面向单词和实体的知识图谱（KG）以提升对话推荐系统（CRS）中的数据表示，并采用互信息最大化来对齐单词和实体层面的语义空间 。

基于对齐的语义表示，研究者进一步推出了用于做出准确建议的知识图谱增强型推荐组件，以及可以在响应文本中生成信息关键词或实体的知识图谱增强型对话组件。

大量的实验表明，本研究中的方法可以在推荐和对话任务中实现更好的性能。

电影推荐场景中的模型架构图。

推荐任务上的比较结果。

对话任务上的自动评估结果比较。

推荐： 这篇论文被 ACM SIGKDD 2020 收录。

论文 7：Efficient Transformers: A Survey

• 作者：Yi Tay、Mostafa Dehghani 、Dara Bahri、Donald Metzler

• 论文链接：https://arxiv.org/pdf/2009.06732.pdf

摘要： 该论文提出了 一种针对高效 Transformer 模型的分类法，按照技术创新和主要用途进行分类 。具体而言，该论文综述了在语言和视觉领域均有应用的 Transformer 模型，并为其中的部分模型提供了详细的解读。

标准 Transformer 架构图。

高效 Transformer 模型

按发布时间顺序整理的高效 Transformer 模型。

推荐： 这是一篇针对高效 Transformer 模型的综述文章。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks.  (from Andrew McCallum)

2. Generative Language-Grounded Policy in Vision-and-Language Navigation with Bayes' Rule.  (from Kyunghyun Cho)

3. Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation.  (from Kyunghyun Cho)

4. A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation.  (from Kyunghyun Cho)

5. UNION: An Unreferenced Metric for Evaluating Open-ended Story Generation.  (from Minlie Huang)

6. Leveraging Semantic Parsing for Relation Linking over Knowledge Bases.  (from Salim Roukos)

7. Lessons Learned from Applying off-the-shelf BERT: There is no SilverBullet.  (from Lior Rokach)

8. Noisy Self-Knowledge Distillation for Text Summarization.  (from Yang Liu, Mirella Lapata)

9. Reasoning about Goals, Steps, and Temporal Ordering with WikiHow.  (from Chris Callison-Burch)

10. A Computational Approach to Understanding Empathy Expressed in Text-Based Mental Health Support.  (from David C. Atkins)

本周 10 篇 CV 精选论文是：

1. Layered Neural Rendering for Retiming People in Video.  (from Andrew Zisserman, David Salesin, William T. Freeman)

2. Evaluating Self-Supervised Pretraining Without Using Labels.  (from Trevor Darrell, Kurt Keutzer)

3. Perceiving Traffic from Aerial Images.  (from Sven Kreiss)

4. Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing.  (from Tinne Tuytelaars)

5. BOP Challenge 2020 on 6D Object Localization.  (from Carsten Rother, Jiri Matas)

6. Promoting Connectivity of Network-Like Structures by Enforcing Region Separation.  (from Pascal Fua)

7. HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking.  (from Philip Torr, Andreas Geiger, Bastian Leibe)

8. Calibrating Self-supervised Monocular Depth Estimation.  (from Andrea Vedaldi)

9. PointIso: Point Cloud Based Deep Learning Model for Detecting Arbitrary-Precision Peptide Features in LC-MS Map through Attention Based Segmentation.  (from Ming Li)

10. Optimal Use of Multi-spectral Satellite Data with Convolutional Neural Networks.  (from James Foley)

本周 10 篇 ML 精选论文是：

1. Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization.  (from Jiawei Han)

2. Real-Time Streaming Anomaly Detection in Dynamic Graphs.  (from Christos Faloutsos)

3. Holistic Filter Pruning for Efficient Deep Neural Networks.  (from Wolfram Burgard)

4. Demand Forecasting of individual Probability Density Functions with Machine Learning.  (from U. Kerzel)

5. Matrix Profile XXII: Exact Discovery of Time Series Motifs under DTW.  (from Eamonn Keogh)

6. Analyzing the effect of APOE on Alzheimer's disease progression using an event-based model for stratified populations.  (from M. Kamran Ikram, Wiro J. Niessen)

7. Evaluating representations by the complexity of learning low-loss predictors.  (from Kyunghyun Cho)

8. Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification.  (from Yang Gao)

9. Decoupling Representation Learning from Reinforcement Learning.  (from Pieter Abbeel)

10. LAAT: Locally Aligned Ant Technique for detecting manifolds of varying density.  (from Reynier F. Peletier)