机器之心 & ArXiv Weekly Radiostation
参与：力元、楚航、罗若天
本周的重要论文包括北大等研究机构提出的采用梯度调节模块（GRM）解决在线学习所带来的灾难性遗忘问题；研究人员发表了对 DeepONet 架构长达 112 页的数学分析；BrainGate 的研究团队成功创建了一种无线脑机接口（BCI），性能接近有线脑机接口，延迟非常低等。
Learning the Superpixel in a Non-iterative and Lifelong Manner
DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators
Fourier Neural Operator For Parametric Partial Differential Equations
Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attack
Open Domain Generalization with Domain-Augmented Meta-Learning
Home Use of a Percutaneous Wireless Intracortical Brain-Computer Interface by Individuals With Tetraplegia
Learning Position and Target Consistency for Memory-based Video Object Segmentation
ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）
论文 1：Learning the Superpixel in a Non-iterative and Lifelong Manner
摘要：
为解决在线学习所带来的灾难性遗忘问题，北大等研究机构提出了采用梯度调节模块（GRM），通过训练权重在特征重建时的作用效果及像素的空间位置先验，调节反向传播时各权重的梯度，以增强模型的记忆性的超像素分割模型 LNSNet。该研究已被 CVPR 2021 接收，主要由朱磊和佘琪参与讨论和开发，北京大学分子影像实验室卢闫晔老师给予指导。
![]()
推荐：
比经典算法在参数量降低近 20 倍的同时，运算速度提升了 4 倍。
论文 2：DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators
摘要：
DeepONet 是一种可以学习算子的深度神经网络架构。它的独特之处在于它的分叉式架构，该架构在两个并行网络（「分支」和「主干」）中处理数据。前者学习预估输入侧的许多函数，后者学习预估输出侧的函数。然后，DeepONet 将两个网络的输出合并以学习算子。训练 DeepONet 的每次迭代中会调整分支网络和主干网络中的权重，直到整个网络出现的错误量可以被接受为止。
今年 2 月研究人员发表了对 DeepONet 架构长达 112 页的数学分析。研究证明这种方法是真正通用的，可以将输入端的任何函数集映射到输出端的任何函数集。
![]()
推荐：
分叉式架构，通用性强，可以将输入端的任何函数集映射到输出端的任何函数集。
论文 3：Fourier Neural Operator For Parametric Partial Differential Equations
摘要：
傅里叶神经算子深度神经网络（FNO）在求解偏微分方程上拥有极快的运行速度。例如，在一个需要进行 30000 次仿真（包括 Navier-Stokes 方程）的求解过程中，对于每个仿真，FNO 花费了不到一秒的时间，而传统的求解器则大概需要花费 18 个小时。对于没有确定的偏微分方程的现象，学习神经算子很可能是建模此类系统的唯一方法。比如交通问题，编写精确捕捉交通动态的偏微分方程几乎是不可能的，但是可以学习的数据量却非常之多。
在训练数据通过神经网络的每一层之前会先对其进行傅里叶变换，然后该层通过线性运算处理数据，再执行傅立叶逆变换回原始格式。最后，FNO 学习了整个偏微分方程族的算子，将函数映射到函数。
![]()
推荐：运行速度极快，比传统 PDE 求解器快约 70000 倍。
论文 4：Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attack
摘要：
随着工业界对深度学习模型的使用越来越广泛，机器学习即服务逐渐兴起，也利用了这些模型创造了可观的收入。由于这些深度学习模型可以轻松地被未经授权的第三方抄袭与剽窃，深度学习模型的知识产权 （IPR）保护也因此成了各公司会专注的问题。
虽然目前已有用于卷积神经网络的 IPR 保护方法，但是却不能直接使用在生成对抗网络（GANs）——另一种被广泛用于生成逼真图像的深度学习模型。因此，本文提出了一种基于黑盒与白盒的 GAN 模型 IPR 保护方法。实验结果表明，本方法并不会损害 GAN 本来的性能（如图像生成、图像超分辨率以及样式转换），也能够抵御去除嵌入的水印和模糊攻击。
![]()
推荐：
第一个适用于 GANs 模型的 IPR 保护方法，基于黑盒和白盒，完全不损害性能。
论文 5：Open Domain Generalization with Domain-Augmented Meta-Learning
摘要：
深度学习往往需要依赖大规模的标注数据。然而，大规模的收集与标注感兴趣的数据是难以实现的。一种解决方案是 Domain Generalization（DG）：从一个或多个源领域中学习模型，使之能够直接应用到未见过的目标领域上。由于 DG 的每一个源领域可能都是从不同渠道收集而来，目标领域数据在训练阶段是不可见的，因此它与各源领域标签集之间的关系也应该是开放的。
本文抛开了所有源领域与目标领域都具有完全相同的标签集的假设，提出了用 Domain-Augmented Meta-Learning （DAML）框架来学习 Open Domain Generalization（OpenDG），通过设计新的元学习任务和损失来进行元学习，以保留领域独特的知识并同时推广跨领域的知识。实验结果表明 DAML 优于现有的看不见的领域识别方法。
![]()
论文 6：Home Use of a Percutaneous Wireless Intracortical Brain-Computer Interface by Individuals With Tetraplegia
作者：John D. Simeral、Thomas Hosman、Jad Saab、Sharlene N. Flesher、Marco Vilela、Brian Franco、Jessica Kelemen、David M. Brandman、John G. Ciancibello、Paymon G. Rezaii、Emad N. Eskandar、David M. Rosler、Krishna V. Shenoy§、Jaimie M. Henderson§、Arto V. Nurmikko、Leigh R. Hochberg
论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9390339
摘要：
脑机接口技术进行意念操控，已经不是什么新鲜事。不过，以往脑机接口设备都要通过有线系统将脑电波信号传输到计算机，如果改用无线技术，将是一项重大的进步。2015 年，四肢瘫痪的患者借助 BrainGate 仅用自己的思维就可以打字。但要完成这个操作，需要将参与者连接到固定的计算机上，以便传输大量处理数据。
近日，BrainGate 的研究团队又取得了新的突破。研究者们成功创建了一种无线脑机接口（BCI），性能接近有线脑机接口，延迟非常低。相比于 2015 年，新研究成果能够省掉许多繁琐的设置，使用户不仅能够用思维打字，还能在家轻松浏览网络内容。在该研究的论文中，研究者描述了两位四肢瘫痪的志愿者如何使用新的无线 BCI 系统，并借助该系统打开 Windows 中的开始菜单，使用其中的应用程序。
![]()
推荐：
无线意念操控，性能接近有线脑机接口，低延迟。
论文 7：Learning Position and Target Consistency for Memory-based Video Object Segmentation
摘要：
视频目标分割 (Video Object Segmentation，VOS) 是计算机视觉的基础任务，广泛应用于视频编辑、内容生产、自动驾驶等领域。从最近的研究成果来看，Memory-based 的方法是目前 VOS 领域性能表现最佳的一类方法，其代表作是 STM。STM 提出利用过往所有历史帧的信息，对于当前待分割的帧，STM 会将其与所有历史帧在时空域上做一个匹配学习，从而将当前帧的特征和历史帧的特征关联起来，得到了远超之前方法的效果。然而 STM 的分割结果中仍然有很多不足。
为了进一步提升 Memory-based 的 VOS 方法，该研究提出从两个方面去改进：位置一致性与目标一致性。首先，目标物体在视频帧间的运动是遵循一定轨迹的，如果在某一帧的一些位置出现和目标物体相似的同类物体，如果其位置不合理，那么该物体是目标物体的可能性就会降低，不应该被分割。其次，视频目标分割本质上也可以理解为是一个像素级别的物体跟踪。虽然分割是像素级的任务，但 VOS 的处理对象是物体 (object)，需要有一个类似图像实例分割中对于物体级别的约束。显然那些错误的碎块分割结果是不满足一个目标物体整体的概念的。
![]()
推荐：
从位置一致性、目标一致性两个方面提升了 Memory-based 的 VOS 方法。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
1. Generating Bug-Fixes Using Pretrained Transformers. (from Alexey Svyatkovskiy)
2. Human-like informative conversations: Better acknowledgements using conditional mutual information. (from Christopher D. Manning)
3. Case-based Reasoning for Natural Language Queries over Knowledge Bases. (from Andrew McCallum)
4. On Sampling-Based Training Criteria for Neural Language Modeling. (from Hermann Ney)
5. Sensitivity as a Complexity Measure for Sequence Classification Tasks. (from Dan Jurafsky)
6. Frequency-based Distortions in Contextualized Word Embeddings. (from Dan Jurafsky)
7. Improving Neural Model Performance through Natural Language Feedback on Their Explanations. (from Yiming Yang)
8. XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment. (from Philipp Koehn)
9. Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry. (from Philipp Koehn)
10. Back to Square One: Bias Detection, Training and Commonsense Disentanglement in the Winograd Schema. (from Hongming Zhang, Dan Roth)
1. TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval. (from Yang Liu, Andrew Zisserman)
2. Multiscale Vision Transformers. (from Jitendra Malik)
3. Robust Object Detection via Instance-Level Temporal Cycle Confusion. (from Trevor Darrell)
4. Exploring Visual Engagement Signals for Representation Learning. (from Claire Cardie, Serge Belongie)
5. Understanding Synonymous Referring Expressions via Contrastive Features. (from Ming-Hsuan Yang)
6. Weakly Supervised Object Localization and Detection: A Survey. (from Ming-Hsuan Yang)
7. VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text. (from Shih-Fu Chang)
8. Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment. (from Shih-Fu Chang)
9. Self-Supervised Pillar Motion Learning for Autonomous Driving. (from Alan Yuille)
10. Towards Human-Understandable Visual Explanations:Imperceptible High-frequency Cues Can Better Be Removed. (from Tinne Tuytelaars)
本周 10 篇 ML 精选论文是：
1. Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks. (from Philip S. Yu)
2. Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks. (from Philip S. Yu)
3. Measuring what Really Matters: Optimizing Neural Networks for TinyML. (from Lothar Thiele)
4. Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020. (from Isabelle Guyon)
5. Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators. (from Bernt Schiele)
6. EarthNet2021: A large-scale dataset and challenge for Earth surface forecasting as a guided video prediction task. (from Markus Reichstein)
7. Risk score learning for COVID-19 contact tracing apps. (from Kevin Murphy, Abhishek Kumar)
8. Extraction of Hierarchical Functional Connectivity Components in human brain using Adversarial Learning. (from Christos Davatzikos)
9. Gradient Matching for Domain Generalization. (from Philip H.S. Torr)
10. Machine Learning Approaches for Type 2 Diabetes Prediction and Care Management. (from Vikas Kumar)
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com
微信扫码咨询专知VIP会员