暑假没人带怎么办？还有我们为你推荐论文

会员服务 ·

暑假没人带怎么办？还有我们为你推荐论文 | 本周值得读

2018 年 7 月 6 日 PaperWeekly

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。

点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。

这是 PaperDaily 的第 87 篇文章

Zero-Shot Dialog Gen eration with Cross-Domain Latent Actions

@paperweekly 推荐

#Dialogue Generation

本文是 CMU 发表于对话系统顶会 SIGDIAL 2018 的工作，并且获得最佳论文提名,角逐今年 SIGDIAL 最佳论文奖。此文提出零资源对话生成的问题，目的让端到端神经对话系统可以在没有新的对话数据的情况下迅速的迁移到全新的领域。作者们提出了Action Matching（AM）算法来从现有领域的对话数据和领域描述（domain description）中学习出跨领域的隐系统行动（cross-domain latent actions），以实现神经对话模型零资源迁移。

测试表明利用提出的 AM 算法，可以让配有拷贝机制的神经对话系统在全新的 domain 实现相当于有训练数据时 80% 的性能。本文研究同时也引出了多个前沿的研究课题。

论文假设在一类对话领域中存在可以共享的对话状态跟踪和对话策略，模型只需建立来着不同领域中对话句子之间的关系，就可以继续在新的领域正常运作。作者将有对话数据的领域称为源领域（source domain），将没有对话数据的领域称为目标领域（target domain）。然后通过把近似对话功能来自 source domain 的句子和来自 target domain 句子投射到相近的隐空间上，就可以让在 source domain domain 上训练出来的对话状态跟踪和对话策略直接在 target domain 上使用。这个目标可以通过 AM 算法中交替优化两种不同的目标函数实现。

实验数据结果表明 AM 是在所有对比模型中唯一可以实现在全新领域零资源迁移的方法。此外，为了更加高效的验证未来的零资源对话模型，除了利用现有的多领域人人对话数据，论文还开源了一个多领域的人机对话模拟器，可以自动生成不同领域，不同难度的对话。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2077

源码链接

https://github.com/snakeztc/NeuralDialog-ZSDG

Design Challenges and Misconceptions in Neural Sequence Labeling

@handsome 推荐

#Neural Sequence Labeling

本文是 COLING 2018 的 Most reproducible Paper。作者用 PyTorch 实现了一个统一的序列标注框架，重现了 CoNLL 2003 English NER、CoNLL 2000 Chunking 和 PTB POS tagging 这三个数据集上不同模型的的表现。值得一提的是，基于这个统一的框架，作者对一些已有工作的一些不一致的结论进行了反驳，提出了一些新的看法。对于实践者而言，这篇论文还是很有借鉴意义的。

论文作者详细解读：COLING 2018 最佳论文解读：序列标注经典模型复现

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2061

源码链接

https://github.com/jiesutd/NCRFpp

Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architectures

@paperweekly 推荐

#Dialog Systems

本文是新加坡国立大学、复旦大学和京东发表于 ACL 2018 的工作，论文提出了一个名为 Sequicity 的框架，可将任务型对话的状态追踪和文本生成通过 Seq2Seq 模型来完成。

此外，在此任务的基础上，作者还提出了 Two Stage CopyNet 模型。相比传统模型，该模型参数较少且训练速度更快。实验表明，本文模型在大规模语料中优于当前最新模型的 baseline，并且在处理 out-of-vocabulary 问题时，也有着出色表现。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2095

Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information

@zhkun 推荐

#Sentence Matching

句子匹配（Sentence Matching）是自然语言理解任务中一个非常重要的任务，例如 Natural Language Inference，Paraphrase Identification，Question Answering 等都可以归属于这个任务。这个任务主要就是理解句子语义，理解句子之间的语义关系。因此如何去表示这些内容就变得十分重要了。

为了更好的利用原始特征信息，作者参考 DenseNet，提出了一种 densely-connected co-attentive recurrent neural network 模型，该模型最突出的地方就是可以从最底层到最顶层一直保留原始信息以及利用 co-attention 得到的交互信息。

本文将 DenseNet 的一些想法引入到了 stack RNN 中，还是可以给人一些灵感的，比如说从残差连接到 DenseNet，比如说注意力权值的使用方法，比如说利用 AutoEncoder 来压缩向量，这些还是十分值得学习的。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2082

Unsupervised Neural Machine Translation with Weight Sharing

@paperweekly 推荐

#Neural Machine Translation

本文是中科大发表于 ACL 2018 的工作，论文提出对无监督机器翻译进行权重共享约束，使模型能够为每种语言使用独立的编码器。为了实施共享潜在空间，模型还提出了嵌入增强编码器和两个不同的 GAN。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2094

源码链接

https://github.com/ZhenYangIACAS/unsupervised-NMT

Exploiting Spatial-Temporal Modelling and Multi-Modal Fusion for Human Action Recognition

@zhaoqijie 推荐

#Action Recognition

本文来自百度，该论文是获得 CVPR18-ActivityNet18 视频分类（行为识别）task 第一名的比赛方法描述。作者提出了一个 Spatial-Temporal Network (STNet)，在 TSN 的基础上，深度整合空间和时间上的特征，学习出更具行为代表性的时序表征特征。

此外，本文还提出了一个多流信息整合的方案 Improved Temporal Xception Network，将 5 种不同的输入流信息整合学习，并得到 top1 accuracy = 82.4 的单模型最高精度。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2079

Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

@TwistedW 推荐

#Image Compression

本文来自早稻田大学，论文用精炼的语言对比了几类图像生成模型，将卷积自编码器（CAE）、生成对抗网络（GAN）和超分辨率（SR）在生成图像性能上做了比较。通过提取图像紧凑的特征，文章得出 CAE 比 JPEG 具有更好的编码效率，GAN 显示出在大压缩比和高主观质量重建方面的潜在优势，超分辨率在其中实现了最佳的速率失真（RD）性能，与 BPG 相当。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2085

ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

@sawako 推荐

#Image Reconstruction

本文是 KAUST 发表于 CVPR 2018 的工作，论文研究了图像的 CS 重建问题，并且基于经典的 ISTA 提出了 ISTA-Net。ISTA-Net 的每一层先对输出进行编码，即卷积提取特征，然后对特征进行压缩（shrinkage），最后再进行解码。与众多传统 CS 算法以及 ADMM-Net 相比，ISTA-Net 的速度最快，重建效果最好。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2056

源码链接

https://github.com/jianzhangcs/ISTA-Net

CFENet: An Accurate and Efficient Single-Shot Object Detector for Autonomous Driving

@zhaoqijie 推荐

#Object Detection

本文来自北京大学和阿里巴巴，论文为自动驾驶场景提供了一种新的单步检测器，对小目标的检测做了极大的优化。该文章是基于 SSD 改进的方法里效果最好的版本，论文方法在 CVPR 2018 的 workshop of autonomous driving（WAD) 中获得目标检测项目的第二名，结果为本方法的单模型、多尺度预测结果。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2070

Eye In-painting with Exemplar Generative Adversarial Networks

@zhangjichao 推荐

#Image Inpainting

本文来自 Facebook，论文提出了一种基于 Exemplar 的人眼修复算法，除了得到高质量的修复结果，而且能够保持修复结果的身份特征。论文提出的框架具有一定的通用性，可以被应用到其他修复问题，以及超分辨率等问题中。论文还开源了一个新的数据集来作为 benchmark。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2058

源码链接

https://github.com/bdol/exemplar_gans

Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization

@figo 推荐

#Deep Reinforcement Learning

本文来自小米，论文对标 OpenAI PPO，提出了一种与 PPO（OpenAI, Google Brain 默认强化学习算法，也是到目前最好的 RL 算法）相比均有很强竞争力的 RL 算法。

在与 PPO 保持相同复杂度和计算量的前提下，严格按照 OpenAI 的测试评价指标，在 Atari 49 + Mujoco 7 上取得了 state of the art 的效果，且同时可以应用在离散和连续的情形。论文开放了源代码和实验数据，这在 RL 领域，确是为数不多的开源如此彻底的论文。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2091

源码链接

https://github.com/cxxgtxy/POP3D.git

Supervised Reinforcement Learning with Recurrent Neural Network for Dynamic Treatment Recommendation

@xiaolu 推荐

#Deep Reinforcement Learning

本文是华东师范大学发表于 SIGKDD 2018 的工作。近几年，许多机器学习算法致力于辅助医生更好地开展工作，例如生成医疗图像报告，辅助诊断等。其中辅助医生开药（药物推荐）的研究已经有很长历史。传统药物推荐算法主要分为监督学习（SL）和强化学习（RL）。SL 通过匹配医生的药方来训练模型，RL 通过优化病人输出进行学习。本文尝试通过融合 SL 的指示信号和 RL 的评估信号来提升药物推荐效果。

早期，许多研究工作通过构建专家系统来进行药物推荐。随着近年海量电子病历的涌现，一些工作利用这些大量的个性化数据，结合人工智能算法进行基于模型的药物推荐。基于模型的药物推荐算法大致分为 SL 和 RL 两类。

SL 通过减少模型输出和指示信号（医生药方）之间的差异来训练模型。但是，在真实医疗环境中好的 label 或者指示信号是不明确的。另一方面，药物推荐的根本目的是为了优化病人的输出（减少死亡率，减少肿瘤大小等），而不仅是匹配医生的药方。

第二类方法是基于 RL 的药物推荐。RL 通过最大化评估信号（reward）即病人的输出来训练模型。此外，医生的开药过程实际是一个多步决策过程，所以 RL 能更好地反应真实的医疗场景。可是，由于缺少指示信号，RL 可能输出高风险的药物。

Barto 曾提出指示信号和评估信号是互补的关系，基于此，我们提出一种同时融合这两种信号的模型来解决药物推荐问题。模型融合了 DDPG 和 RNN，其中DDPG中的 Actor 由指示信号和评估信号共同训练。通过在公开电子病历 MIMIC-3 上进行实验，验证了本文模型的有效性。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2092

On the Spectral Bias of Deep Neural Networks

@herb 推荐

#Fourier Analysis

根据前人的工作告诉我们，过参的（over-parameterized） DNN 会对简单的光滑（smooth）函数优先拟合，也就是说更容易破获到数据的整体结构（global structure），而不是对每个样本的过拟合。这一现象对于真实数据和随机生成的数据都是会发生的。可见，DNNs 对拟合光滑数据很有倾向性（bias）。

本文工作并不是研究泛化性或者优化方法的表现，而是用傅里叶分析证明 DNNs 对光滑函数的内禀倾向性。具体来说（这里默认了一个事实：越高频，越不光滑）：

1. 对于任意有限参数值 θ，DNN 中 ReLU 函数里的相应幅度，会随着频谱中的频率分量 k 以衰减。对于高频特征的捕获，DNN 的宽度是 polynomially 的，深度是 exponentially 。说白了，数据的高频分量在网络中贡献很小，所以体现了对光滑低频函数的倾向性（在一定的 steps 上）。这是 paper 最重要最核心的结果。

2. 于是有了理论上的推论：对于拟合拟合类 δ 函数来说，DNN 的能力就会大大受限。

3. 论文还证明了：加入 DNN 映射的是一个低微微分流形，那么 DNN 就可以充分利用流形的几何特征去近似地拟合高频特征分量。

4. 经验上证明了：对于 CIFAR-10 数据来说，所有的样本（甚至包括对抗样本）被 DNN 分类后，相同特定类别里的样本都在某种程度上存在着线性关联（用的AutoNEB）。

5. 经验上证明了：对于高频函数分量的 DNN 参数占坑较小。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2080

Generative Adversarial Image Synthesis with Decision Tree Latent Controller

@TwistedW 推荐

#Image Synthesis

本文是 NTT 集团发表于 CVPR 2018 的工作，文章提出了决策树潜在控制器生成对抗网络（DTLC-GAN）模型，该模型可以在不依赖详细监督的情况下学习到图像的分层解释表示。DTLC-GAN 以层次分解的方式捕捉图像的显着语义特征，在有限的标签信息下以粗到细的方式控制图像的语义特征，实现了同一类别下不同语义特征图像的生成。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2068

Mixed Link Networks

@chlr1995 推荐

#Scaffolding Networks

本文从拓扑结构的角度，分析了 ResNet（Eccv版本）和 DenseNet 的结构特性，并以此提出了 Dense Topology。从 Dense Topology 出发，对层与层之间的连接方式进行了变换，主要方式有拼接（DenseNet Concatenation）和累加（ResNet Addition）两种，最终构造了一种混合 concat 和 addition的 Mixed link 结构，两种操作的数量由 k1 和 k2 两个超参数决定。最后通过实验验证了网络结构的有效性，以及超参数的稳定性。