主题: A Unified Dual-view Model for Review Summarization and Sentiment Classification with Inconsistency Loss

摘要: 从用户的评论中获取准确的摘要和情感是现代电子商务平台的重要组成部分。评论摘要旨在生成简洁的摘要,描述评论的主要观点和观点,而情感分类旨在预测观点标签表示评论的情感态度。为了在评论摘要和情感分类任务中有效利用共享情感信息,我们提出了一种新颖的双视图模型,可以共同提高这两个任务的性能。在我们的模型中,编码器首先学习评论的上下文表示,然后摘要解码器逐词生成评论摘要。然后,源视图情感分类器使用编码的上下文表示来预测评论的情感标签,而摘要视图情感分类器则使用解码器的隐藏状态为生成的摘要预测情感标签。在训练过程中,我们引入了不一致的损失来惩罚这两个分类器之间的分歧。它可以帮助解码器生成摘要,从而与评论产生一致的情感趋势,还可以帮助两个情感分类器相互学习。来自不同领域的四个真实世界数据集的实验结果证明了我们模型的有效性。

成为VIP会员查看完整内容
0
17

相关内容

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

最近发布的GPT-3让我对NLP中的零学习和小样本的状态产生了兴趣。虽然大多数的零样本学习研究集中在计算机视觉,也有一些有趣的工作在NLP领域。

我将会写一系列的博文来涵盖现有的关于NLP零样本学习的研究。在这第一篇文章中,我将解释Pushp等人的论文“一次训练,到处测试:文本分类的零样本学习”。本文从2017年12月开始,首次提出了文本分类的零样本学习范式。

什么是零样本学习?

零样本学习是检测模型在训练中从未见过的类的能力。它类似于我们人类在没有明确监督的情况下归纳和识别新事物的能力。

例如,我们想要做情感分类和新闻分类。通常,我们将为每个数据集训练/微调一个新模型。相比之下,零样本学习,你可以直接执行任务,如情绪和新闻分类,没有任何特定的任务训练。

一次训练,随处测试

本文提出了一种简单的零样本分类方法。他们没有将文本分类为X类,而是将任务重新组织为二元分类,以确定文本和类是否相关。

https://amitness.com/2020/05/zero-shot-text-classification/

成为VIP会员查看完整内容
0
70

题目

Keywords extraction with deep neural network model

关键词

关键词提取,自然语言处理,深度神经语言模型,人工智能

简介

关键字可以表达文章或句子的主要内容。关键字提取是许多自然语言处理(NLP)应用程序中的关键问题,它可以提高许多NLP系统的性能。关键字提取的传统方法基于机器学习或图模型。这些方法的性能受功能选择和手动定义的规则影响。近年来,随着深度学习技术的出现,具有深度学习算法的自动学习功能可以提高许多任务的性能。在本文中,我们提出了一种用于关键字提取任务的深度神经网络模型。我们在传统LSTM模型的基础上进行了两个扩展。首先,为了更好地利用给定目标词的历史和后续上下文信息,我们提出了基于目标中心的LSTM模型(TC-LSTM),该模型通过考虑目标词的上下文信息来学习对目标词进行编码。其次,在TC-LSTM模型的基础上,我们应用了自我关注机制,这使我们的模型能够专注于相关文本的信息部分。另外,我们还介绍了一种利用大规模伪训练数据的两阶段训练方法。实验结果表明了我们方法的优势,我们的模型击败了所有基准系统。而且,两阶段训练方法对于提高模型的有效性也具有重要意义。

作者

Yu Zhang, Mingxiang Tuo, Qingyu Yin, Le Qi, Xuxiang Wang, Ting Liu

成为VIP会员查看完整内容
0
56

题目: Neural Abstractive Summarization with Structural Attention

简介: 基于RNN的注意力编码器-解码器体系结构在新闻文章的抽象摘要方面实现了令人印象深刻的性能。但是,这些方法无法解决文档句子中的长期依赖性。在多文档摘要任务中,例如在诸如Yahoo等社区问题解答(CQA)网站中出现的主题中总结流行观点时,此问题会更加严重。这些线索包含的答案通常相互重叠或矛盾。在这项工作中,我们提出了一种基于结构注意力的分层编码器,以对诸如句子间和文档间的依存关系进行建模。我们将流行的指针生成器体系结构和从中衍生的某些体系结构设置为基线,并表明它们无法在多文档设置中生成良好的摘要。我们进一步说明,我们提出的模型在单文档和多文档摘要设置中均比基线有了显着改进–在以前的设置中,它在CNN和CQA数据集上分别比最佳基线低1.31和7.8 ROUGE-1点;在后一种设置中,CQA数据集的性能进一步提高了1.6 ROUGE-1点

成为VIP会员查看完整内容
0
26

题目: Probabilistic Regression for Visual Tracking

简介:

从根本上说,视觉跟踪是在每个视频帧中使目标状态回归的问题。尽管取得了重大进展,但跟踪器仍然容易出现故障和不准确的情况。因此,至关重要的是在目标估算中表示不确定性。尽管当前的主要范式依赖于估计与状态有关的置信度得分,但是该值缺乏明确的概率解释,使它的使用变得复杂。因此,在这项工作中,我们提出了概率回归公式,并将其应用于跟踪。我们的网络预测给定输入图像后焦油状态的条件概率密度。至关重要的是,我们的配方能够对由于任务中不正确的注释和歧义而产生的标签噪声进行建模。通过最小化Kullback Leibler差异来训练回归网络。当应用于跟踪时,我们的公式不仅允许输出的概率表示,而且还可以显着提高性能。我们的跟踪器在六个数据集上设置了最新的技术,在LaSOT上实现了59.8%的AUC,在Tracking Net上实现了75.8%的成功。可以在https://github.com/visionml/pytracking获得代码和模型。

成为VIP会员查看完整内容
0
28

题目: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要: 贝叶斯神经网络(BNNs)训练来优化整个分布的权重,而不是一个单一的集合,在可解释性、多任务学习和校准等方面具有显著的优势。由于所得到的优化问题的难解性,大多数BNNs要么通过蒙特卡罗方法采样,要么通过在变分近似上最小化一个合适的样本下界(ELBO)来训练。在这篇论文中,我们提出了后者的一个变体,其中我们用最大平均偏差(MMD)估计器代替了ELBO项中的Kullback-Leibler散度,这是受到了最近的变分推理工作的启发。在根据MMD术语的性质提出我们的建议之后,我们接着展示了公式相对于最先进的公式的一些经验优势。特别地,我们的BNNs在多个基准上实现了更高的准确性,包括多个图像分类任务。此外,它们对权重上的先验选择更有鲁棒性,而且它们的校准效果更好。作为第二项贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明与更经典的标准(如微分熵)相比,它在对抗攻击和输入噪声的情况下表现得更稳定。

成为VIP会员查看完整内容
0
41

主题: Concept to Code: Aspect Sentiment Classification with Deep Learning

摘要: 在情感分析中,方面情感分类(ASC)比文档或句子级别的任务更细粒度。神经网络缓解了特征工程,特别是注意机制解决了有针对性的上下文检测问题。LSTM和记忆网络是近年来研究ASC的两种模型。在过去5年中,NLP社区进行了大量充满活力的研究。我们不仅回顾了来自多个研究小组的论文中的相关概念,而且还展示了说明这些技术的代码片段,并可在Flipkart等在线市场的用例中适时加以利用,因为产品评论会影响用户的购买。

邀请嘉宾: Mohit Gupta,印度 Gurgaon, Haryana的首席程序员。等

成为VIP会员查看完整内容
0
18

In sentiment analysis (SA) of product reviews, both user and product information are proven to be useful. Current tasks handle user profile and product information in a unified model which may not be able to learn salient features of users and products effectively. In this work, we propose a dual user and product memory network (DUPMN) model to learn user profiles and product reviews using separate memory networks. Then, the two representations are used jointly for sentiment prediction. The use of separate models aims to capture user profiles and product information more effectively. Compared to state-of-the-art unified prediction models, the evaluations on three benchmark datasets, IMDB, Yelp13, and Yelp14, show that our dual learning model gives performance gain of 0.6%, 1.2%, and 0.9%, respectively. The improvements are also deemed very significant measured by p-values.

0
3
下载
预览

Most existing video summarisation methods are based on either supervised or unsupervised learning. In this paper, we propose a reinforcement learning-based weakly supervised method that exploits easy-to-obtain, video-level category labels and encourages summaries to contain category-related information and maintain category recognisability. Specifically, We formulate video summarisation as a sequential decision-making process and train a summarisation network with deep Q-learning (DQSN). A companion classification network is also trained to provide rewards for training the DQSN. With the classification network, we develop a global recognisability reward based on the classification result. Critically, a novel dense ranking-based reward is also proposed in order to cope with the temporally delayed and sparse reward problems for long sequence reinforcement learning. Extensive experiments on two benchmark datasets show that the proposed approach achieves state-of-the-art performance.

0
4
下载
预览
小贴士
相关VIP内容
专知会员服务
70+阅读 · 2020年5月31日
相关资讯
用深度学习做文本摘要
专知
23+阅读 · 2019年3月30日
论文浅尝 | 推荐系统的可解释性浅谈
开放知识图谱
13+阅读 · 2018年11月27日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
42+阅读 · 2018年8月30日
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
赛尔推荐 | 第21期
哈工大SCIR
4+阅读 · 2018年6月1日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
8+阅读 · 2018年5月6日
Linguistically Regularized LSTMs for Sentiment Classification
黑龙江大学自然语言处理实验室
7+阅读 · 2018年5月4日
相关论文
Jingqing Zhang,Yao Zhao,Mohammad Saleh,Peter J. Liu
15+阅读 · 2020年6月2日
Inverse Visual Question Answering with Multi-Level Attentions
Yaser Alwatter,Yuhong Guo
4+阅读 · 2019年9月17日
Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?
Joris Baan,Maartje ter Hoeve,Marlies van der Wees,Anne Schuth,Maarten de Rijke
3+阅读 · 2019年7月8日
H. Ismail Fawaz,G. Forestier,J. Weber,L. Idoumghar,P. Muller
9+阅读 · 2019年3月14日
Dual Memory Network Model for Biased Product Review Classification
Yunfei Long,Mingyu Ma,Qin Lu,Rong Xiang,Chu-Ren Huang
3+阅读 · 2018年9月16日
Video Summarisation by Classification with Deep Reinforcement Learning
Kaiyang Zhou,Tao Xiang,Andrea Cavallaro
4+阅读 · 2018年7月9日
Jeremy Barnes,Roman Klinger,Sabine Schulte im Walde
8+阅读 · 2018年6月13日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Lei Zhang,Shuai Wang,Bing Liu
25+阅读 · 2018年1月24日
João Oliveira,Mike Pinto,Pedro Saleiro,Jorge Teixeira
3+阅读 · 2018年1月23日
Top
微信扫码咨询专知VIP会员