论文浅尝 | SenticNet 5: 借助上下文嵌入信息为情感分析发现概念级别的原语

2018 年 5 月 1 日 开放知识图谱 徐康

Citation: Cambria E, Poria S, Hazarika D, et al.SenticNet 5: discovering conceptual primitives for sentiment analysis by meansof context embeddings[C]//AAAI. 2018.

概述

目前大部分的人工智能的研究都集中在基于统计学习的方法，这些方法需要大量的训练数据，但是这些方法有一些缺陷，主要是需要大量的标注数据而且是领域依赖的；不同的训练方法或者对模型进行微调都会产生完全不同的结果；这些方法的推理过程都是黑盒的。在自然语言处理领域中，人工智能科学家需要减少统计自然语言处理领域和其他理解自然语言急需的领域（例如，语言学、常识推理和情感计算）之间的隔阂。在自然语言处理领域，有自顶向下的方法，例如借助符号（语义网络）来编码语义；也有一种自底向上的方法，例如基于神经网络来推断数据中的句法模式。单纯地利用统计学习的方法主要通过历史数据建模关联性以此“猜测”未知数据，但是建模自然语言所需要的知识远不止此。因此，本论文工作的目的就是结合人工智能领域中统计学习和符号逻辑的方法进行情感分析任务。

模型

本论文首先设计了一种LSTM模型通过词语替换发现“动词-名词”概念原语（概念原语就是对常识概念的一种的抽象，概念“尝”、“吞”、“啖”和“咀嚼”的原语都是“吃”。），为情感分析任务构建了一个新的三层知识表示框架，SenticNet5。SenticNet5建模了普遍关联现实世界对象、行为、事件和人物的内涵和外延信息，它不是盲目地依赖关键词和词语共现模式，而是依赖关联常识概念的隐含语义。SenticNet5不再单纯地使用句法分析技术，同时通过分析短语关联的概念，而不是短语本身（因为短语本身经常并不显式地表达情感）挖掘微妙表达的情感。

图1 上下文语境向量和词向量生成框架

本论文声称是情感分析应用中第一个提出结合符号逻辑和统计学习的方法。本论文的核心思想就是提出一种概念原语的，也就是使用一种自顶向下的方法泛化语义相关的概念，例如，“munch_toast”和“slurp_noodels”可以泛化成概念原语“EAT_FOOD”。这种做法背后核心的思想就是使用有限的概念上的原语描述包含情感信息的概念。

本论文工作的第一步就是挖掘概念原语，具体模型如图1所示，该模型的核心思想就是属于相同原语下的概念词语跟目标词语在语义上关联并且具有相似的上下文语境，举个例子，句子“他刚刚咀嚼几口粥”，这里的“咀嚼”和“狼吐虎咽”属于相同的概念原语“吃”，所以这里的句子“狼吞虎咽”代替“咀嚼”也说得通。该模型左边建模目标词语的左上下文和右上下文合成目标词语的上下文语境表示，模型的右边建模目标词语的表示，基于这个模型就可以找到属于同一原语的词语，也就是讲这些词语聚类，然后人工标注原语。

因为SenticNet5是一个三层的语义网络（如图2所示），原语层包含基本的状态和行为（状态之间的交互），包含状态的情感信息；概念层通过语义关联链接的常识概念；实体层属于常识概念的实例。例如，在原语层，状态“inact”对应情感“joy”和概念层上的形容词概念“complete”，行为“break”对应动词概念“crack”和“split”；在概念层，概念短语“repair_phone”对应概念“repair”和“phone”；同时概念“phone”又对应实例层上的“iPhone”。这样我们分析“iPhone”的时候虽然本身不包含情感信息，但是跟“repair”在一起，“repair”对应状态原语“fix”，“fix”又转到正面的情感“intact”，因此“iPhone”就包含了正面的情感。