文本图神经网络的图该如何建立?

基于语料库对一篇文章建立一个文本图(有结点)有哪些经典常用的方法?从结点,边(边最好是根据结点是否共现),权重方面都有什么样的方法?
关注者
24
被浏览
9,939
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

节点类型可以有词、句子、篇章(篇章的抽象表示节点),还有一些抽取实体词并再处理的方法;

连边策略方面,词与词之间是否词共现(滑窗判断两个词是否共现)、词与句子之间词是否在句中、句子与句子之间是否包含同样的词;句法树;实体图等等。

权重一般有PMI、cosine、或者以共现次数为基础的公式计算等。

如何选择构图方法还是和下游任务紧密相关的,像文本分类任务大多主要用词汇构图,推理任务用句子级节点就比较多,还有一些不太通用的构图方法高度适配特定任务,不太有泛化的借鉴价值。

GNN for NLP还是上升期的研究点,要说是不是经典和常用的方法不太好说,提供一些参考论文:

Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification.(EMNLP 2019 )

Graph Convolutional Networks for Text Classification(AAAI2019)

这方面研究变化还是比较快的,我列出来的也只是一部分。