Text Classification is an important and classical problem in natural language processing. There have been a number of studies that applied convolutional neural networks (convolution on regular grid, e.g., sequence) to classification. However, only a limited number of studies have explored the more flexible graph convolutional neural networks (convolution on non-grid, e.g., arbitrary graph) for the task. In this work, we propose to use graph convolutional networks for text classification. We build a single text graph for a corpus based on word co-occurrence and document word relations, then learn a Text Graph Convolutional Network (Text GCN) for the corpus. Our Text GCN is initialized with one-hot representation for word and document, it then jointly learns the embeddings for both words and documents, as supervised by the known class labels for documents. Our experimental results on multiple benchmark datasets demonstrate that a vanilla Text GCN without any external word embeddings or knowledge outperforms state-of-the-art methods for text classification. On the other hand, Text GCN also learns predictive word and document embeddings. In addition, experimental results show that the improvement of Text GCN over state-of-the-art comparison methods become more prominent as we lower the percentage of training data, suggesting the robustness of Text GCN to less training data in text classification.


翻译:在自然语言处理中,文本分类是一个重要和古典的问题。 在自然语言处理中, 有一些研究应用了进化神经网络( 在常规网格上演进, 例如, 序列) 进行分类。 但是, 只有少数研究探索了任务中更灵活的图形进化神经网络( 在非格网上演进, 例如, 任意图形) 。 在这项工作中, 我们提议使用图形进化网络来进行文本分类。 我们为基于单词共生和文档的单词创建了单一文本图, 然后为文体学习了文本变异网络( Text GCN ) 。 我们的文本 GCN 初始化为单词和文档的一热表示, 然后在已知文件类标签的监督下, 联合学习了两个词和文件的嵌入。 我们在多个基准数据集上的实验结果表明, 香草文本 GCN 没有外部词嵌入或知识异于新词分类的状态方法。 在另一方面, 我们的文本GCN 也学习了预测性强度的文本, 将GCN 演示文本的升级结果显示为较低的G级化的文本, 显示为较强的G级化的文本, 数据。

11
下载
关闭预览

相关内容

零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
83+阅读 · 2020年5月31日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
133+阅读 · 2020年5月26日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
27+阅读 · 2020年4月15日
【新书】Python编程基础,669页pdf
专知会员服务
142+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
46+阅读 · 2019年9月29日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
6+阅读 · 2018年12月14日
论文浅尝 | Reinforcement Learning for Relation Classification
开放知识图谱
9+阅读 · 2017年12月10日
可解释的CNN
CreateAMind
16+阅读 · 2017年10月5日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Arxiv
5+阅读 · 2019年9月25日
Arxiv
6+阅读 · 2018年1月10日
VIP会员
相关资讯
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
6+阅读 · 2018年12月14日
论文浅尝 | Reinforcement Learning for Relation Classification
开放知识图谱
9+阅读 · 2017年12月10日
可解释的CNN
CreateAMind
16+阅读 · 2017年10月5日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Top
微信扫码咨询专知VIP会员