任务4：论文种类分类
学习链接：
- 多标签分类(multi-label classification)综述：https://www.cnblogs.com/cxf-zzj/p/10049613.html
- MultiLabelBinarizer的使用方法链接:https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MultiLabelBinarizer.html
- TfidfVectorizer简介：https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html
- Tokenizer使用方法:https://zhuanlan.zhihu.com/p/138054335
- tokenizer的制作和embedding的使用:https://zhuanlan.zhihu.com/p/65192903
4.1 任务说明
- 学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；
- 学习内容：使用论文标题和摘要完成类别分类；
- 学习成果：学会文本分类的基本方法、TF-IDF等；
4.2 数据处理步骤
在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：
- 对论文标题和摘要进行处理；
- 对论文类别进行处理；
- 构建文本分类模型；
4.3 文本分类思路
- 思路1：TF-IDF+机器学习分类器
直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等
- 思路2：FastText
FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器
- 思路3：WordVec+深度学习分类器
WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。
- 思路4：Bert词向量
Bert是高配款的词向量，具有强大的建模学习能力。
4.4 具体代码实现以及讲解
#导入所需的package并读取原始数据
import seaborn as sns
import re
import json
import pandas as pd # 数据处理和分析
import matplotlib.pyplot as plt # 画图工具
data = []
with open('arxiv-metadata-oai-snapshot.json','r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'title':d['title'],'categories':d['categories'],'abstract':d['abstract']}
data.append(d)
# 只选取部分数据
if idx > 200000:
break
data = pd.DataFrame(data)
data.head()
image.png
为了完成数据处理，我们可以将标题和摘要拼接在一起完成
# 合并title和abstract
data['text'] = data['title'] + data['abstract']
# 将换行符替换为空格
data['text'] = data['text'].apply(lambda x: x.replace('\n',''))
# 将所有大写字母替换为小写字母
data['text'] = data['text'].apply(lambda x: x.lower())
# 删除多余的列
data = data.drop(['abstract','title'], axis=1)
data.head()
image.png
由于原始论文有可能有多个类别，所以需要处理：
# 多个类别，包含子分类
data['categories'] = data['categories'].apply(lambda x: x.split(' '))
# 单个类别，不包含子分类
data['categories_big'] = data['categories'].apply(lambda x: [xx.split('.')[0] for xx in x])
data.head()
image.png
然后将类别进行编码，这里类别是多个，所以需要多编码：
- MultiLabelBinarizer的使用方法链接:https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MultiLabelBinarizer.html
- 类似于one-hot编码，只不过自变量可以是元组或列表
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])
data_label
image.png
4.4.1 思路1：TF-IDF
使用TFIDF提取特征，限制最多4000个单词
- TfidfVectorizer简介：https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html
- 将原始句子转换成词频向量
什么是TF-IDF？
TF-IDF(term frequency-inverse document frequency)词频-逆向文件频率。在处理文本时，如何将文字转化为模型可以处理的向量呢？TF-IDF就是这个问题的解决方案之一。字词的重要性与其在文本中出现的频率成正比(TF)，与其在语料库中出现的频率成反比(IDF)。
TF：词频。TF(w)=(词w在文档中出现的次数)/(文档的总词数)
IDF：逆向文件频率。有些词可能在文本中频繁出现，但并不重要，也即信息量小，如is,of,that这些单词，这些单词在语料库中出现的频率也非常大，我们就可以利用这点，降低其权重。IDF(w)=log_e(语料库的总文档数)/(语料库中词w出现的文档数)
将上面的TF-IDF相乘就得到了综合参数：TF-IDF=TF*IDF
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000) # 限制最多词4000
data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])
data_tfidf
由于这里是多标签分类，可以使用sklearn的多标签分类进行封装：
# 划分训练集和测试集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(data_tfidf,
data_label,
test_size=0.2,
random_state=1)
- MultiOutputClassifier将单类预测模型转换为多类模型，类似于一个模型只预测一个类
# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf =MultiOutputClassifier(MultinomialNB()).fit(x_train,y_train)
# 精度评价
from sklearn.metrics import accuracy_score
accuracy_score(y_test,clf.predict(x_test))
0.5631859203519912
from sklearn.metrics import classification_report
print(classification_report(y_test,clf.predict(x_test)))
image.png
XGBoost模型
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV,KFold
import xgboost as xgb
model = MultiOutputClassifier(xgb.XGBClassifier(n_jobs = -1))
model.fit(x_train, y_train)
accuracy_score(y_test,model.predict(x_test))
0.6109097272568186
4.4.2 思路2:使用深度学习
思路2使用深度学习模型，单词进行词嵌入然后训练。
- 首先按照文本划分数据集,将数据集处理进行编码，并进行截断
- 定义模型并完成训练
- Tokenizer使用方法:https://zhuanlan.zhihu.com/p/138054335
- tokenizer的制作和embedding的使用:https://zhuanlan.zhihu.com/p/65192903
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data['text'].iloc[:100000],
data_label[:100000],
test_size = 0.95,random_state = 1)
# parameter
max_features= 500
max_len= 150
embed_size=100
batch_size = 128
epochs = 5
from keras.preprocessing.text import Tokenizer
from keras.preprocessing import sequence
tokens = Tokenizer(num_words = max_features)
tokens.fit_on_texts(list(data['text'].iloc[:100000]))
y_train = data_label[:100000]
x_sub_train = tokens.texts_to_sequences(data['text'].iloc[:100000])
x_sub_train = sequence.pad_sequences(x_sub_train, maxlen=max_len)
# LSTM model
# Keras Layers:
from keras.layers import Dense,Input,LSTM,Bidirectional,Activation,Conv1D,GRU
from keras.layers import Dropout,Embedding,GlobalMaxPooling1D, MaxPooling1D, Add, Flatten
from keras.layers import GlobalAveragePooling1D, GlobalMaxPooling1D, concatenate, SpatialDropout1D# Keras Callback Functions:
from keras.callbacks import Callback
from keras.callbacks import EarlyStopping,ModelCheckpoint
from keras import initializers, regularizers, constraints, optimizers, layers, callbacks
from keras.models import Model
from keras.optimizers import Adam
sequence_input = Input(shape=(max_len, ))
x = Embedding(max_features, embed_size, trainable=True)(sequence_input)
x = SpatialDropout1D(0.2)(x)
x = Bidirectional(GRU(128, return_sequences=True,dropout=0.1,recurrent_dropout=0.1))(x)
x = Conv1D(64, kernel_size = 3, padding = "valid", kernel_initializer = "glorot_uniform")(x)
avg_pool = GlobalAveragePooling1D()(x)
max_pool = GlobalMaxPooling1D()(x)
x = concatenate([avg_pool, max_pool])
preds = Dense(19, activation="sigmoid")(x)
model = Model(sequence_input, preds)
model.compile(loss='binary_crossentropy',optimizer=Adam(lr=1e-3),metrics=['accuracy'])
model.fit(x_sub_train, y_train,
batch_size=batch_size,
validation_split=0.2,
epochs=epochs)
image.png
保存模型
import pickle
with open("clf.pkl","wb")as f:
pickle.dump(clf,f)
model.save('keras_model')
