中文NLP笔记：8. 基于LSTM的文本分类

图片发自简书App

序列模型

语言模型 N-gram

  前面的词袋模型（Bag-of-Words，BoW），没有考虑每个词的顺序

  有些句子即使把词的顺序打乱，还是可以看懂这句话在说什么，有时候词的顺序打乱，句子意思就变得面目全非

  N-gram 是一种考虑句子中词与词之间的顺序的模型

  它是一种语言模型（Language Model，LM），一个基于概率的判别模型，输入是一句话（词的顺序序列），输出是这句话中所有词的联合概率（Joint Probability）

  N-gram 模型知道的信息越多，得到的结果也越准确

  主要应用在如词性标注、垃圾短信分类、分词器、机器翻译和语音识别、语音识别等领域。

  优缺点

  优点：包含了前 N-1 个词所能提供的全部信息

  缺点：需要很大规模的训练文本来确定模型的参数

根据 N-gram 的优缺点，它的进化版 NNLM（Neural Network based Language Model）诞生了

  由 Bengio 在2003年提出

  由四层组成，输入层、嵌入层、隐层和输出层

  NNLM 的输入是长度为 N 的词序列的 index 序列，输出是下一个词的类别。

  “我是小明”的 index 序列就是 10、 23、65

  然后经过嵌入层（Embedding），是一个大小为 |V|×K 的矩阵，从中取出第10、23、65行向量拼成 3×K 的矩阵

  再经过 tanh 为激活函数，最后送入带 softmax 的输出层，输出概率

  最大的缺点就是参数多，训练慢，要求输入定长 N 很不灵活，不能利用完整的历史信息。

针对 NNLM 存在的问题，Mikolov 在2010年提出了 RNNLM

  结构实际上是用 RNN 代替 NNLM 里的隐层

  减少模型参数、提高训练速度、接受任意长度输入、利用完整的历史信息

基于 Keras 的 LSTM 文本分类

  引入数据处理库，停用词和语料加载

      #引入包     import random     import jieba     import pandas as pd     #加载停用词     stopwords=pd.read_csv('stopwords.txt',index_col=False,quoting=3,sep="\t",names=['stopword'], encoding='utf-8')     stopwords=stopwords['stopword'].values     #加载语料     laogong_df = pd.read_csv('beilaogongda.csv', encoding='utf-8', sep=',')     laopo_df = pd.read_csv('beilaogongda.csv', encoding='utf-8', sep=',')     erzi_df = pd.read_csv('beierzida.csv', encoding='utf-8', sep=',')     nver_df = pd.read_csv('beinverda.csv', encoding='utf-8', sep=',')     #删除语料的nan行     laogong_df.dropna(inplace=True)     laopo_df.dropna(inplace=True)     erzi_df.dropna(inplace=True)     nver_df.dropna(inplace=True)     #转换     laogong = laogong_df.segment.values.tolist()     laopo = laopo_df.segment.values.tolist()     erzi = erzi_df.segment.values.tolist()     nver = nver_df.segment.values.tolist()

  分词和去停用词

      #定义分词和打标签函数preprocess_text     #参数content_lines即为上面转换的list     #参数sentences是定义的空list，用来储存打标签之后的数据     #参数category 是类型标签     def preprocess_text(content_lines, sentences, category):         for line in content_lines:             try:                 segs=jieba.lcut(line)                 segs = [v for v in segs if not str(v).isdigit()]#去数字                 segs = list(filter(lambda x:x.strip(), segs)) #去左右空格                 segs = list(filter(lambda x:len(x)>1, segs))#长度为1的字符                 segs = list(filter(lambda x:x not in stopwords, segs)) #去掉停用词                 sentences.append((" ".join(segs), category))# 打标签             except Exception:                 print(line)                 continue     #调用函数、生成训练数据     sentences = []     preprocess_text(laogong, sentences,0)     preprocess_text(laopo, sentences, 1)     preprocess_text(erzi, sentences, 2)     preprocess_text(nver, sentences, 3)

  打散数据，使数据分布均匀，然后获取特征和标签列表

      #打散数据，生成更可靠的训练集     random.shuffle(sentences)     #控制台输出前10条数据，观察一下     for sentence in sentences[:10]:         print(sentence[0], sentence[1])     #所有特征和对应标签     all_texts = [ sentence[0] for sentence in sentences]     all_labels = [ sentence[1] for sentence in sentences]

  使用 LSTM 对数据进行分类

      #引入需要的模块     from keras.preprocessing.text import Tokenizer     from keras.preprocessing.sequence import pad_sequences     from keras.utils import to_categorical     from keras.layers import Dense, Input, Flatten, Dropout     from keras.layers import LSTM, Embedding,GRU     from keras.models import Sequential     #预定义变量     MAX_SEQUENCE_LENGTH = 100    #最大序列长度     EMBEDDING_DIM = 200    #embdding 维度     VALIDATION_SPLIT = 0.16    #验证集比例     TEST_SPLIT = 0.2    #测试集比例     #keras的sequence模块文本序列填充     tokenizer = Tokenizer()     tokenizer.fit_on_texts(all_texts)     sequences = tokenizer.texts_to_sequences(all_texts)     word_index = tokenizer.word_index     print('Found %s unique tokens.' % len(word_index))     data = pad_sequences(sequences, maxlen=MAX_SEQUENCE_LENGTH)     labels = to_categorical(np.asarray(all_labels))     print('Shape of data tensor:', data.shape)     print('Shape of label tensor:', labels.shape)     #数据切分     p1 = int(len(data)*(1-VALIDATION_SPLIT-TEST_SPLIT))     p2 = int(len(data)*(1-TEST_SPLIT))     x_train = data[:p1]     y_train = labels[:p1]     x_val = data[p1:p2]     y_val = labels[p1:p2]     x_test = data[p2:]     y_test = labels[p2:]     #LSTM训练模型     model = Sequential()     model.add(Embedding(len(word_index) + 1, EMBEDDING_DIM, input_length=MAX_SEQUENCE_LENGTH))     model.add(LSTM(200, dropout=0.2, recurrent_dropout=0.2))     model.add(Dropout(0.2))     model.add(Dense(64, activation='relu'))     model.add(Dense(labels.shape[1], activation='softmax'))     model.summary()     #模型编译     model.compile(loss='categorical_crossentropy',                   optimizer='rmsprop',                   metrics=['acc'])     print(model.metrics_names)     model.fit(x_train, y_train, validation_data=(x_val, y_val), epochs=10, batch_size=128)     model.save('lstm.h5')     #模型评估     print(model.evaluate(x_test, y_test))

学习资料：

《中文自然语言处理入门实战》