向AI转型的程序员都关注了这个号
大数据挖掘DT数据分析 公众号: datadw
RNN即循环神经网络,其主要用途是处理和预测序列数据。在CNN中,神经网络层间采用全连接的方式连接,但层内节点之间却无连接。RNN为了处理序列数据,层内节点的输出还会重新输入本层,以实现学习历史,预测未来。
RNN的两个主要改进是LSTM(长短时记忆网络)和GRU(门控循环单元),二者为基本神经单元增加了额外的功能门,从而更好的实现长时记忆的处理。
在此基础上,通过两层或者多个RNN层的堆叠,可以实现双向循环神经网络(bidirectionalRNN)及深层循环神经网络(deepRNN)。
Keras对RNN的支持
Keras在layers包的recurrent模块中实现了RNN相关层模型的支持,并在wrapper模块中实现双向RNN的包装器。
下面的示例使用了LSTM模型,通过对豆瓣电视剧评论进行训练,最终使得模型可以对评论的好恶进行预测,或者说简单的情感分析。
语料处理
原始语料来自豆瓣,采集了约100w条豆瓣国产剧评论及对应的评分。在语料处理中,借助jeiba分词工具进行分词,并去除停词。这里下载停词表https://github.com/dongxiexidian/Chinese/tree/master/dict
最终处理得到的语料类似于下面的格式,即每行一条评论。每行第一个字段为评分,其余字段为分词去停词后的评论。
将语料文件review.csv放在corpus目录下。将stop_word.txt放在dict目录下
评分与情感的关系
为了简化示例,简单的认为1-2分为负面情感,4-5分为正面情感。未评分及3分为中性,不计入训练。这样将问题转化为一个二分类问题。
文本向量表示
借助Keras提供的文本预处理类Tokenizer,可以很容易的实现文本向量化。处理代码如下:
由于每句长度不同,为便于计算,最终统一用0填充成长度为100的向量.
模型构建
采用双向LSTM的结构,构建代码如下:
完整代码:
http://blog.csdn.net/zzulp/article/details/76589044
fromkeras.modelsimportSequential
fromkeras.preprocessing.textimportTokenizer
importkeras.preprocessing.sequenceasS
fromkeras.utilsimportto_categorical
fromkeras.layersimportEmbedding, Bidirectional, LSTM, Dropout, Dense
importjieba
importjson
importnumpyasnp
vocab_size=350000
sentence_max_len=100
model_path='keras.h5'
classSentimentLSTM:
def__init__(self):
self.tokenizer=Tokenizer(num_words=vocab_size)
self.stop_words=[]
self.model= None
defload_stop_word(self,path='dict/stop_word.txt'):
withopen(path,'r')asf:
forlineinf:
content=line.strip()
self.stop_words.append(content.decode('utf-8'))
defjieba_cut(self,line):
lcut=jieba.lcut(line)
cut=[xforxinlcutifxnot inself.stop_words]
cut=" ".join(cut)
returncut
defload_cuted_corpus(self,dir,input):
f=open(dir+'/'+input,'r')
lines=f.readlines()
texts=[]
labels=[]
forlineinlines:
fields=line.split()
rate=int(fields[])
ifrate==orrate==3:
continue
elifrate
rate=
else:
rate=1
cont=fields[1:]
cont=" ".join(cont)
texts.append(cont)
labels.append(rate)
self.tokenizer.fit_on_texts(texts)
f.close()
returntexts,labels
defload_data(self):
x,y=self.load_cuted_corpus('corpus','review.csv')
x=self.tokenizer.texts_to_sequences(x)
x=S.pad_sequences(x,maxlen=sentence_max_len)
y=to_categorical(y,num_classes=2)
return((x[:500000],y[:500000]), (x[500000:], y[500000:]))
deftrain(self,epochs=50):
print'building model ...'
self.model=SentimentLSTM.build_model()
print'loading data ...'
(text_train, rate_train), (text_test, rate_text)=self.load_data()
print'training model ...'
self.model.fit(text_train, rate_train,batch_size=1000,epochs=epochs)
self.model.save('model/keras.model')
score=self.model.evaluate(text_test,rate_text)
printscore
defload_trained_model(self,path):
model=SentimentLSTM.build_model()
model.load_weights(path)
returnmodel
defpredict_text(self,text):
ifself.model== None:
self.model=self.load_trained_model(model_path)
self.load_stop_word()
self.load_cuted_corpus('corpus','review.csv')
vect=self.jieba_cut(text)
vect=vect.encode('utf-8')
vect=self.tokenizer.texts_to_sequences([vect,])
printvect
returnself.model.predict_classes(S.pad_sequences(np.array(vect),100))
@staticmethod
defbuild_model():
model=Sequential()
model.add(Embedding(vocab_size,256,input_length=sentence_max_len))
model.add(Bidirectional(LSTM(128,implementation=2)))
model.add(Dropout(0.5))
model.add(Dense(2,activation='relu'))
model.compile('RMSprop','categorical_crossentropy',metrics=['accuracy'])
returnmodel
defmain():
lstm=SentimentLSTM()
lstm.train(10)
while True:
input=raw_input('Please input text:')
ifinput=='quit':
break
printlstm.predict_text(input)
if__name__=="__main__":
main()
运行代码,在训练完模型之后,在交互器中输入新的评论,即可以查看训练的模型对评论的预测了.负向输出为0,正向输出为1.
PS:在约60w的数据集上,CPU上跑10轮至少要10个小时.在GeForce GTX 1080上跑需要30分钟. 模型在测试集上的准确度能达到86%,召回率98%,精确度61%,F1评分75%.增大训练的轮数,100轮左右,仍可提升相关得分。
人工智能大数据与深度学习
领取专属 10元无门槛券
私享最新 技术干货