中文文本相似度计算工具集

作者 | fendouai

编辑 | 磐石

出品 | 磐创AI技术团队

【磐创AI导读】：前两篇文章中我们介绍了一些机器学习不错的项目合集和深度学习入门资源合集，本篇文章将对中文文本相似度计算工具做一次汇总。喜欢我们文章的小伙伴，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。另外您对我们的文章有任何的意见或是文章中的不足之处，欢迎在文末留言。

一． 基本工具集

1. 分词工具

jieba

结巴中文分词

https://github.com/fxsjy/jieba

HanLP

自然语言处理 中文分词 词性标注 命名实体识别 依存句法分析 关键词提取 新词发现 短语提取 自动摘要 文本分类 拼音简繁 http://hanlp.hankcs.com/

https://github.com/hankcs/HanLP

盘古分词-开源中文分词组件

盘古分词是一个中英文分词组件。作者eaglet 曾经开发过KTDictSeg 中文分词组件，拥有大量用户。 作者基于之前分词组件的开发经验，结合最新的开发技术重新编写了盘古分词组件。

https://archive.codeplex.com/

pullword

Pullword-永久免费的可自定义的中文在线分词API

http://pullword.com/

BosonNLP

玻森中文语义开放平台提供使用简单、功能强大、性能可靠的中文自然语言分析云服务。

https://bosonnlp.com/

HIT-SCIR/ltp

Language Technology Platformhttp://ltp.ai https://github.com/HIT-SCIR/ltp

2. 关键词提取

TF-IDF

技术原理：https://dl.acm.org/citation.cfm?id=866292

gensim

https://radimrehurek.com/gensim/models/tfidfmodel.html

TextRank

技术原理：https://web.eecs.umich.edu/~mihalcea/papers/mihalcea.emnlp04.pdf

TextRank4ZH-从中文文本中自动提取关键词和摘要

https://github.com/letiantian/TextRank4ZH

3. 词向量

word2vec-gensim

Topic modelling for humans - Radim Řehůřek

https://radimrehurek.com/gensim/index.html

GloVe

Global Vectors for Word Representation

https://nlp.stanford.edu/projects/glove/

4. 距离计算

word2vec-gensim

Topic modelling for humans - Radim Řehůřek

https://radimrehurek.com/gensim/index.html

二． 常用算法

1. 中文分词+TF-IDF+word2vec+cosine 距离计算

2. doc2vec

原理介绍：https://cs.stanford.edu/~quocle/paragraph_vector.pdf

技术实现：https://cs.stanford.edu/~quocle/paragraph_vector.pdf

3. simhash

原理介绍：http://www.cnblogs.com/maybe2030/p/5203186.html

技术实现：https://github.com/yanyiwu/simhash

三． 文本相似度计算综述

A Survey of Text Similarity Approaches

https://pdfs.semanticscholar.org/5b5c/a878c534aee3882a038ef9e82f46e102131b.pdf

《中文信息处理发展报告（2016）》

http://cips-upload.bj.bcebos.com/cips2016.pdf

以上论文下载地址：

http://www.tensorflownews.com/