文本挖掘（一）python jieba+wordcloud使用笔记+词云分析应用

forxtz

发布于 2021-03-11 12:07:06

1.8K0

发布于 2021-03-11 12:07:06

文章被收录于专栏：源懒由码

　　系列介绍：文本挖掘比较常见，系列思路：1-基本情况介绍（分词，词云展示）；2-根据语料库的tf-idf值及创建自己的idf文件；3-基于snownlp语料情感分析；4-基于gensim进行lda主题挖掘分析；

　　本文简介：对于大量的短文本需要进行分析的话，会使用到分词及可视化展示，中文分词没有明显的边界自行处理还不太方便。“结巴”中文分词是一个优秀的 Python 中文分词库，wordcloud是一个词云图库，对他进行学习，可以快速进行基础的文本分析。

　　目的：介绍jieba库(v0.41)的基本使用，并结合分词结果进行词云展示

　　读者：应用用户。

参考链接：

　　jieba官方介绍：https://github.com/fxsjy/jieba/blob/master/README.md

　　[python] 使用scikit-learn工具计算文本TF-IDF值：https://blog.csdn.net/eastmount/article/details/50323063

　　Jieba分词词性标注以及词性说明:https://www.cnblogs.com/zhenyauntg/p/13206473.html

主要内容：

1、jieba库基本使用

1.1、分词

1.2、添加自定义词典

1.3、词性标注

1.4、基于TF-IDF算法的关键字抽取

2、jieba+wordcloud简单分析

1、jieba库基本使用

import jieba  # 分词库
import jieba.posseg as pseg # 词性标注
import jieba.analyse as analyse # 关键字提取

1.1、分词

jieba库分词有三种模型，一般来说，使用默认模式即可。

content = "韩国东大门单鞋女方头绒面一脚蹬韩版休闲2020春季新款平底毛毛鞋"

seg_list = jieba.cut(content, cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut(content, cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 默认模式

seg_list = jieba.cut_for_search("韩国东大门单鞋女方头绒面一脚蹬韩版休闲2020春季新款平底毛毛鞋")  # 搜索引擎模式
print("Search Mode: " + "/ ".join(seg_list))

输出：

Full Mode: 韩国/ 东大/ 东大门/ 大门/ 单鞋/ 女方/ 方头/ 绒面/ 一脚/ 脚蹬/ 韩/ 版/ 休闲/ 2020/ 春季/ 新款/ 平底/ 毛毛/ 鞋
Default Mode: 韩国/ 东大门/ 单鞋/ 女方/ 头/ 绒面/ 一/ 脚蹬/ 韩版/ 休闲/ 2020/ 春季/ 新款/ 平底/ 毛毛/ 鞋
Search Mode: 韩国/ 东大/ 大门/ 东大门/ 单鞋/ 女方/ 头/ 绒面/ 一/ 脚蹬/ 韩版/ 休闲/ 2020/ 春季/ 新款/ 平底/ 毛毛/ 鞋

1.2、添加自定义词典

以"Default Mode"输出为例，毛毛鞋被拆分成了毛毛和鞋两个部分，原因是P(毛毛鞋) ＜ P(毛毛)×P(鞋)，“毛毛鞋”词频不够导致其成词概率较低。

有两个方法可以添加自定义词典，添加自定义字典并不会替换自带的词典，会追加上去。其他自定义也是。

一个是载入词典：

jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径

词典格式和 dict.txt（jiaba包文件夹下） 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。

另一个是动态调整：

使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。

使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。

注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。

删除该词 jieba.del_word('今天天气')

现在采用动态调整词典后，毛毛鞋能正确识别。

jieba.add_word('毛毛鞋', freq=None, tag=None)
seg_list = jieba.cut(content, cut_all=False)
print("Update Default Mode: " + "/ ".join(seg_list))  # 默认模式

Update Default Mode: 韩国/ 东大门/ 单鞋/ 女方/ 头/ 绒面/ 一/ 脚蹬/ 韩版/ 休闲/ 2020/ 春季/ 新款/ 平底/ 毛毛鞋

1.3、词性标注

在老版本中，词性标注采用的字典会与jieba.cut不一致，新版本已修复。

# 词性标注
words = pseg.cut(content)
print("词性标注: " + "/ ".join([word + '-' + flag for word, flag in words]))

词性标注: 韩国-ns/ 东大门-x/ 单鞋-n/ 女方-n/ 头-n/ 绒面-n/ 一-m/ 脚蹬-n/ 韩版-nt/ 休闲-v/ 2020-m/ 春季-t/ 新款-n/ 平底-t/ 毛毛鞋-x

1.4、基于TF-IDF算法的关键字抽取

简单的词频统计并不能很好的反映词的重要性，tf-idf是一个识别关键字的算法。大概思路如下：

一个容易想到的思路，就是找到出现次数最多的词。如果某个词很重要，它应该在这篇文章中多次出现。于是，我们进行"词频"（Term Frequency，缩写为TF）统计。

结果你肯定猜到了，出现次数最多的词是----"的"、"是"、"在"----这一类最常用的词。它们叫做"停用词"（stop words），表示对找到结果毫无帮助、必须过滤掉的词。

假设我们把它们都过滤掉了，只考虑剩下的有实际意义的词。这样又会遇到了另一个问题，我们可能发现"zg"、"蜜蜂"、"养殖"这三个词的出现次数一样多。这是不是意味着，
作为关键词，它们的重要性是一样的？显然不是这样。因为"zg"是很常见的词，相对而言，"蜜蜂"和"养殖"不那么常见。如果这三个词在一篇文章的出现次数一样多，有理由
认为，"蜜蜂"和"养殖"的重要程度要大于"zg"，也就是说，在关键词排序上面，"蜜蜂"和"养殖"应该排在"zg"的前面。所以，我们需要一个重要性调整系数，衡量一个词是
不是常见词。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。

用统计学语言表达，就是在词频的基础上，要对每个词分配一个"重要性"权重。最常见的词（"的"、"是"、"在"）给予最小的权重，较常见的词（"zg"）给予较小的权重，较少
见的词（"蜜蜂"、"养殖"）给予较大的权重。这个权重叫做"逆文档频率"（Inverse Document Frequency，缩写为IDF），它的大小与一个词的常见程度成反比。

知道了"词频"（TF）和"逆文档频率"（IDF）以后，将这两个值相乘，就得到了一个词的TF-IDF值。某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的几个词，
就是这篇文章的关键词。

介绍完基本的思路以后，这里我们发现有两个文件，一个是停用词，一个是idf值。jieba库默认有一些基本的停用词及idf文件（jieba\analyse\idf.txt）。

# jieba\analyse\tfidf.py
STOP_WORDS = set((
        "the", "of", "is", "and", "to", "in", "that", "we", "for", "an", "are",
        "by", "be", "as", "on", "with", "can", "if", "from", "which", "you", "it",
        "this", "then", "at", "have", "all", "not", "one", "has", "or", "that",
    ))

那么jieba计算tf-idf的值的过程，大致为，讲输入的文档进行分词并计算tf值，通过已经生成好的idf文件获取相应单词的idf值，如果没有，使用中位数值。

如自定义词典，停用词和idf文档也可以自定义。

jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径

最后的使用：

# topK:输入前topK个关键字，为None则输出全部
# withWeight：是否返回权重
# allowPOS：只计算哪类词性,'n','v','ns'
# withFlag:是否返回词性标注
tfidf_fre =analyse.extract_tags(content, topK=20, withWeight=True, allowPOS=(),withFlag=True)
df = pd.DataFrame(data=tfidf_fre,columns=['单词','tf-idf'])
print(tfidf_fre)

关键字提取： [('单鞋', 1.0159638824153847), ('东大门', 0.9195975002230768), ('韩版', 0.9195975002230768), ('2020', 0.9195975002230768), ('毛毛鞋', 0.9195975002230768), ('绒面', 0.8781362309384615), ('平底', 0.8157569835384616), ('脚蹬', 0.7435823959523076), ('新款', 0.6984920066438461), ('女方', 0.6978741472823077), ('休闲', 0.6547389170892307), ('春季', 0.6055691639807692), ('韩国', 0.5340907908538461)]

2、jieba+wordcloud简单分析

最后做一个简单的应用分析。数据使用“2019年新年贺词.txt"。文档如下。

# 数据读取
with open('2019新年贺词.txt','r') as f :
    text = f.read()

# 统计词频函数
def jieba_count_tf(words,is_filter_stop_words = True):
    stop_words = []
    if is_filter_stop_words:
        # 获取Jieba库载入的停用词库
        stop_words = analyse.default_tfidf.stop_words
    freq = {}
    for w in words:
        if len(w.strip()) < 2 or w.lower() in stop_words:
            continue
        freq[w] = freq.get(w, 0.0) + 1.0
    # 总词汇数量
    total = sum(freq.values())
    return freq

words = jieba.cut(text, cut_all=False)
tfs = jieba_count_tf(words,is_filter_stop_words = False)
# 形成表格数据
df = pd.DataFrame(data=list(zip(list(tfs.keys()),list(tfs.values()))),columns=['单词','频数'])
df

# 关键字分析
tfidf_fre =analyse.extract_tags(text, topK=100, withWeight=True, allowPOS=(),withFlag=True)
# 形成表格数据
df = pd.DataFrame(data=tfidf_fre,columns=['单词','tf-idf'])

# 生成词云图展示
alice_mask = np.array(Image.open('test.png'))  # 使用图片作为背景
font_path='C:\Windows\Fonts\simfang.ttf'       # 设置文本路径
# 创建图云对象
wc = WordCloud(font_path=font_path, background_color='white',mask = alice_mask,width=400, height=200,stopwords = None)
wc.fit_words(dict(zip(df['单词'], df['tf-idf']))) # 输入词频字典，或者 {词：tf-idf}
wc_img = wc.to_image() # 输出为图片对象
wc.to_file("alice.png")