一文看懂什么是文本挖掘

一、什么是文本挖掘文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。文本挖掘是一个多学科混杂的领域，涵盖了多种技术，包括数据挖掘技术、信息抽取、信息检索，机器学习、自然语言处理、计算语言学、统计数据分析、线性几何、概率理论甚至还有图论。

2、文本聚类文本聚类是一种典型的无监督式机器学习方法，聚类方法的选择取决于数据类型。首先，文档聚类可以发现与某文档相似的一批文档，帮助知识工作者发现相关知识；其次，文档聚类可以将一类文档聚类成若干个类，提供一种组织文档集合的方法；再次，文档聚类还可以生成分类器以对文档进行分类。文本挖掘中的聚类可用于：提供大规模文档内容总括；识别隐藏的文档间的相似度；减轻浏览相关、相似信息的过程。

4、信息抽取信息抽取是把文本里包含的信息进行结构化处理，变成表格一样的组织形式。输入信息抽取系统的是原始文本，输出的是固定格式的信息。5、自动文摘利用计算机自动的从原始文档中提取出文档的主要内容。

自动文摘具有以下特点：（1）自动文摘应能将原文的主题思想或中心内容自动提取出来。（2）文摘应具有概况性、客观性、可理解性和可读性。（3）可适用于任意领域。按照生成文摘的句子来源，自动文摘方法可以分成两类，一类是完全使用原文中的句子来生成文摘，另一类是可以自动生成句子来表达文档的内容。

7、机器翻译利用计算机将一种源语言转变为另一种源语言的过程。

8、信息过滤指计算机系统可以自动的进行过滤操作，将满足条件的信息保留，将不满足条件的文档过滤掉。信息过滤技术主要用于信息安全领域。

9、自动语音识别自动语音识别就是将输入计算机的自然语言转换成文本表示的书面语。

三、文本挖掘操作步骤1、获取文本

2、文本预处理指剔除噪声文档以改进挖掘精度，或者在文档数量过多时仅选取一部分样本以提高挖掘效率。例如网页中存在很多不必要的信息，比如说一些广告，导航栏，html、js代码，注释等等并不需要的信息，可以删除掉。如果是需要正文提取，可以利用标签用途、标签密度判定、数据挖掘思想、视觉网页块分析技术等等策略抽取出正文。

3、文本的语言学处理（1）分词经过上面的步骤，我们会得到比较干净的素材。文本中起到关键作用的是一些词，甚至主要词就能起到决定文本取向。比如说一篇文章讲的是政治还是经济，肯定是对文章中的中心词进行分析得到的结果。所以接下来的步骤就是分词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

现在针对中文分词，出现了很多分词的算法，有最大匹配法、最优匹配法、机械匹配法、逆向匹配法、双向匹配法等等。（2）词性标注同时也可以使用词性标注。通过很多分词工具分出来的出会出现一个词，外加该词的词性。比如说啊是语气助词。

（3）去除停用词比如说句号、是、的等词，没有什么实际的意义。然而这些词在所有的文章中都大量存在，并不能反应出文本的意思，可以处理掉。当然针对不同的应用还有很多其他词性也是可以去掉的，比如形容词等。4、文本的数学处理-特征提取我们希望获取到的词汇，既能保留文本的信息，同时又能反映它们的相对重要性。如果对所有词语都保留，维度会特别高，矩阵将会变得特别稀疏，严重影响到挖掘结果。所以这就需要特征提取。