R+tmcn笔记︱tmcn包的基本内容以及李舰老师R语言大会展示内容摘录

tmcn包目前托管在在R-forge 上开发和发布。下载方式以及Rforge相关链接：

install.packages("tmcn", repos = "http://R-Forge.R-project.org")

tmcn 包是一个进行中文文本挖掘的R包。包含了中文编码处理、文字操作、 文本挖掘模型和算法的一些函数。主要针对目前可用的 R 资源的不足而开发的。

目前最常用的文本挖掘包是 tm 包，该包已经成了事实上的分析标准， 几乎所有的其他 R 包都是基于这个框架的。但是 tm 包具有一些缺陷， 在R中进行分析的时候不是很方便。

最明显的问题是中文支持得不够好， 其函数的设计并没有考虑到国际化的需求和 UTF-8 的支持，很多函数操作中文时不方便。 此外，tm 包的开发大量使用了 S3 的面向对象方法，其最大的价值是为后续的开发者提供了接口， 但是这些对象对于使用者来说并没有什么便利，增加了学习的复杂度， 而且由于 S3 封装性上天然的缺陷，初学者容易出错而且提示不清楚。另外， tm 包及相关体系完全基于文档词条矩阵的数据结构，在大量数据的工程化实现方面非常便利， 但是所有的这些包包括 tm 在内并没有简单的能够高性能运算的机制， 该设计的优势在R中完全没有被体现。

基于目前 R 中可用的文本挖掘资源的不足，tmcn 试图去解决这些问题， 先从中文支持开始，然后逐渐更新去解决各种问题，但是也会考虑到 tm 的框架， 在框架之外进行一些有益的补充。

（摘录自tmcn官方主页：http://jianl.org/cn/R/tmcn.html）

后续的李舰老师还基于tmcn模块开发了，CRF模块以及word2vec模块。

CRF模块可见李舰老师R语言大会分享内容；

word2vec模块，可见笔者博客：重磅︱文本挖掘深度学习之word2vec的R语言实现

NLP︱R语言实现word2vec（词向量）经验总结（消除歧义、词向量的可加性）

————————————————————————————————————————

一、字符编码UTF-8 GBK unicode

GB2312(CP936)+改进=GBK--→unicode--→UTF-8

1、GBK

1993年，Unicode 1.1版本推出，收录中国大陆、中国台湾、日本及韩国通用字符集的汉字，总共有20,902个。

中国大陆订定了等同于Unicode 1.1版本的“GB 13000.1-93”“信息技术通用多八位编码字符集（UCS）第一部分：体系结构与基本多文种平面”。

由于GB 2312-80只收录6763个汉字，有不少汉字，如部分在GB 2312-80推出以后才简化的汉字（如“啰”），部分人名用字（如中国前总理朱镕基的“镕”字），中国台湾及中国香港使用的繁体字，日语及朝鲜语汉字等，并未有收录在内。于是厂商微软利用GB 2312-80未使用的编码空间，收录GB 13000.1-93全部字符制定了GBK编码。

根据微软资料，GBK是对GB2312-80的扩展，也就是CP936字码表（Code Page 936）的扩展（之前CP936和GB 2312-80一模一样），最早实现于Windows 95简体中文版。虽然GBK收录GB 13000.1-93的全部字符，但编码方式并不相同；因为GBK向下兼容GB2312，而GB 13000.1-93等同于Unicode 1.1，二者的编码方式完全不兼容。

汉字内码扩展规范，称GBK，全名为《汉字内码扩展规范(GBK)》

（来自维基百科）

列举几个GBK的编码：

81 0   1   2   3   4   5   6   7   8   9   A   B   C   D   E   F
4 丂  丄  丅  丆  丏  丒  丗  丟  丠  両  丣  並  丩  丮  丯  丱  
5 丳  丵  丷  丼  乀  乁  乂  乄  乆  乊  乑  乕  乗  乚  乛  乢  
6 乣  乤  乥  乧  乨  乪  乫  乬  乭  乮  乯  乲  乴  乵  乶  乷  
7 乸  乹  乺  乻  乼  乽  乿  亀  亁  亂  亃  亄  亅  亇  亊  
8 亐  亖  亗  亙  亜  亝  亞  亣  亪  亯  亰  亱  亴  亶  亷  亸  
9 亹  亼  亽  亾  仈  仌  仏  仐  仒  仚  仛  仜  仠  仢  仦  仧  
A 仩  仭  仮  仯  仱  仴  仸  仹  仺  仼  仾  伀  伂  伃  伄  伅  
B 伆  伇  伈  伋  伌  伒  伓  伔  伕  伖  伜  伝  伡  伣  伨  伩  
C 伬  伭  伮  伱  伳  伵  伷  伹  伻  伾  伿  佀  佁  佂  佄  佅  
D 佇  佈  佉  佊  佋  佌  佒  佔  佖  佡  佢  佦  佨  佪  佫  佭  
E 佮  佱  佲  併  佷  佸  佹  佺  佽  侀  侁  侂  侅  來  侇  侊  
F 侌  侎  侐  侒  侓  侕  侖  侘  侙  侚  侜  侞  侟  価  侢  

2、UTF-8

互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种Unicode的实现方式。其他实现方式还包括UTF-16（字符用两个字节或四个字节表示）和UTF-32（字符用四个字节表示），不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8是Unicode的实现方式之一。

GBK转化为UTF-8一定要经过unicode的过程。

————————————————————————————————————————

二、tmcn包的内容

tmcn内容大致包括，格式转化、字符操作

1、GBK字符集

#GBK字符集
data(GBK)
head(GBK)

  GBK py0        py Radical Stroke_Num_Radical                   Stroke_Order Structure   Freq
1  吖   a      ā yā      口                  3                   丨フ一丶ノ丨      左右     26
2  阿   a     ā ɑ ē      阝                  2                 フ丨一丨フ一丨      左右 526031
3  啊   a ɑ á à ǎ ā      口                  3           丨フ一フ丨一丨フ一丨    左中右  53936
4  锕   a         ā      钅                  5       ノ一一一フフ丨一丨フ一丨    左中右      3
5  錒   a         ā      釒                  8 ノ丶一一丨丶ノ一フ丨一丨フ一丨      左右      0
6  嗄   a     á shà      口                  3     丨フ一一ノ丨フ一一一ノフ丶      左右     11

2、格式转化

检验编码类型用的是：Encoding（）函数，还有isUTF8(txt1) isGBK(txt2) isGBK(txt3)

isUTF8(txt1)
isGBK(txt2)
isGBK(txt3)

常规的字符格式转化用iconv

txt1 <- c("\u4E2D\u56FDR\u8BED\u8A00\u4F1A\u8BAE")  #UTF-8编码
txt2 <- iconv(txt1, "UTF-8", "GBK")                 #icov把txt1字符串从utf8转化为GBK

也可以通过Encoding来表示：

txt3 <- txt1
Encoding(txt3) <- "GBK"                             #改变编码，encoding是检验编码类型的

tmcn中比较好的格式转化的函数：

toUTF8(txt1)        #其他格式（GBK UTF-8）输出中文
catUTF8(txt1)       #中文以及其他格式输出UTF8
revUTF8("<U+4E2D><U+56FD>R<U+4F1A><U+8BAE>")  #把UTF8变成中文

toUTF8()比较棒！可以多加留意！

3、繁简体以及拼音生成

#繁体与拼音改写
toTrad(txt1)                        #繁体字
toTrad("中國R語言會議", rev = TRUE) #rev=TRUE代表由繁到简，默认为FALSE为由简到繁
toPinyin(txt1, capitalize = TRUE)   #由中文变成拼音，capitalize默认为FALSE，代表首字符小写

4、字符操作

字符操作有根据正则表达式匹配，以及修缮语料的前后空格。但是不能去掉中间的空格。

#字符操作
txt2 <- c("  Ben Franklin and Jefferson Davis", "\tMillard Fillmore")
#根据正则表达式匹配
strextract(txt2, "(?<first>[[:upper:]][[:lower:]]+)", perl = TRUE)   #根据正则表达式匹配内容
#修缮语料两边（去掉文章前后的空格，换行符）
strstrip(c("\taaaa ", " bbbb    ","  有这么坑爹的吗？","真、    的这么坑爹吗？"))         

————————————————————————————————————————

三、李舰老师在R语言大会展示内容的摘录

李健老师在2013年的R语言大会就已经把R语言的NLP相关的包都罗列并翻译了一遍，真是厉害。原官方网站链接可见：https://cran.r-project.org/web/views/NaturalLanguageProcessing.html

分析框架部分

1、openNLP

可以单句识别、句分解、句结构分析，构建语法树等；相对比较底层的一般文本挖掘任务，该包基础上进行二次开发比较好。

而且该包对中文的支持不是特别好。

笔者做过测试，可见博客：

R+openNLP︱openNLP的六大可实现功能及其在R语言中的应用

2、qdap

一个综合了定量分析以及定性分析的大杂烩，包含了一些自然语言的函数。

3、koRpus

综合文本分析的包，词频分析较多；可读性分析以及语种识别比较有特色。

词分析

4、RKEA

提供了KEA的接口可以用来进行关键词提取。

5、wordcloud

画词云，现在已经升级了，可见我的博客：R语言︱文本挖掘——词云wordcloud2包

6、zipfR

提供了一些关于词频分布的统计模型，尤其是词频分布中最常用的个zipf定律。

7、wordnet包

提供了英文文本数据库的接口

8、koNLP

一个韩文的自然语言处理的包

9、snowball snowballC Rstem

词干提取的包

语义分析

10、topicmodels lda

topicmodels提供了c接口使用LDA和相关的主题模型。lda也是主题建模。

11、RTextTools

自动文本分类

12、skmeans

几种模糊KMeans算法。

13、textcat

可以进行基于n-gram短语的文本聚类

14、movMF

提供了基于概率模型，基于vMF分布的文本聚类方法

15、lsa

潜语义分析，对文档词条矩阵进行奇异值分解来降维，然后计算相似度。进行文本相似性分析。

16、kernlab

提供了一些核机器学习的方式进行文本分类、聚类、新颖性检测降维等。

17、textir

提供了一些函数进行文本和语义挖掘。

————————————————————————————————————————

参考文献：tmcn官方主页：http://jianl.org/cn/R/tmcn.html

第六届中国R语言大会李舰老师分享内容：chrome-extension://ikhdkkncnoglghljlkmcimlnlhkeamad/pdf-viewer/web/viewer.html?file=http%3A%2F%2Fcos.name%2Fwp-content%2Fuploads%2F2013%2F11%2FChinaR2013SH_Nov03_07_LiJian.pdf

每每以为攀得众山小，可、每每又切实来到起点，大牛们，缓缓脚步来俺笔记葩分享一下吧，please~