首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签中文分词

#中文分词

是使用计算机自动对中文文本进行词语的切分

科研人狂喜!不用再到处找文献,这个神器让你轻松获取全网外文文献

伪科研

写论文时,你是否也有过这样的困扰?SCI - Hub?Library Genesis?几个数据库反复横跳,还是找不到想要的文献。想查最新的外文研究成果,却不知道...

20030

中文分词代码(此代码为作者多年经验总结,以前发表过VB,PB版本)

jack.yang

/*  * created by yzh 2004.5.12  * 请大家引用时保留这段作者声明,此代码为开源代码;使用不受限制。  * 中文分词代码  *此代...

3800

用Rust实现的PHP中文分词动态库 Jieba

Tinywan

沃土股份 | 技术经理 (已认证)

9710

Java 结合中文分词库 jieba 统计一堆文本中各个词语的出现次数【代码记录】

訾博ZiBo

9200

使用 docker 部署 elasticsearch 并安装 ik 中文分词器

jgrass

这是一篇本地 docker 部署笔记,基本上是参考以下文章。记录一些实际操作中遇到的问题。

43410

利用Python爬取百度百科词条并生成词云图

LucianaiB

腾讯云TDP | 宣传大使 (已认证)

在这个信息爆炸的时代,数据可视化成为了一种有效的信息传递方式。词云图以其独特的视觉冲击力和简洁的信息表达方式,成为数据可视化中的一种流行形式。本文将介绍如何使用...

14310

【NLP自然语言处理】文本处理的基本方法

小言从不摸鱼

jieba是一个流行的中文分词工具,它能够将一段中文文本切分成有意义的词语。jieba是目前Python中最常用的中文分词库之一,具有简单易用、高效准确的特点。

13110

【自然语言处理】统计中文分词技术(一):1、分词与频度统计

Qomolangma

  本质上是字符串匹配的方法,将一串文本中的文字片段和已有的词典进行匹配,如果匹配到,则此文字片段就作为一个分词结果。 1)正向最大匹配法(从左到右的方向);...

38510

【自然语言处理】统计中文分词技术(一):1、分词与频度统计

Qomolangma

  本质上是字符串匹配的方法,将一串文本中的文字片段和已有的词典进行匹配,如果匹配到,则此文字片段就作为一个分词结果。 1)正向最大匹配法(从左到右的方向);...

38510

Elasticsearch分词

XiaoA

Elasticsearch搜索中比较重要的就是分词了,通过分词将内容拆分成不同的关键词,然后通过关键词的匹配度来打分排序选择结果,Elasticsearch默认...

11210

AI大数据统计《庆余年2》中的小人物有哪些?

AIGC部落

筛选出出现次数大于10的人名,用matplotlib绘制一个水平柱状图:x轴为人名,y轴为人名出现次数;

9410

.NET 使用 Jieba.NET 库实现中文分词匹配

郑子铭

本文介绍了如何使用.NET平台上的Jieba.NET库的PosSegmenter实现中文分词匹配。通过分词和词性标注,我们可以更好地处理中文文本,构建中文分词匹...

53010

中文分词 - 正向最大匹配

孟船长

上面方法虽然可行,但是当字符串长度特别长的时候耗时比较久,性能上有一些缺陷,这时候我们可以利用前缀字典进行优化,提高代码执行效率

13010

ES中文检索须知:分词器与中文分词器

Steve Wang

ik analyzer 是一个基于开源项目IK Analysis进行开发的第三方的中文分词器。IK Analyzer提供了细粒度的中文分词能力,支持词库扩展、自...

88020

JS获取富文本(HTML)的摘要

码客说

在一些文章类程序中,我们直接对文章内容检索的话,数据量大,速度较慢,我们可以在保存的时候获取文章的摘要,方便后续检索。

60510

Python selenium爬取影评生成词云图

全栈若城

运行命令 pip install selenium jieba wordcloud matplotlib numpy 进行下载

22310

Lucene5.5学习(6)-Analyzer中文分词IKAnalyzer与paoding

kl博主

中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词...

56630
领券
首页
学习
活动
专区
圈层
工具
MCP广场