NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等
这是一个基于哈工大同义词词林扩展版的单词相似度计算方法的python实现,参考论文如下:
最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3-4篇综述,每篇包含2-3篇论文。
四大模块上新:风格化的「文本续写」、知词懂句的「超级网典」、可解释的「智能纠错」、博古通英的「文本润色」。 近日,腾讯 AI Lab 将智能创作助手文涌(Effidit)更新到了2.0版本(effidit.qq.com),帮助写作者更好地应对上述难题。新版本除了优化第一版[1,2]已有的功能之外,还带来了风格化文本续写、英文句子改写与扩写、现代文和文言文互译、词语推荐、跨语言例句推荐(中英)、可解释的英文纠错等新功能。 新版文涌包含「文本补全」、「智能纠错」、「文本润色」、「超级网典」四个模块,其中「文本补
随着计算机的使用范围更加广泛,社会信息化程度提高,计算机的使用频率增加,人们对自然语言理解也提出了更高的要求,而对于自然语言的理解,则基于中文语义分析的研究和分析。
之前的文章我们已经介绍了如何使用wordcloud库制作中英文词云图,并介绍了中英文停用词的使用方法,但如何美化词云图,例如换字体背景颜色,背景换成图片等,这些将在本篇文章进行详细介绍。
黑客是一个中文词语,在台湾地区对应的中文词语为骇客,皆源自英文hacker,不同地区的中文使用习惯造成了翻译的差别。实际上,黑客(或骇客)与英文原文Hacker、Cracker等含义不能够达到完全对译,这是中英文语言词汇各自发展中形成的差异。Hacker一词,最初曾指热心于计算机技术、水平高超的电脑专家,尤其是程序设计人员,逐渐区分为白帽(DengKelen)、灰帽、黑帽等,其中黑帽(black hat)实际就是cracker。到了今天,黑客一词已被用于泛指那些专门利用计算机病毒搞破坏的家伙,对这些人的正确英文叫法是Cracker。在媒体报道中,黑客一词常指那些软件骇客(software cracker),而与黑客相对的是红客。当然,也有正义的黑客
原文链接:https://github.com/fighting41love/funNLP
《自然语言处理实战入门》 ---- 第4课 :中文分词原理及相关组件简介 之 语言学与分词技术简介
分词就是将句子、段落、文章这种长文本,分解为以字词为单位的数据结构,方便后续的处理分析工作。
我在很久之前就有个想法,(参见:http://www.cnblogs.com/studyzy/p/4118528.html)就是做一个帮助英文学习的软件,其实当时也做了,但是由于各方面的问题,加上软件本身并不完善,所以我也就搁置了,并没有发布。最近心血来潮,加上收到了一个网友的来信,询问这款软件,所以我就把他正式发布出来吧。
人类经过漫长的历史发展,在世界各地形成了很多不同的语言分支,其中汉藏语系和印欧语系是使用人数最多的两支。英语是印欧语系的代表,而汉语则是汉藏语系的代表。中英文语言的差异十分鲜明,英语以表音(字音)构成,汉语以表义(字形)构成,印欧和汉藏两大语系有很大的区别。
编译型和解释型的定义是对立存在的,但也可以在一个语言中同时存在。比如 java 语言同时兼有编译型和解释型特点。整个流程如下:
6、自动词性标注:基于词库+(统计歧义去除计划),目前效果不是很理想,对词性标注结果要求较高的应用不建议使用。
最近,在GitHub上,有人收罗了一份资源,汇集了40个关于中文NLP词库,涵盖了各个方面。
之前的文章我们已经介绍了如何使用wordcloud库制作中英文词云图,并介绍了中英文停用词的使用方法,介绍了如何美化词云图,例如换字体背景颜色,背景换成图片等,那这次我们就以现在很火的电视剧赘婿为例,制作赘婿小说的词云图。
结巴分词使用 中文分词之结巴分词~~~附使用场景+demo(net) jieba分词、自定义词典提取高频词、词性标注及获取词的位置 jieba分词增加自定义词表 词性标注 [python] 使用Jieba工具中文分词及文本聚类概念 jieba分词词性标记含义 Toolkits 综合NLP工具包 THULAC 中文词法分析工具包 by 清华 (C++/Java/Python) NLPIR by 中科院 (Java) LTP 语言技术平台 by 哈工大 (C++) FudanNLP
1.很多时候,需要暂时离开座位去做别的事情,如果对自己的电脑安全很重视,不妨按住windows键后,再按L键,这样电脑就直接锁屏了,这样就不用担心电脑的资料外泄啦
作者:容哲 假设分析的对象是iphone5s的手机评论。从京东、亚马逊或者中关村都可以找到这款手机的评论。大致都如图所示。 情感分析(Sentiment Analysis) 第一步,就是确定一个词
NLP是个好东西,但是汉语文化实在是博大精深,连长辈都看不懂网络词语,想让机器理解它们就更难了。
好几天没有写关于自然语言处理方面的内容,实在抱歉,不过还是感谢大家支持。今天给大家分享一下关于中文自然语言处理的一些基础知识,希望能够帮你快点“入坑”。
目前,在NLP任务处理中,Python支持英文处理的开源包有NLTK、Scapy、StanfordCoreNLP、GATE、OPenNLP,支持中文处理的开源工具包有Jieba、ICTCLAS、THU LAC、HIT LTP,但是这些工具大部分仅对特定类型的语言提供支持。本文将介绍功能强大的支持Pipeline方式的多语言处理Python工具包:polyglot。该项目最早是由AboSamoor在2015年3月16日在GitHub上开源的项目,已经在Github收集star 1021个。
大家好,又见面了,我是你们的朋友全栈君。 📷 stop_words:设置停用词表,这样的词我们就不会统计出来(多半是虚拟词,冠词等等),需要列表结构,所以代码中定义了一个函数来处理停用词表…前言前文给
原文地址:https://github.com/fighting41love/funNLP
Ctrl+S 保存 Ctrl+W 关闭程序 Ctrl+N 新建 Ctrl+O 打开 Ctrl+Z 撤销 Ctrl+F 查找 Ctrl+X 剪切 Ctrl+C 复制 Ctrl+V 粘贴 Ctrl+A 全选 Ctrl+[ 缩小文字 Ctrl+] 放大文字 Ctrl+B 粗体 Ctrl+I 斜体 Ctrl+U 下划线 Ctrl+Shift 输入法切换 Ctrl+空格 中英文切换 Ctrl+回车 QQ号中发送信息 Ctrl+Home 光标快速移到文件头 Ctrl+End 光标快速移到文件尾 Ctrl+Esc 显示开始菜单 Ctrl+Shift+< 快速缩小文字 Ctrl+Shift+> 快速放大文字 Ctrl+F5 在IE中强行刷新 Ctrl+拖动文件 复制文件 Ctrl+Backspace 启动\关闭输入法 拖动文件时按住Ctrl+Shift 创建快捷方式 Alt+空格+C 关闭窗口 Alt+空格+N 最小化当前窗口 Alt+空格+R 恢复最小化窗口 Alt+空格+X 最大化当前窗口 Alt+空格+M 移动窗口 Alt+空格+S 改变窗口大小 Alt+Tab 两个程序交换 Alt+255 QQ号中输入无名人 Alt+F 打开文件菜单 Alt+V 打开视图菜单 Alt+E 打开编辑菜单 Alt+I 打开插入菜单 Alt+O 打开格式菜单 Alt+T 打开工具菜单 Alt+A 打开表格菜单 Alt+W 打开窗口菜单 Alt+H 打开帮助菜单 Alt+回车 查看文件属性 Alt+双击文件 查看文件属性 Alt+X 关闭C语言 Shift快捷键 Shift+空格 半\全角切换 Shift + Delete 永久删除所选项, 而不将它放到“回收站”中。 拖动某一项时按 CTRL 复制所选项。 拖动某一项时按 CTRL + SHIFT 创建所选项目的快捷键。 WORD全套快捷键小技巧 CTRL+O 打开 CTRL+P 打印 CTRL+A 全选 CTRL+[/] 对文字进行大小设置(在选中目标情况下) CTRL+D 字体设置(在选中目标情况下) CTRL+G/H 查找/替换; CTRL+N 全文删除; CTRL+M 左边距(在选中目标情况下); CTRL+U 绘制下划线(在选中目标情况下); CTRL+B 加粗文字(在选中目标情况下); CTRL+I 倾斜文字(在选中目标情况下); CTRL+Q 两边对齐(无首行缩进),(在选中目标情况下)或将光标放置目标文 字的段尾,亦可操作 CTRL+J 两端对齐(操作同上) CTRL+E 居中(操作同上) CTRL+R 右对齐(操作同上) CTRL+K 插入超链接 CTRL+T/Y 可进行首行缩进(将光标移到需做此操作的段尾,或将此段选中进行操作 Ctrl+A(或Ctrl+小键盘上数字5):选中全文。 Ctrl+B:给选中的文字加粗(再按一次,取消加粗)。 Ctrl+C:将选中的文字复制到剪贴板中。 Ctrl+D:打开“字体”对话框,快速完成字体的各种设置。 Ctrl+E:使光标所在行的文本居中。 Ctrl+F:打开“查找与替换”对话框,并定位在“查找”标签上。 Ctrl+G:打开“查找与替换”对话框,并定位在“定位”标签上。 Ctrl+H:打开“查找与替换”对话框,并定位在“替换”标签上。 Ctrl+I:使选中的文字倾斜(再按一次,取消倾斜)。 Ctrl+K:打开“插入超链接”对话框。 Ctrl+Shift+L:给光标所在行的文本加上“项目符号”。 Ctrl+M:同时增加首行和悬挂缩进。 Ctrl+Shift+M:同时减少首行和悬挂缩进。 Ctrl+N:新建一个空文档。 Ctrl+O(或Ctrl+F12):打开“打开”对话框。 Ctrl+P(或Ctrl+Shift+F12):打开“打印”对话框。 Ctrl+R:使光标所在行的文本右对齐。 Ctrl+S:为新文档打开“另保存为”对话框,或对当前文档进行保存。 Ctrl+T:增加首行缩进。 Ctrl+Shift+T:减少首行缩进。 Ctrl+U:给选中的文字加上下划线(再按一次,去年下划线)。 Ctrl+V:将剪贴板中的文本或图片粘贴到光标处。若剪贴板中有多个内容,则将 最后一条内容粘贴到光标处。 Ctrl+X:将选中的文字剪切到剪贴板中。 Ctrl+Z:撤销刚才进行的操作(可以多次使用)。 Ctrl+0:将选中的文本每段前增加12磅的间距。 Ctrl+1:若选中的文本行距不是“单倍行距”,则将其快速设置为“单倍行距”。 Ctrl+2:将选中的文本行距设置为“两倍行距”。 Ctrl+5:将选中的文本行距设置为“1.5倍行距”。 Ctrl+F2:快速执行“打印预
随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。
最近百度公布的数据显示,自1月25日春节假期以来,百度输入法日均语音请求量已破10亿次大关,再创行业历史新高。
信息抽取 (Information Extraction) 是把原始数据中包含的信息进行结构化处理,变成表格一样的组织形式。输入信息抽取系统的是原始数据,输出的是固定格式的信息点,即从原始数据当中抽取有用的信息。信息抽取的主要任务是将各种各样的信息点从原始数据中抽取出来。然后以统一的形式集成在一起,方便后序的检索和比较。由于能从自然语言中抽取出信息框架和用户感兴趣的事实信息,无论是在信息检索、问答系统还是在情感分析、文本挖掘中,信息抽取都有广泛应用。随着深度学习在自然语言处理领域的很多方向取得了巨大成功,循环神经网络(RNN)和卷积神经网络(CNN)也被用于信息抽取研究领域,基于深度学习的信息抽取技术也应运而生。
光学字符识别(OCR)是目前应用最为广泛的视觉AI技术之一。随着OCR技术在产业应用的快速发展,现实场景对OCR提出新的需求:从感知走向认知——OCR不但需要认识文字,也要进一步理解文字。因此,结构化逐渐成为OCR产业应用的核心技术之一,旨在快速且准确地分析卡证、票据、档案图像等富视觉数据中的结构化文字信息,并对关键数据进行提取。OCR结构化技术通常要解决两个高频应用任务类型:
今天要给大家在推荐 Github 上一个优质的中文 NLP 工具和资源集合项目——funNLP,已经获得了 5.3k Stars,1k+ Forks。
今年3月份,百度发布了NLP模型ERNIE初代版本。这个模型刚一出世,便取得了骄人成绩:在中文任务中,全面超越当前最强NLP模型BERT,一度引发业界广泛关注和探讨。而短短4个月时间,百度ERNIE就进化到了2代版本,这是一个中英文对话的AI框架和模型。
Elasticsearch是一个流行的全文搜索引擎,能够高效地处理大量的复杂查询。在处理中文文本数据时,需要将文本进行分词处理,并对分词结果进行索引和搜索。ES提供了多种中文分词器,能够适应不同场景和需求。本文将详细介绍ES中的中文分词技术。
在吾爱破解论坛上闲逛的时候发现一款名叫密码学工具的小软件,感觉不错就下载了下来。在密码工具箱的Browser栏下发现了一个名叫核心价值观编码的小工具,其功能就是将中英文字符用核心价值的12个词语来编码。温故而知新,和大家伙一起来温习一下社会主义核心价值观:
打算绘制中文词云图?那你得先学会如何做中文文本分词。跟着我们的教程,一步步用Python来动手实践吧。
相关论文下载:cw2vec: (Learning Chinese Word Embeddings with Stroke n-gram Information) 与2016年facebook提出的论文(Enriching Word Vectors with Subword Information)直通车
感谢阅读「美图数据技术团队」的第 20 篇原创文章,关注我们持续获取美图最新数据技术动态。
一、背景知识 目前已经存在很多的词向量模型,但是较多的词向量模型都是基于西方语言,像英语,西班牙语,德语等,这些西方语言的内部组成都是拉丁字母,然而,由于中文书写和西方语言完全不同,中文词语包含很少的中文字符,但是中文字符内部包含了很强的语义信息,因此,如何有效利用中文字符内部的语义信息来训练词向量,成为近些年研究的热点。
要知道,从头预训练大模型此前被戏称“要5000万美元才能入局”,让许多开发者和中小企业都望而却步。
7 月 19 日,Meta 终于发布了免费可商用版本 Llama 2,让开源大模型领域的格局发生了巨大变化。
进行nlp任务都需要进行Tokenize,Tokenize可以理解为是把长句子拆分成有”意义"的小部件,这里的有"意义"是指最终能够使得计算机理解。
笔记转载于GitHub项目:https://github.com/NLP-LOVE/Introduction-NLP
这一篇将用案例介绍 Left,Mid,Right,Len,Find 函数的使用 Left Mid Right 📷 做了一个简单的示意图 📷 Left函数表示从左边第1位开始,取6个字符 Mid函数表示从第7位开始,取8个字符,也就是中间7-14位字符 Right函数表示从右边第1位开始,取4个字符 最常用的案例就是从身份证号中获取出生年月日 以及判断性别 因为倒数第2位数字代表性别 奇数为男,偶数为女 (忘记这个规则的时候想想自己身份证倒数第2位数字并想想自己的性别) 提取年月日的函数这么写 📷 =CON
日前,在第五届世界互联网大会上,搜狗联合新华社发布了全球首个合成新闻主播“AI合成主播”,“克隆”出与真人主播拥有同样播报能力的“分身”,应用于新华社中英文客户端等产品。
作者:王千发 编辑:李文臣 什么是文本分类 一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个。通俗点说,就是拿一篇文章,问计算机这文章要说的究竟是体育,经济还是教育。文本分类是一个监督学习的过程,常见的应用就是新闻分类,情感分析等等。其中涉及到机器学习,数据挖掘等领域的许多关键技术:分词,特征抽取,特征选择,降维,交叉验证,模型调参,模型评价等等,掌握了这个有助于加深对机器学习的的理解。这次我们用python的scikit-learn模块实现文本分类。 文本分类的过程 首先是获取数据集,为
一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个。通俗点说,就是拿一篇文章,问计算机这文章要说的究竟是体育,经济还是教育。文本分类是一个监督学习的过程,常见的应用就是新闻分类,情感分析等等。其中涉及到机器学习,数据挖掘等领域的许多关键技术:分词,特征抽取,特征选择,降维,交叉验证,模型调参,模型评价等等,掌握了这个有助于加深对机器学习的的理解。这次我们用python的scikit-learn模块实现文本分类。
本文介绍了ChatGLM2-6B和ChatGLM-6B这两个开源的中英双语对话模型,它们由清华大学的KEG和数据挖掘小组(THUDM)开发和发布。这两个模型是基于GLM模型的混合目标函数,在1.4万亿中英文tokens数据集上进行训练,并实现了模型对齐。本文将探讨它们的优势、应用场景、训练数据集来源以及如何使用它们进行对话生成和微调。
领取专属 10元无门槛券
手把手带您无忧上云