前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

原创
作者头像
汀丶人工智能
修改于 2023-04-07 13:20:35
修改于 2023-04-07 13:20:35
54810
代码可运行
举报
文章被收录于专栏:NLP/KGNLP/KG
运行总次数:0
代码可运行

NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

在这里插入图片描述
在这里插入图片描述

专栏链接:NLP领域知识+项目+码源+方案设计


订阅本专栏你能获得什么?

前人栽树后人乘凉,本专栏提供资料:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合省去你大把时间,效率提升。 帮助你快速完成任务落地,以及科研baseline。

本人后续会持续整合ML、DRL、NLP等相关领域的体系化项目课程,方便入门同学快速掌握相关知识,后续会不断增添实战环节(比赛、论文、现实应用等)。

  • 对于机器学习这块规划为:基础入门机器学习算法--->简单项目实战--->数据建模比赛----->相关现实中应用场景问题解决。一条路线帮助大家学习,快速实战。
  • 对于深度强化学习这块规划为:基础单智能算法教学(gym环境为主)---->主流多智能算法教学(gym环境为主)---->单智能多智能题实战(论文复现偏业务如:无人机优化调度、电力资源调度等项目应用)
  • 自然语言处理相关规划:除了单点算法技术外,主要围绕知识图谱构建进行:信息抽取相关技术(含智能标注)--->知识融合---->知识推理---->图谱应用

上述对于你掌握后的期许:

  1. 对于ML,希望你后续可以乱杀数学建模相关比赛(参加就获奖保底,top还是难的需要钻研)
  2. 可以实际解决现实中一些优化调度问题,而非停留在gym环境下的一些游戏demo玩玩。(更深层次可能需要自己钻研了,难度还是很大的)
  3. 掌握可知识图谱全流程构建其中各个重要环节算法,包含图数据库相关知识。

这三块领域耦合情况比较大,后续会通过比如:搜索推荐系统整个项目进行耦合,各项算法都会耦合在其中。举例:知识图谱就会用到(图算法、NLP、ML相关算法),搜索推荐系统(除了该领域召回粗排精排重排混排等算法外,还有强化学习、知识图谱等耦合在其中),后续会持续实现。

1.专栏目录如下

试读博文仅,简单展示一下目录流程,详细内容的xmind见:点击查看:详细版内容介绍

在这里插入图片描述
在这里插入图片描述

2.文章合集

2.1 数据标注(智能标注)

A.1[数据标注]:强烈推荐数据标注平台doccano----简介、安装、使用、踩坑记录

A.2【数据标注】:基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等

A.3【数据标注】基于Label studio的训练数据标注指南:(智能文档)文档抽取任务、PDF、表格、图片抽取标注等

A.4.【数据标注】基于Label studio的训练数据标注指南:文本分类任务

A.5.[数据标注]:基于Label studio的训练数据标注指南:情感分析任务观点词抽取、属性抽取

B.1【智能标注】:基于 hugging face 预训练模型的实体识别方案:生成doccano要求json格式

B.2【智能标注】:主动学习(Active Learning)简介综述汇总以及主流技术方案

B.3【智能标注】:基于Labelstudio的UIE半监督深度学习的智能标注方案(云端版),提效。

B.4【智能标注】:基于Labelstudio的UIE半监督智能标注方案(本地版),赶快用起来啦。

2.2 信息抽取

2.2.1文本信息抽取

C.1 百度飞桨:ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]

C.2 产业应用实例:信息抽取{实体关系抽取、中文分词、精准实体标。情感分析等}、文本纠错、问答系统、闲聊机器人、定制训练

C.3 知识图谱项目实战(一):瑞金医院MMC人工智能辅助构建知识图谱--初赛实体识别

C.4.1快递单中抽取关键信息【一】----基于BiGRU+CR+预训练的词向量优化

C.4.2快递单信息抽取【二】基于ERNIE1.0至ErnieGram + CRF预训练模型

C.4.3 快递单信息抽取【三】--五条标注数据提高准确率,仅需五条标注样本,快速完成快递单信息任务

C.4.4 Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】

C.4.5 PaddleNLP UIE--小样本快速提升性能(含doccona标注)

C.6基线提升至96.45%:2022 司法杯犯罪事实实体识别+数据蒸馏+主动学习

C.7[信息抽取]基于ERNIE3.0的多对多信息抽取算法:属性关系抽取

C.9 文档级关系抽取:基于结构先验产生注意力偏差SSAN模型

C.10[完整版]文档级关系抽取:基于结构先验产生注意力偏差SSAN模型

2.2.2 多模态信息抽取

C.8 基于ERNIELayout&PDFplumber-UIEX的多方案学术论文信息抽取

持续更新中

2.3 意图识别分类算法

D.1应用实践:Paddle分类模型大集成者[PaddleHub、Finetune、prompt]

D.2 基于ERNIR3.0文本分类以中医疗搜索检索词意图分类(KUAKE-QIC)为例【多分类(单标签)】

D.3 基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】

D.4 基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务

D.5 基于ERNIR3.0文本分类:WOS数据集为例(层次分类)

D.6 小样本学习在文心ERNIE3.0多分类任务应用--提示学习

D.7 UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案)

2.4 深度学习可解释性

E.1[可解释性分析]:AiTrust下预训练和小样本学习在中文医疗信息处理挑战榜CBLUE表现

E.2[可解释性分析]:推广TrustAI可信分析:通过提升数据质量来增强在ERNIE模型下性能

2.5 模型性能优化&模型压缩

F.1【性能优化模型压缩】UIE_Slim满足工业应用场景,解决推理部署耗时问题,提升效能,知识蒸馏,模型剪裁。

F.2【性能优化模型压缩】知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

F.3【性能优化模型压缩】在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升

F.4【性能优化模型压缩】Paddle模型性能分析工具Profiler:定位瓶颈点、优化程序、提升性能

F.5【性能优化模型压缩】VisualDL 2.0应用升级--基于「手写数字识别」模型的全功能展示

F.6【性能优化模型压缩】可视化分析工具VisualDL 2.4强势来袭!新增:动态图模型可视化和性能分析

2.6 其他NLP技术

G.1用python进行精细中文分句(基于正则表达式),HarvestText:文本挖掘和预处理工具

G.2 NLP领域任务如何选择合适预训练模型以及选择合适的方案【规范建议】【ERNIE模型首选】

G.3 PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune API微调}【一】

G.4PaddleHub--{超参优化AutoDL Finetuner}【二】

G.5 PaddleHub实战篇{词法分析模型LAC、情感分类ERNIE Tiny}训练、部署【三】

G.6 PaddleHub实战篇{ERNIE实现文新闻本分类、ERNIE3.0 实现序列标注}【四】

3.部分效果展示

3.1 智能标注

3.2 命名实体识别,关系抽取

部分效果展示

代码语言:c#
AI代码解释
复制
黄峥,1980年出生于浙江杭州,拼多多公司创始人,本科毕业于浙江大学、硕士学位毕业于威斯康星大学麦迪逊分校。
 {'公司': [{'text': '拼多多', 'start': 16, 'end': 19, 'probability': 0.935215170074585, 'relations': {'高管': [{'text': '黄峥', 'start': 0, 'end': 2, 'probability': 0.9996391253586268}]}}]}
哔哩哔哩公司的创始人是徐逸,徐逸是最早的哔哩哔哩创始人,但一直在幕后,没有特别公开。曾经是Acfun弹幕网的会员,然后模仿Acfun建立了自己的网站,现在是董事。 {'公司': [{'text': '哔哩哔哩公司', 'start': 0, 'end': 6, 'probability': 0.7246855227849665, 'relations': {'高管': [{'text': '徐逸', 'start': 11, 'end': 13, 'probability': 0.9985462800938478}]}}]}
代码语言:python
代码运行次数:0
运行
AI代码解释
复制
城市内交通费75日金额114广州至佛山
从百度大厦到龙泽苑东区打车费二十元
上海虹桥高铁到杭州时间是924日费用是73元
上周末坐动车从北京到上海花费五十块五毛
昨天北京飞上海话费一百元

{"出发地": [{"text": "广州", "start": 15, "end": 17, "probability": 0.9073772252165782}], "目的地": [{"text": "佛山", "start": 18, "end": 20, "probability": 0.9927365183877761}], "时间": [{"text": "7月5日", "start": 6, "end": 10, "probability": 0.9978010396512218}]}
{"出发地": [{"text": "百度大厦", "start": 1, "end": 5, "probability": 0.968825147409472}], "目的地": [{"text": "龙泽苑东区", "start": 6, "end": 11, "probability": 0.9877913072493669}]}
{"目的地": [{"text": "杭州", "start": 7, "end": 9, "probability": 0.9929172180094881}], "时间": [{"text": "9月24日", "start": 12, "end": 17, "probability": 0.9953342057701597}]}
{#"出发地": [{"text": "北京", "start": 7, "end": 9, "probability": 0.973048366717471}], "目的地": [{"text": "上海", "start": 10, "end": 12, "probability": 0.988486130309397}], "时间": [{"text": "上周末", "start": 0, "end": 3, "probability": 0.9977407699595275}]}
{"出发地": [{"text": "北京", "start": 2, "end": 4, "probability": 0.974188953533556}], "目的地": [{"text": "上海", "start": 5, "end": 7, "probability": 0.9928200521486445}], "时间": [{"text": "昨天", "start": 0, "end": 2, "probability": 0.9731559534465504}]}

3.3意图识别多分类

在这里插入图片描述
在这里插入图片描述
代码语言:python
代码运行次数:0
运行
AI代码解释
复制
input data: 黑苦荞茶的功效与作用及食用方法
label: 功效作用
---------------------------------
input data: 交界痣会凸起吗
label: 疾病表述
---------------------------------
input data: 检查是否能怀孕挂什么科
label: 就医建议
---------------------------------
input data: 鱼油怎么吃咬破吃还是直接咽下去
label: 其他
---------------------------------
input data: 幼儿挑食的生理原因是
label: 病因分析
---------------------------------
代码语言:python
代码运行次数:0
运行
AI代码解释
复制
input data: a high degree of uncertainty associated with the emission inventory for china tends to degrade the performance of chemical transport models in predicting pm2.5 concentrations especially on a daily basis. in this study a novel machine learning algorithm, geographically -weighted gradient boosting machine (gw-gbm), was developed by improving gbm through building spatial smoothing kernels to weigh the loss function. this modification addressed the spatial nonstationarity of the relationships between pm2.5 concentrations and predictor variables such as aerosol optical depth (aod) and meteorological conditions. gw-gbm also overcame the estimation bias of pm2.5 concentrations due to missing aod retrievals, and thus potentially improved subsequent exposure analyses. gw-gbm showed good performance in predicting daily pm2.5 concentrations (r-2 = 0.76, rmse = 23.0 g/m(3)) even with partially missing aod data, which was better than the original gbm model (r-2 = 0.71, rmse = 25.3 g/m(3)). on the basis of the continuous spatiotemporal prediction of pm2.5 concentrations, it was predicted that 95% of the population lived in areas where the estimated annual mean pm2.5 concentration was higher than 35 g/m(3), and 45% of the population was exposed to pm2.5 >75 g/m(3) for over 100 days in 2014. gw-gbm accurately predicted continuous daily pm2.5 concentrations in china for assessing acute human health effects. (c) 2017 elsevier ltd. all rights reserved.
predicted result:
level 1: CS
level 2: 
----------------------------
input data: previous research exploring cognitive biases in bulimia nervosa suggests that attentional biases occur for both food-related and body-related cues. individuals with bulimia were compared to non-bulimic controls on an emotional-stroop task which contained both food-related and body-related cues. results indicated that bulimics (but not controls) demonstrated a cognitive bias for both food-related and body related cues. however, a discrepancy between the two cue-types was observed with body-related cognitive biases showing the most robust effects and food-related cognitive biases being the most strongly associated with the severity of the disorder. the results may have implications for clinical practice as bulimics with an increased cognitive bias for food-related cues indicated increased bulimic disorder severity. (c) 2016 elsevier ltd. all rights reserved.
predicted result:
level 1: Psychology
level 2: 
----------------------------
input data: posterior reversible encephalopathy syndrome (pres) is a reversible clinical and neuroradiological syndrome which may appear at any age and characterized by headache, altered consciousness, seizures, and cortical blindness. the exact incidence is still unknown. the most commonly identified causes include hypertensive encephalopathy, eclampsia, and some cytotoxic drugs. vasogenic edema related subcortical white matter lesions, hyperintense on t2a and flair sequences, in a relatively symmetrical pattern especially in the occipital and parietal lobes can be detected on cranial mr imaging. these findings tend to resolve partially or completely with early diagnosis and appropriate treatment. here in, we present a rare case of unilateral pres developed following the treatment with pazopanib, a testicular tumor vascular endothelial growth factor (vegf) inhibitory agent.
predicted result:
level 1: Medical
level 2: 

3.4 多模态信息抽取

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.5 模型优化

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本专栏将持续更新

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
1 条评论
热度
最新
android安全环境检测很重要
android安全环境检测很重要
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
python爬取『大年初一』热映电影,以『可视化及词云秀』方式带你了解热映电影
今年给大家爬取『大年初一』上映的几部热门数据(评分、时长、类型)以及相关网友评论等数据
Python研究者
2021/03/05
4620
python爬取『大年初一』热映电影,以『可视化及词云秀』方式带你了解热映电影
Python stylecloud制作酷炫的词云图
这周参加一个创新培训,结束后有个答辩需要制作ppt,为了更好的展示内容,想到用词云图。本文分享一下如何基于Python的stylecloud制作酷炫的词云图。stylecloud是wordcloud优化改良版,操作简单,直接调用。
用户9925864
2022/07/27
9310
Python stylecloud制作酷炫的词云图
python数据可视化 豆瓣电影top250数据分析
文章目录 一、上映高分电影数量最多的年份Top10 import collections import pandas as pd from matplotlib import pyplot as plt # 读取数据 df = pd.read_excel("movie.xlsx") # print(type(df)) # <class 'pandas.core.frame.DataFrame'> show_time = list(df["上映时间"]) # 有上映时间数据是1961(中国大陆)这
叶庭云
2020/09/17
3.9K0
python数据可视化 豆瓣电影top250数据分析
教你利用Python绘制酷炫的词云图。
我使用Python的第三方库stylecloud来分别生成了 2 张词云图,读者可以猜一猜以下词云图的出处来自于哪里。
张俊红
2023/03/21
8760
教你利用Python绘制酷炫的词云图。
Python 爬取“工商秘密”微博后,我做了这个“可视化大屏”(附gif图)
微博作为我的日常软件之一,平时除了看看热搜、肖战(哈哈),我还会时不时看看秘密,虽然从来都没有投过稿,但还是会对一些感兴趣的内容评论评论或者点点赞,前两天刷秘密突然很想知道,
数据森麟
2021/03/09
6700
Python 爬取“工商秘密”微博后,我做了这个“可视化大屏”(附gif图)
平安喜乐 | Python制作圣诞树和词云
本文利用 Python 制作圣诞树和词云,教会你多种方法,代码直接运行即可,学会拿去送给你想要祝福的人吧~~
叶庭云
2021/12/30
5920
平安喜乐 | Python制作圣诞树和词云
抓取个人微博 之 Ajax 数据爬取
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
云雀叫了一整天
2019/09/29
5720
干货|Python爬取 201865 条《隐秘的角落》弹幕,发现看剧不如爬山?
本文不涉及剧透!请放心食用 最近又火了一部国产剧:《隐秘的角落》 如果你没看过,那可能会对朋友圈里大家说的“一起去爬山”、“小白船”、“还有机会吗”感到莫名其妙。 暑期推荐旅游 小五在这个端午假期也赶紧刷完了本剧,必须要写篇文章了。 由于《隐秘的角落》是在爱奇艺独播,所以数据从爱奇艺下手最直接。 如果没爬过爱奇艺,可以考虑使用豆瓣、微博、知乎(电视剧数据分析 · 万能三件套)的数据。 1、爬虫 剧很精彩,但追剧界有句俗话说得好:“弹幕往往比剧更精彩”,为了让精彩延续下去,我终究没能忍住对弹幕
腾讯NEXT学位
2020/06/30
4750
王者荣耀白晶晶皮肤1小时销量突破千万!分析网友评论我发现了原因
1、这两天在朋友圈、短视频,微博这些社交平台经常刷到这些内容(王者荣耀芈月白晶晶的皮肤)。
Python研究者
2021/03/05
5890
王者荣耀白晶晶皮肤1小时销量突破千万!分析网友评论我发现了原因
爬取许嵩的所有微博并存入MongoDB
我很喜欢许嵩的音乐,我以前基本上他的每首歌都会唱,比如《素颜》、《灰色头像》、《玫瑰花的葬礼》、《清明雨上》、《庐州月》等等,打开播放器,基本上都是循环播放许嵩的歌,简直欲罢不能!
爱吃西瓜的番茄酱
2018/07/25
7060
爬取许嵩的所有微博并存入MongoDB
词云绘制,推荐三种 Python包外加一个在线网站!
本篇文章先介绍几种制作词云的 Python 库,分别是 WordCloud、StyleCloud、Pyecharts;再加一个在线词云制作网站;最后通过代码实操和可视化效果对它们做个简单比较
前端小tips
2021/12/10
1.2K0
词云绘制,推荐三种 Python包外加一个在线网站!
微博(APP)榜单爬虫及数据可视化
首先对部分用户id进行可视化,字体大一点的是上榜2次的(这次统计中最多上榜的是2次)。
罗罗攀
2018/08/28
1.1K0
微博(APP)榜单爬虫及数据可视化
Python数据可视化 词云图 绘制词云的方法总结
pyecharts是基于echarts的python库,能够绘制多种交互式图表,和其他可视化库不一样,pyecharts支持链式调用。
叶庭云
2020/09/17
31.8K0
Python数据可视化   词云图  绘制词云的方法总结
实战 | 用Python爬取《云南虫谷》3.6万条评论,并做数据统计可视化展示分析,好看!
最近鬼吹灯系列网剧《云南虫谷》上线,作为鬼吹灯系列作品,承接上部《龙岭迷窟》内容,且还是铁三角原班人马主演,网友直呼非常好看!
可以叫我才哥
2021/09/24
1.3K0
Python生成圣诞节词云-代码案例剖析
这段代码使用了jieba进行中文分词,结合stylecloud库生成了一个基于指定配色方案的圣诞主题词云图。以下是对代码的解释:
一键难忘
2023/12/23
1.4K0
爬取1907条『课程学习』数据,分析哪类学习资源最受大学生青睐
上一篇文章以『B站』为实战案例!手把手教你掌握爬虫必备框架『Scrapy』利用了scrapy爬取B站数据。本文将在此基础上完善代码,爬起更多的内容并保存到csv。
Python研究者
2021/03/05
3850
爬取1907条『课程学习』数据,分析哪类学习资源最受大学生青睐
python爬取淘宝全部『螺蛳粉』数据,看看你真的了解螺蛳粉吗?
上一篇文章(爬取淘宝热卖商品并可视化分析,看看大家都喜欢买什么!)爬取分析了淘宝的热卖商品,从分析来看『螺蛳粉』的销量巨高。因此这篇文章将爬取淘宝全部『螺蛳粉』商品数据,通过可视化分析淘宝螺蛳粉的一些秘密!
Python研究者
2021/03/05
8371
python爬取淘宝全部『螺蛳粉』数据,看看你真的了解螺蛳粉吗?
python爬取7w+『赘婿』弹幕,发现弹幕比剧还精彩!
在上一篇文章【以『赘婿』为实战案例,手把手教会你用python爬取『爱奇艺』视频弹幕】,教会了大家如何爬取爱奇艺弹幕!
Python研究者
2021/03/05
6280
python爬取7w+『赘婿』弹幕,发现弹幕比剧还精彩!
微博爬虫,python微博用户主页小姐姐图片内容采集爬虫
python爬虫,微博爬虫,需要知晓微博用户id号,能够通过抓取微博用户主页内容来获取用户发表的内容,时间,点赞数,转发数等数据,当然以上都是本渣渣结合网上代码抄抄改改获取的!
二爷
2020/12/11
1.2K0
微博爬虫,python微博用户主页小姐姐图片内容采集爬虫
手游《航海王热血航线》的评论热词云图怎么做的,今天就手把手教你学废
作为海贼迷(不一定是真的),最近有款字节游戏的手游产品《航海王热血航线》上线了,闹的沸沸扬扬,冲到了iOS畅销榜第5。那么作为taptap迷(可能也不一定是真的),我们来一起看看大家都怎么在聊这块产品吧!
可以叫我才哥
2021/08/05
4660
推荐阅读
相关推荐
python爬取『大年初一』热映电影,以『可视化及词云秀』方式带你了解热映电影
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验