bert+crf - 腾讯云开发者社区

文章/答案/技术大牛

发布

【技术分享】BERT系列（二）-- BERT在序列标注上的应用

同时本篇文章将BERT+CRF模型与其他模型进行了对比，并且对BERT在序列标注上任务上存在的问题进行了分析。 1....同时发现，BERT+CRF模型可以同时解决中文分词和词性标注两个任务，下面我们就通过这两个子任务分析BERT在序列标注上的应用。 2....可以看出BERT+CRF模型的正确率最高，相较于BERT-LSTM+CRF主流模型，提升了51.8%，训练用时缩短了78%。...当我们查看准确率曲线时不难发现，完成一个epoch后，eval数据集的准确率已经超过90%，可见BERT+CRF模型的训练效率和表现均十分出色。...BERT+CRF 相较于其他模型训练速度更快，准确率更高。可以很好地胜任中文文本的序列标注任务。

20.3K12 4

中文短文本的实体识别实体链接，第一名解决方案

针对基于实体库实体链接（尤其是短文本）仅仅采用BERT+CRF进行实体识别有两点不足： BERT+CRF仍然会造成实体边界错误 BERT+CRF模型识别实体不全没有利用到知识库的信息为了解决上述两个不足...2.1 BERT+CRF 　　图 1 为 BERT-CRF 模型，采用 BIO 标记，其中 BERT 的[CLS],[SEP] 位置用标签 TAG 表示。...具体为：BERT+CRF共18个模型，对预测结果进行投票，分别去BERT+CRF模型投票大于8的作为BERT-CRF 模型的结果。选取BERT-ENE模型概率大于0.45作为结果，合在一起即可。

4.6K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

广告行业中那些趣事系列31：关键词提取技术攻略以及BERT实践

2.4.2 基于BERT+CRF提取关键词后来BERT横空出世，因为BERT超强的编码能力所以后面主要用BERT+CRF来解决序列标注任务，模型结构主要是将LSTM换成了BERT，下面是模型结构图：...图12 BERT+CRF模型结构图使用BERT+CRF模型时需要注意BERT部分和CRF部分需要使用不同的学习率，BERT部分使用较小的学习率，CRF部分使用较大的学习率。...2.4.3 基于BERT+半指针半标注提取关键词除了基于BERT+CRF提取关键词，苏神还分享了一种基于BERT+半指针半标注模型用于提取关键词，因为之前写过一篇文章《广告行业中那些趣事系列17：实战基于...+CRF的实践有监督学习提取关键词实践分享一个非常不错的开源项目，作者对LSTM+CRF、BERT+CRF等都做了完整的实验，推荐小伙伴们可以关注学习下。...下面是开源项目地址：https://github.com/wavewangyue/ner/tree/master 3.2.2 基于BERT+CRF提取三元组实践分享一个苏神开源的用bert4keras

1.3K2 0

用深度学习做命名实体识别(七)-CRF介绍

还记得之前介绍过的命名实体识别系列文章吗，可以从句子中提取出人名、地址、公司等实体字段，当时只是简单提到了BERT+CRF模型，BERT已经在上一篇文章中介绍过了，本文将对CRF做一个基本的介绍。...所以如果我们能使用深度神经网络的方式，特征就可以由模型自己学习得到，这就是使用BERT+CRF的原因。命名实体识别中的BERT和CRF是怎么配合的？

2.2K2 0

竞赛专题（四）特征工程-竞赛中的必杀技

将数据标注为BIEOS的方式后，使用BERT+CRF的方式进行序列标注。...BERT+CRF的网络结构如下图所示： ?

1.9K3 2

HR系统实战：我如何用AI做了一套能看懂简历、会推荐候选人的招聘引擎

：{'phone': '13812345678', 'email': 'zhangsan@test.com'}['python', 'sql']→ 这是最基础的功能，实际项目中我用了更复杂的模型（比如BERT

6690 0

Viterbi(维特比)算法在CRF(条件随机场)中是如何起作用的？

之前我们介绍过BERT+CRF来进行命名实体识别，并对其中的BERT和CRF的概念和作用做了相关的介绍，然对于CRF中的最优的标签序列的计算原理，我们只提到了维特比算法，并没有做进一步的解释，本文将对维特比算法做一个通俗的讲解

1.7K0 0

Viterbi(维特比)算法在CRF(条件随机场)中是如何起作用的？

1.5K5 0

【面试宝典】面试基础指导

4.4 ⾯试中关于技术选型的演变⽐如：在进⾏NER任务时，第⼀个版本⽤的是BILSTM+CRF，但是第⼆个版本⽤了BERT+CRF，这⾥选

3091 0

搜狐文本匹配算法大赛方案总结

这么尝试的目的是因为短长B效果非常差）对长文本进行分段式切割，并进行交叉计算（短短，长长效果变好，短长变差）特征工程包括如下：输出没有使用平均池化，而是使用TF-IDF计算的词权，进行按权池化 Bert

1.3K2 0

人工智能之数据分析 numpy：第一章学习链路

Word2Vec/GloVe → RNN/LSTM → Transformer → BERT/GPT典型任务：任务模型方法文本分类 BERT 微调分类头命名实体识别BERT

1901 0

BERT+Biaffine结构中文NLP地址要素解析

模型现在的实体识别方案很多，包括BERT+CRF的序列标注、基于Span的方法、基于MRC的方法，我这里使用的是基于BERT的Biaffine结构，直接预测文本构成的所有span的类别。

3.7K3 0

人工智能之核心技术深度学习第五章 Transformer模型

任务模型选择说明文本分类BERT/DistilBERT加分类头微调问答系统BERT/RoBERTa预测答案起止位置机器翻译Transformer(原始)/mBART编码器-解码器架构命名实体识别（NER）BERT

2691 0

【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF）

太多的实现基于此，例如LSTM+CRF，CNN+CRF，BERT+CRF。因此，这是一个必须要深入理解和吃透的模型。下期预告：朴素贝叶斯原理及应用有三AI知识星球推荐

1.7K2 0

用深度学习做命名实体识别(四)——模型训练

训练本文的模型训练参考的是github上一个开源的项目，该项目是基于bert+crf算法来训练命名实体模型的，比基于lstm+crf的项目的效果要好，下面是该项目的地址： https://github.com

3K8 1

广告行业中那些趣事系列45：你想要的NLP各任务baseline这里都有

4.2 方案介绍基于BERT构建关键词识别任务，因为识别的结果主要是段落的子片段，常规做法是基于BERT+CRF的结构。

5573 0

领域知识图谱的医生推荐系统：利用BERT+CRF+BiLSTM的医疗实体识别，建立医学知识图谱，建立知识问答系统

模型选择我们在训练集上检验了BERT、BERT+CRF、BERT+BiLSTM和BERT+BiLSTM+CRF各模型的准确率、召回率和micro_f1值后，我们发现BERT+BiLSTM+CRF模型具有更好的医疗实体识别能力

7323 0

事理图谱：事件演化的规律和模式

值 59.54% 85.12%（提升约26%）金融事理图谱V2.0版本扩充了数据源，扩大了数据规模，增加了事件节点数量以及因果关系数量，同时增加了事件上下位关系以及抽象事件和抽象因果关系，采用基于BERT

5K3 1

Python基于知识图谱的医生推荐系统

disease：疾病，如：前列腺炎 symptom：疾病症状，如：胃壁增厚 department：科室，如：五官科 test：疾病相关的检查，如：血常规 2.3 模型选择我们在训练集上检验了BERT、BERT

2K4 1

流水的NLP铁打的NER：命名实体识别实践与探索

BERT+CRF & BERT+LSTM+CRF 用 BERT 来做，结构上跟上面是一样的，只是把 LSTM 换成 BERT 就 ok 了，直接上代码首先把 BERT 这部分模型搭好，直接用 BERT

7.7K2 0

点击加载更多

【技术分享】BERT系列（二）-- BERT在序列标注上的应用

中文短文本的实体识别实体链接，第一名解决方案

广告行业中那些趣事系列31：关键词提取技术攻略以及BERT实践

用深度学习做命名实体识别(七)-CRF介绍

竞赛专题（四）特征工程-竞赛中的必杀技

HR系统实战：我如何用AI做了一套能看懂简历、会推荐候选人的招聘引擎

Viterbi(维特比)算法在CRF(条件随机场)中是如何起作用的？

Viterbi(维特比)算法在CRF(条件随机场)中是如何起作用的？

【面试宝典】面试基础指导

搜狐文本匹配算法大赛方案总结

人工智能之数据分析 numpy：第一章学习链路

BERT+Biaffine结构中文NLP地址要素解析

人工智能之核心技术深度学习第五章 Transformer模型

【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF）

用深度学习做命名实体识别(四)——模型训练

广告行业中那些趣事系列45：你想要的NLP各任务baseline这里都有

领域知识图谱的医生推荐系统：利用BERT+CRF+BiLSTM的医疗实体识别，建立医学知识图谱，建立知识问答系统

事理图谱：事件演化的规律和模式

Python基于知识图谱的医生推荐系统

流水的NLP铁打的NER：命名实体识别实践与探索

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐