预先训练的spacy模型或spacy.blank，对于自定义NER，哪种方法是正确的？
对于自定义NER（命名实体识别），正确的方法是使用预先训练的spacy模型。Spacy是一个流行的自然语言处理库，提供了预先训练的模型，可以用于识别常见的命名实体，如人名、地名、组织机构等。这些预先训练的模型经过大规模的数据训练，具有较高的准确性和泛化能力。
使用预先训练的spacy模型进行自定义NER时，可以通过添加新的实体标签和相应的训练数据来扩展模型的能力。训练数据应包含文本样本和对应的实体标注，以指导模型学习识别新的实体类型。训练过程中，可以使用spacy提供的训练工具和算法进行模型训练，以提高自定义NER的准确性和性能。
相比之下，使用spacy.blank方法创建空白模型进行自定义NER是不正确的。spacy.blank方法创建的模型没有经过预训练，缺乏对常见命名实体的识别能力。因此，如果需要进行自定义NER，应该使用预先训练的spacy模型作为基础，并在此基础上进行扩展和训练。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云自然语言处理（NLP）：https://cloud.tencent.com/product/nlp
- 腾讯云机器学习平台（Tencent Machine Learning Platform）：https://cloud.tencent.com/product/tmmp
相关·内容
我想训练一个spacy自定义NER模型，哪一个是最好的选择？ 列车数据已准备就绪(doccano) 选项1.使用现有的预先训练的spacy模型，并使用自定义NER?进行更新。选项2.使用带有自定义NER的spacy.blank()创建一个空模型？ 我只想在文
浏览 26提问于2020-08-25得票数 0
要么我错过了他们的文档，要么他们真的很难找到它。任何指向我在哪里可以找到关于底层模型的信息的指针都会很有帮助 对于更多的上下文，我将它用于一个带有自定义标签的NER任务，但我认为这并不是很重要。
浏览 26提问于2020-11-07得票数 0
回答已采纳
我已经使用自定义标记器在spaCy中训练了一个自定义NER模型。我想不使用记号赋予器来保存NER模型。我使用在spaCy支持论坛中找到的代码尝试了以下代码：nlp.tokenizer = some_custom_tokenizer# Train the NER mode
浏览 6提问于2018-01-30得票数 9
1回答
1)我刚刚开始研究NLP，其基本思想是从文本中提取有意义的信息。为此，我使用了"Spacy“。人物钱币等等，但我想添加一些自定义实体，如：2)我能在Spacy找到一些受过训练的模特吗？
浏览 0提问于2019-08-16得票数 6
回答已采纳
我是新来的nlp，我开始学习如何培训自定义的人在空间。 ('what is the price of polo?', {'entities': [(21, 26, 'Product')]})第一次训练空白空间模型： TRAIN_DATA= data
nlp = spacy.blank
浏览 8提问于2021-12-17得票数 3
回答已采纳
1回答
训练自定义NER模型
、、、、
我一直在一些文本上训练我的NER模型，并试图在其中找到具有自定义实体的城市。对于单个文本，也可以有多个实体。nlp = spacy.blank('en') # create blank Language class我的问题是：
当输入不同/相同模式的<
浏览 1提问于2019-12-03得票数 1
我想使用spacy的NER模型从头开始训练一个使用100万个句子的模型。该模型只有两种类型的实体。这是我正在使用的代码。因为我不能共享数据，所以我创建了一个虚拟数据集。我的主要问题是模型训练时间太长。如果你能强调我代码中的任何错误，或者建议其他方法来加速训练，我将不胜感激。random
fro
浏览 13提问于2019-05-04得票数 2
我的目标是定期训练我预先训练的自定义spacy ner模型，即每月用新的输入更新相同的模型。 我有哪些不同的方法可以做到这一点？
浏览 26提问于2021-08-09得票数 0
我需要使用自然语言处理和NER从给定的文本中识别出所有的establishments和facilities。示例文本：公园，游泳池，商业综合体，住宅综合体，学校和联排别墅
我应该做些什么来改善结果呢？还有其他更适合这个用例的库/框架
浏览 8提问于2020-10-23得票数 4
1回答
我正在尝试在5000万个样本上训练一个自定义的NER模型。我正在使用20次迭代的进行建模。我想知道我是否应该使用交叉验证来获得更准确的样本准确性。如果是，那么交叉验证步骤应该在哪里进行？如果没有，那么我如何拆分/分发我的训练和测试数据，因为我正在使用注释和6个自定义实体，并且很难跟踪每个训练和测试数据中带注释的标签的百分比，因为它是均匀
浏览 3提问于2019-08-01得票数 1
1回答
这是一个简单的代码，它是从教程文档中提取的(或多或少)。一旦我使用下面的训练代码训练了NER模型，我就在for循环中使用nlp(sentence).ents来获取命名实体。如您所见，我使用了一个空白模型spacy.blank('en') --这是因为我要添加新的实体。但是没有从测试集中检测到任何实体。中创建的模型？我的要求：考虑20%、0.5%等的</e
浏览 2提问于2019-01-28得票数 1
1回答
如果你能帮我理解一些关于Spacy的基本概念，我会很有帮助的。如果以上所述是正确的，那么我有一些问题
浏览 1提问于2020-10-07得票数 6
回答已采纳
1回答
我很难弄清楚如何从spacy V3内置的模型中一点一点地组装spacy管道。现在我想要的是从空白构建一个英语管道，然后一点一点地添加组件。我做，而不是，希望加载整个en_core_web_sm管道并排除组件。为了具体起见，假设我只想在管道中使用spacy默认的tagger。}
nlp.add_pipe("tagger", config=confi
浏览 25提问于2021-08-02得票数 1
回答已采纳
2回答
这就好像模型失去了这种能力，同时保留了检测命名实体的能力。或者是某种设置被关闭了？Loaded model 'data3'如果我使用原始的预训练模型'en_core_web_sm'，结果是：Net income为什么我的新模型在原来的Spacy 'en_core_web_
浏览 6提问于2020-03-10得票数 1
我想在spaCy中创建一个自定义管道组件，它使用的是经过预处理的Thinc模型。我希望修改Thinc的输出预测，然后将修改后的值传回管道，即有效地修改ner管道组件。from spacy.language import Language
de
浏览 2提问于2022-06-22得票数 1
回答已采纳
1回答
我尝试在每次迭代后保存到Spacy自定义NER模型。我们是否有类似于tensorflow中的API来在每/确定否之后保存模型权重。迭代次数。然后我可以重新加载保存的模型，并从那里继续训练。另外，我如何在linux中利用我系统上的所有内核。我发现四个内核中只有两个在使用。他们使用多任务CNN进行NER，我知道在CPU上重新训练需要更多的时间。还有其他加速<
浏览 14提问于2018-01-19得票数 1
我使用空空白空间模型来训练我自己的ner数据。我正在为来自train_data的实体训练我的模型。nlp = spacy.blank('en')
if 'ner' not in nlp.pipe_names:
nernlp.add_pipe现在使用已注册组件工厂的</
浏览 9提问于2021-07-06得票数 0
1回答
目前，我正试图使用spacy来训练文本分类器，我遇到了以下问题:使用spacy.blank('en')创建空白模型与使用经过预先训练的模型spacy.load('en_core_web_sm')有什么区别、假PUNCT是真正的奥克斯奇妙的美妙的
浏览 2提问于2020-03-27得票数 3
回答已采纳
1回答
我试图通过实现我的预训练向量来提高我的spacy NER模型的性能。我使用不同的文本使用word2vec创建了自己的向量，并将它们保存在.txt文件中。然而，我得到了完全相同的分数，这似乎不对。下面是我为一个带有自定义预训练嵌入的文件执行的步骤：
!/Spacy/eval.spacy
浏览 17提问于2022-09-01得票数 1
回答已采纳
我想要建立一个SPACY模型，它根据文档类型来识别和使用标记。{"text":{"a":"ABC DEF."text":"ABC"},
{"start":4,"end":6,"doc_type":"b","label":{"text":"SECOND"},"text":&
浏览 3提问于2021-05-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
