在训练NER模型时添加Retokenize管道
是一种在自然语言处理中常用的技术。Retokenize管道用于对文本进行重新分词，以便更好地适应特定的模型训练需求。
概念： Retokenize管道是一种在NER（命名实体识别）模型训练过程中使用的处理步骤，它通过重新对文本进行分词，将原始文本中的词语划分为更细粒度的子词或子片段，以提高NER模型的准确性和泛化能力。
分类： Retokenize管道属于文本预处理的一种技术，用于在NER模型训练之前对文本进行分词处理。
优势：
- 提高模型准确性：通过重新分词，可以更好地捕捉词语的内部结构和语义信息，从而提高NER模型的准确性。
- 支持多语言处理：Retokenize管道可以适用于不同语言的文本，提供更好的跨语言支持。
- 增强模型泛化能力：通过细粒度的分词，模型可以更好地理解复杂的文本结构和上下文关系，从而提高模型的泛化能力。
应用场景： Retokenize管道广泛应用于各种文本处理任务，特别是在命名实体识别、文本分类、机器翻译等领域中。
推荐的腾讯云相关产品： 腾讯云提供了多种与文本处理相关的产品和服务，以下是其中几个推荐的产品：
- 腾讯云自然语言处理（NLP）：提供了丰富的自然语言处理功能，包括分词、词性标注、命名实体识别等，可用于构建和训练NER模型。 产品链接：https://cloud.tencent.com/product/nlp
- 腾讯云机器学习平台（Tencent Machine Learning Platform，TMLP）：提供了强大的机器学习和深度学习工具，可用于训练和部署NER模型。 产品链接：https://cloud.tencent.com/product/tmplp
- 腾讯云智能语音（Intelligent Speech）：提供了语音识别和语音合成等功能，可用于与文本处理相关的音视频处理任务。 产品链接：https://cloud.tencent.com/product/tts
注意：以上推荐的产品仅为示例，实际选择产品时应根据具体需求进行评估和选择。
相关·内容
2回答
我有一个包含两个管道的模型：['sbd', 'tagger']。第一个是句子标记器，第二个是标记符。现在，我想用这个模型来训练一个NER，这样我就可以有一个有三个管道的最终模型：['sbd', 'tagger','ner']。根据tagger，我需要禁用管道，以便只训练NER。我做到了，训练过程进行得很顺利。
我的问题是，最终保存的模型只包含一个管道，即NER系统。我能不能重新启用以前禁用的管道，这样我就可以用完整的管道保存最终模型了吗？
浏览 0提问于2018-10-29得票数 2
我按照训练了一个NER模型，并且只启用了ner管道进行培训，因为这是我拥有的唯一数据。
这是部分config
[nlp]
lang = "en"
pipeline = ["tok2vec","ner","tagger"]
batch_size = 1000
disabled = []
before_creation = null
after_creation = null
after_pipeline_creation = null
tokenizer = {"@tokenizers":"spacy.Tok
浏览 14提问于2022-07-07得票数 1
我想在spaCy中创建一个自定义管道组件，它使用的是经过预处理的Thinc模型。我希望修改Thinc的输出预测，然后将修改后的值传回管道，即有效地修改ner管道组件。
我正在考虑通过自定义管道组件来实现这一点，比如：
from spacy.language import Language
@Language.component("my_ner")
def my_ner(doc):
class_probabilities = thinc_do_something(data, model, num_samples)
class_value = np.a
浏览 2提问于2022-06-22得票数 1
回答已采纳
我有一个来自eBrevia的经过训练的名称实体识别(NER)模型。我想知道是否有一种方法可以使用Python或Java编程将其加载到CoreNLP或Spacy中。 编辑:如果预训练的模型是一个pickle模型，有没有办法使用Corenlp或Spacy来加载它？ 提前感谢！
浏览 12提问于2019-10-03得票数 0
我正在为一个NLP项目使用。我有一个短语列表，我想标记为一个新的实体类型。我最初尝试过训练一个NER模型，但是由于有一个有限的术语列表，我认为简单地使用Matcher应该更容易。我在中看到，您可以根据Matcher将实体添加到文档中。我的问题是:如何对新的实体执行此操作，而不让NER管道标记任何其他标记作为该实体？理想情况下，只有通过matcher找到的令牌才应该标记为实体，但我需要将其作为标签添加到NER模型中，然后将一些标记为实体。
对于如何最好地完成这一任务，有什么建议吗？谢谢!
浏览 2提问于2018-03-04得票数 4
回答已采纳
1回答
我正在训练一个名为实体识别的自定义模型，我创建了config.cfg和train.spacy文件，其中包括，我使用它作为预先训练的向量en_core_web_lg
[paths]
train = null
dev = null
vectors = "en_core_web_lg"
init_tok2vec = null
然后我用以下方法训练模型
!python -m spacy train config.cfg --output ./output --paths.train ./train.spacy --paths.dev ./train.spacy
这是可行的，我可以看到输
浏览 11提问于2022-10-27得票数 0
回答已采纳
3回答
我成功地训练了一个关系抽取器模型，并创建了一个.ser文件。
但是，我遇到了一个问题，在这个问题中，模型成功地找到了一个关系，但是如果它的一个实体由多个令牌组成，那么只选择一个令牌()。例如，对于一个名为Friend_of的关系，以及一个类似于：
山姆·塔莉最好的朋友是琼恩·雪诺。
该模型将在以下实体之间找到Friend_of类型的关系：
塔利
琼恩
这导致我的测试将此标记为假阳性，并将整个模型标记为一个糟糕的分数。
我尝试使用相同的培训数据来训练自定义NER模型，然后使用这个自定义NER模型来使用我的支持文件中的以下属性来训练RelationExtractor模型：
浏览 4提问于2017-02-01得票数 2
回答已采纳
我之前已经使用CRF++模型来识别电影评论数据集中的NER。然而，我发现spacy在使用和可视化方面非常有效。然而，这里的问题是，我如何在spacy中合并CRF++模型？如果这是不可能的，我如何使用IOB标签训练Spacy NER模型来满足我的需求？
浏览 1提问于2018-05-27得票数 0
我正在为生物医学文本建立一个命名实体识别模型(来自Pubmed的癌症论文)。我为3种实体(疾病、基因和药物)训练了一个使用spacy的自定义NER模型。此外，我还将该模型与相结合。
这是我目前的密码-
# Loaded the trained NER Model
nlp = spacy.load("my_spacy_model")
# Define entity patterns for EntityRuler (just showing 2 relevant patterns here, it contains more patterns)
patterns = [{
浏览 0提问于2019-08-29得票数 2
回答已采纳
我训练了快速文本嵌入，并将它们保存为.vec文件。我想用这些来做我的斯宾塞模型。有什么区别吗
python -m spacy train en [new_model] [train_data] [dev_data] --pipeline ner --base-model embeddings.vec
和
python -m spacy train en [new_model] [train_data] [dev_data] --pipeline ner --vectors embeddings.vec？
两种方法产生的训练损失、F评分等几乎相同。
浏览 0提问于2020-11-25得票数 0
回答已采纳
1回答
我正在进行一个训练分类器以识别文本中引文的项目。我们所处理的引文往往是非常混乱的。以下是一些引用的例子：
见A册第3章第7段
见A书第3章第7段
见A书第7段的“某些章节标题”一章
我们已经确定了少数实体往往出现在这些引文中。例如，“书名”、“章号”、“章名”、“段号”。
该项目分为两个阶段：
文本引文的二元分类
引文中引文实体的分类
Spacy (我们正在使用v3)是否有可能有两个连续的NER管道？我希望分类器首先标记引文，然后标记每个引文中的实体。
我能够用下面的代码用两个NER管道实例化一个模型：
from spacy.lang.en import E
浏览 3提问于2021-04-25得票数 1
回答已采纳
我使用NER来清理文本，这样每个命名实体都会被替换为它的标签(PERSON、ORG等)。所以"John在苹果工作“就变成了”个人在ORG工作“。 clause_text是我的句子列表。我使用ner-d包来构建我的NER模型并清理文本，如下所示： for text in clause_text:
input_text = text
doc = ner.name(input_text, language='en_core_web_sm')
text_label = [(X.text, X.label_) for X in doc]
# r
浏览 43提问于2020-07-16得票数 0
我已经有了一个现有的spaCy模型，我想在运行时用额外的训练数据来改进它。
例如，我的训练模型中的训练dataSet如下所示：
text="Anna lives in Munich and works at BMW"
entity: name=Anna
entity: city=Munich
entity: company=BMW
在我的实现中，在开始新的训练之前，我从现有模型中获取ner：
nlp = spacy.load(modelPath)
ner = nlp.get_pipe('ner')
然后我用新的TrainingData训练我现有
浏览 2提问于2020-07-29得票数 0
1回答
我目前正在训练一个命名实体识别的模型，我无法找到如何构造spacy中的管道以获得更好的结果。在ner组件之前使用tok2vec是否有意义？
浏览 15提问于2022-09-28得票数 0
我想知道是否有可能用两个不同的数据集在Spacy中训练两个可训练的组件？事实上，我想使用NER和文本分类器，但由于这两个组件的训练数据集应该有不同的注释，所以我不知道如何同时训练这两个组件……
我是否应该在单独的流水线中训练每个任务，并在结束时组装两个流水线？或者我应该训练NER，打包这个管道，然后使用这个包作为输入来训练文本分类器？
非常感谢您的帮助
浏览 8提问于2021-05-20得票数 1
回答已采纳
我想使用spaCy进行实体链接(EL)。我已经在我的领域特定语料库上训练了一个带有自定义标签的spaCy命名实体识别(NER)模型。但是，我的以下示例将使用常规实体标签PERSON和LOCATION。
在知识库( KB )中设置别名，知识库返回识别出的实体出现的候选，例如"Paris“的候选可以是维基数据条目Q47899 (巴黎希尔顿)、Q7137357 (巴黎西门)、Q5214166 (丹·巴黎)、Q90 (法国首都巴黎)或Q830149 (巴黎，美国得克萨斯州拉马尔县首府)。
我的问题与已识别的实体标签有关。如果NER将"Paris“识别为人称，则从候选人中排除Q90 (法
浏览 6提问于2020-10-09得票数 1
我正在尝试使用斯坦福的OpenIE (版本3.6.0)来提取基于我在化学领域训练过的NER模型的关系三元组。但是，我不能让OpenIE根据我自己的NER模型提取关系三元组。OpenIE似乎只根据包中提供的默认NER模型提取关系三元组。
下面是我为训练和部署我的NER模型所做的工作：
基于的神经网络模型的训练。
在CoreNLP服务器中部署NER模型，然后重新启动服务器。我在props中修改了corenlpserver.sh属性。props属性现在如下所示：
props="-Dner.model=$scriptdir/my_own_chemistry.ser.gz,edu/sta
浏览 7提问于2016-12-19得票数 4
我正试着训练新的实体为斯佩西纳。我尝试将我的新实体添加到现有的spacy 'en‘模型中。然而，这影响了'en'和我的新实体的预测模型。
因此，我建立了一个空白模型并训练了实体识别。这个效果很好。然而，它只能预测我训练过的对象，而不能预测常规的spacy实体识别。
比如说我把“马”训练成动物实体。
对于给定的文本
txt ='Did you know that George bought those horses for 10000 dollars?'
我期待着下列实体得到认可
George - PERSON
horses - ANIMAL
10000
浏览 0提问于2019-02-24得票数 15
在spaCy的新版本中，我在训练基础模型中的自定义NER组件时遇到了问题。到目前为止，我一直在CLI中使用以下命令训练我的NER模型： python -m spacy train en model training validation --base-model en_core_web_sm --pipeline "ner" -R -n 10 根据用例的不同，我采用en_core_web_sm或en_core_web_lg作为基本模型来使用其他组件，如标记器和pos。 在spaCy版本3中，需要一个配置文件来处理命令。我正在使用以下配置进行训练： [paths]
train
浏览 23提问于2021-02-05得票数 0
2回答
在SpacyV1中，可以通过以BILOU格式提供文档和实体注释列表来训练NER模型。
然而，在V2中，似乎只有通过提供像这样的实体注释(7、13、'LOC')才有可能进行培训，因此可以使用敌意偏移和实体标记。
以BILOU格式提供令牌列表和另一个实体标记列表的旧方法是否仍然有效？
根据我从文档中收集到的信息，它看起来像是nlp.update方法接受了一个GoldParse对象列表，这样我就可以为每个文档创建一个GoldParse对象，并将BILOU标记传递给它的实体属性。但是，我是否会忽略GoldParse类的其他属性(例如头或标记、 )而丢失重要信息，还是不需要其他属性来训练
浏览 5提问于2017-11-10得票数 3
回答已采纳
1回答
为了训练新的自定义实体，我们可以使用这里提到的步骤训练模型：
但我想知道如何决定迭代次数，丢弃和批量大小，以过拟合或欠拟合模型？
One example of loss is:
Starting training....
Losses: {'ner': 3875.2103796127717}
Losses: {'ner': 3091.347521599567}
Losses: {'ner': 2811.074334355512}
Losses: {'ner': 2235.2944185569686}
Losses: {&
浏览 1提问于2019-08-22得票数 1
1回答
如果你能帮我理解一些关于Spacy的基本概念，我会很有帮助的。
我知道一些spacy模型有一些预定义的静态向量，例如，对于西班牙模型，这些是由FastText生成的向量。我还了解到有一个tok2vec层，它从令牌生成向量，例如用作模型的NER组件的输入。
如果以上所述是正确的，那么我有一些问题：
NER组件也使用静态向量吗?如果是，那么component?层在哪里发挥作用?如果不是，那么使用lg或md模型是否有任何优势，如果您只打算将模型用于例如NER component？。
是已经为预先培训过的下载模型(例如西班牙语)而训练的tok2vec层吗?如果我替换预训练模型的NER组件，它是否保持t
浏览 1提问于2020-10-07得票数 6
回答已采纳
我已经训练了自定义NER和关系提取模型，并且我已经用corenlp服务器检查了生成三元组，但是当我使用OpenIEDemo.java生成三元组时，它生成的三元组只具有关系"has“和" have”，而不是我训练关系提取模型所在的关系。 我正在加载自定义NER和关系提取模型，同时运行相同的脚本。这是我的OpenIEDemo.java文件... package edu.stanford.nlp.naturalli;
import edu.stanford.nlp.ie.util.RelationTriple;
import edu.stanford.nlp.io.IOUtils
浏览 38提问于2019-05-21得票数 1
回答已采纳
我已经成功安装了来自DeepPavlov(ner_ontonotes_bert_mult)的多语言NER模型。我想用阿尔巴尼亚language.Is中的新数据(与他们在页面中建议的格式相同)重新训练这个模型(用不同语言的数据从DeepPavlov重新训练多语言NER模型)，或者只有在我们有英语数据的情况下才能进行重新训练？？
浏览 33提问于2021-05-21得票数 1
回答已采纳
作为我大学项目的一部分，我目前正在研究一种适用于俄语的共指标记算法，基于斯坦福大学的CoreNLP。在很大程度上，这很容易:已经有了俄罗斯的lemmatisation和PoS标记模型。然而，没有用于该语言的NER模型，至少基于CoreNLP，因此，我必须使用CoreNLP的统计方法自己训练这样的模型。 问题在于如何使这个新的经过训练的NER模型适应lemmatisation和PoS- to模型。虽然我的模型是纯统计的，仍然基于原始的CoreNLP代码，但另外两个完全不同。因此，我实际上不能让我的NER集成它们。你怎么能做到这一点呢？相关代码为： props.setProperty("
浏览 21提问于2019-03-17得票数 0
我仍然在学习Python和模型的创建，并且对使用Spacy的NLP非常陌生。我用训练了Spacy现有的模型-- en_core_web_sm。
我已经用我的领域特定实体来训练这个模型。
def main(model="en_core_web_sm", new_model_name="new_ner_model", output_dir='/content/drive/My Drive/Data/new_model', n_iter=100):
.
.
(code to train the model)
.
.
# save model t
浏览 1提问于2020-11-13得票数 1
回答已采纳
2回答
如何使用Spacy创建一个新的名称实体“病例”-在传染病病例数量的上下文中，然后提取这与病例基数之间的依赖关系。
例如，在以下文本中，“1995年10月9日至11月5日期间报告了879例病例，其中4例死亡。”我们想要提取"879“和”case“
在Spacy的示例文档页面上，按照"Training a additional entity type“的代码：
我使用他们现有的预训练的"en_core_web_sm“英语模型，成功地训练了一个名为"CASES”的附加实体：
from __future__ import unicode_literals, print
浏览 6提问于2020-03-10得票数 1
我目前正在尝试训练一个以属性描述为中心的NER模型。我可以得到一个完全经过训练的模型来按照我的喜好运行，但是，我现在想要向模型添加一个retokenize管道，这样我就可以设置模型来训练其他东西。
从这里开始，我遇到了让retokenize管道实际工作的问题。定义如下：
def retok(doc):
ents = [(ent.start, ent.end, ent.label) for ent in doc.ents]
with doc.retokenize() as retok:
string_store = doc.vocab.strings
fo
浏览 14提问于2019-11-13得票数 0
回答已采纳
对不起，这是我的第一个问题！
我开始在python上进行命名实体识别，并使用了ne_chunk和stanza。
我想知道他们为NER预先训练的模型之间的区别。它们如何识别命名实体？
浏览 1提问于2020-11-04得票数 0
我训练过人名数据的NER模型。我随机生成了一些句子，其中包含了这个人的名字。我产生了大约70句话，并用spacy的格式对数据进行了注释。
我使用空白的'en‘模型和'en_core_web_sm’来训练自定义的NER，但是当我测试任何字符串时。它能够在极少数的例子中检测到。
这样的例子是否不足呢？
My data looks like this -:
[("'Hi, I am looking for a house on rent for a year. Best Regards, Rajesh',\r",
{'entities&#
浏览 0提问于2019-05-27得票数 0
回答已采纳
3回答
我想创建一个自定义的NER模型。我就是这么做的：
培训数据(斯坦福-ner.tsv)：
Hello O
! O
My O
name O
is O
Damiano PERSON
. O
PROPERTIES (斯坦福-ner.prop)：
trainFile = stanford-ner.tsv
serializeTo = ner-model.ser.gz
map = word=0,answer=1
maxLeft=1
useClassFeature=true
useWord=true
useNGrams=true
noMidNGrams=true
ma
浏览 1提问于2016-08-13得票数 5
回答已采纳
1回答
目前，我能够训练NER模型来识别Location、Person、Organization的定制值，但是我如何训练NER模型来识别其他实体，如Skill、Proofs、Vehicle..etc。
浏览 5提问于2018-07-30得票数 0
2回答
我正在使用以下OpenNLP模型：
en-parser-chunking.bin
en-ner-person.bin
en-ner-location.bin
en-ner-organization.bin
我想将我的数据附加到训练这些模型的训练数据集中。那么，请告诉我从哪里可以获得原始数据集？
浏览 0提问于2017-02-02得票数 3
可靠地重新训练斯坦福NER模型需要(最低)多少训练数据？如果我们生成手动注释的训练数据，10000个句子是否足以训练模型以提取实体-组织名称和技术名称？
浏览 1提问于2015-01-16得票数 0
我在spacy文档中看到，NER实体的信心评分是在最近的版本中推出的。我正在使用spacy==3.1.2。我尝试了下面的代码，以找到信心得分，但我得到了一个错误。此外，是否有可能为自定义和预先训练的模型找到信心评分。
码
nlp = spacy.load("output/model-best")
test_data = 'Sample data here'
doc = nlp(test_data)
spans = doc.spans["spancat"] # SpanGroup
print(spans.attrs["scores"
浏览 5提问于2021-10-22得票数 1
2回答
我创建了一个命名实体识别的空间转换器模型。上一次我训练到90%的准确率，我也有一个model-best目录，在那里我可以加载我训练过的预测模型。但是现在我有了更多的数据样本，我希望继续训练这个空间转换器。我看到我们可以通过改变config.cfg来做到这一点，但对“应该改变什么”却一无所知。
这是我运行config.cfg后的python -m spacy init fill-config ./base_config.cfg ./config.cfg
[paths]
train = null
dev = null
vectors = null
init_tok2vec = null
[sys
浏览 9提问于2022-01-19得票数 3
回答已采纳
我试着用Spacy训练定制实体。在训练过程中，我得到了损失、分数等的数值。这些价值观的意义是什么？
============================= Training pipeline =============================
ℹ Pipeline: ['tok2vec', 'ner']
ℹ Initial learn rate: 0.001
E # LOSS TOK2VEC LOSS NER ENTS_F ENTS_P ENTS_R SCORE
--- ------ ------------ --
浏览 0提问于2021-10-12得票数 5
回答已采纳
我通读了Lingpipe for NLP，发现我们有能力识别提到的人名、地点和组织。我的问题是，如果我有一个训练文档集，在文本中提到了比如说软件项目，我是否可以使用这个训练集来训练命名实体识别器？一旦训练完成，我应该能够将文本文档的测试集提供给训练过的模型，并且我应该能够识别那里提到的软件项目。
这个通用的NER可以使用NER吗？如果是这样，我应该使用哪些应该馈送的功能？
谢谢Abhishek S
浏览 1提问于2011-09-24得票数 1
回答已采纳
1回答
我正在尝试加载一个经过训练的NER模型，该模型直到今天才正常加载，但是我得到了以下错误，要么导入经过训练的模型，要么导入pt_core_news_lg：
nlp4 = spacy.load('/content/gdrive/My Drive/spacy_NER4')
ValueError:无法创建维数为0的向量表。如果使用预先训练过的向量，是否加载了这些向量？
我在Google Colab上，跟踪这些装置：
!pip install spacy==2.3.4
!python -m spacy download pt_core_news_lg
当我导入我的模型时，它会产生这个错误
浏览 2提问于2022-03-25得票数 0
1回答
我正在为我的硕士论文开发一个命名实体识别功能。我想利用"en_core_web_sm“语言包来训练识别产品的能力。 在训练模型之前，未经训练的模型("en_core_web_sm")能够识别不同的实体，如“PERSON”、“ORG”、“GPE”、“DATE”、……在“验证句子中。产品偶尔会被识别，但标签通常是不正确的。在训练模型之后，只有'PRODUCT‘类型的实体被识别，而没有其他实体，尽管应该有个人，组织，...被识别。 我感觉我的模型忘记了其他实体，在训练之后只“知道”了产品实体。 这是我的训练代码： #nlp = spacy.load("en_
浏览 22提问于2021-06-23得票数 1
回答已采纳
我在spaCy文档的部分中有一种新NER类型的训练数据。
TRAIN_DATA = [
("Horses are too tall and they pretend to care about your feelings", {
'entities': [(0, 6, 'ANIMAL')]
}),
("Do they bite?", {
'entities': []
}),
("horses are too tall and the
浏览 5提问于2018-02-22得票数 7
回答已采纳
我想在我的工作中使用斯坦福NER系统作为一个NLP工具。然而，它缺乏针对中文命名实体的分类器模型。我必须自己训练模型。我没有找到任何免费的数据集，可以用来通过谷歌训练分类器。
谁能告诉我一些免费的中文命名实体标注的数据集或免费的中文NER系统？如有任何帮助，我们将不胜感激：)
浏览 3提问于2011-08-04得票数 3
回答已采纳
我如何做迁移学习，例如，采用预训练的Spacy NER模型，并使其学习特定于我的用例的新实体？ 为此，我有100个新的带注释的训练样本。新的重新训练的模型应该只预测新的实体，而不是预训练的spacy模型中的任何现有实体。只是在现有模型中添加/更新新实体，并在预测期间忽略旧实体，这是没有意义的。 这个official example描述了如何将新的实体添加到现有的预训练实体中，但这不是我想要的。我也有很少的例子，例如100个完全从头开始构建一个新的NER模型。 编辑:我要识别非结构化文档中的所有帐号。 示例(“我想更改与我的帐户12345对应的地址。请让我知道怎么做。”34，39，‘accou
浏览 40提问于2020-01-21得票数 0
1回答
我正在(从头开始)训练一组新的实体，并按照中所描述的那样做，然而，我的损失是停滞不前的，大量的时代并没有帮助。
我的数据：
9个不同实体，15000个培训数据(句子)。20年代以后的损失：
Loaded model 'en'
Losses {'ner': 25461.3508122763}
Losses {'ner': 17003.450728844182}
Losses {'ner': 15725.198527784352}
Losses {'ner': 15315.754479839785}
Losses {&
浏览 0提问于2019-02-14得票数 5
我已经通过以下链接训练了语料库。 https://www.sicara.ai/blog/2018-04-25-python-train-model-NTLK-stanford-ner-tagger 数据集是一些我训练过的健康博客(英文版)。我能够成功地在我的新看不见的文本上运行这个模型。 问题:我面临的问题是，我想在斯坦福CoreNLP中运行我的自定义英语NER模型和默认的英语模型。 期望的结果:我希望Stanford默认模型在我自己的自定义模型NER模型之后以顺序方式运行，以处理我自己的模型遗漏的那些英语实体。
浏览 22提问于2019-09-24得票数 1
回答已采纳
我想在自定义的数据集上训练spacy模型，但是它需要太多的时间来训练，有什么方法可以加快训练的速度吗？我在ner.begin_training()中传递了ner.begin_training，但它所花费的时间与以前相同。
浏览 4提问于2019-07-11得票数 4
Spacy 'train‘命令使用命令行选项--gpu 0，允许在使用GPU和不使用GPU之间进行“最后一分钟”的选择--只使用CPU。
但是，使用在GPU和CPU之间进行选择会导致(基本)配置上的重大差异。在我的例子中(与NER打交道)，我得到了两个不同的管道：
for CPU：= "tok2vec"，"ner"for GPU:管线= "ner"
(下面的组件设置非常不同)。
由于我的GPU只有6GB的内存，所以我很快就耗尽了GPU内存--不能使用它。但是，当我切换到只使用CPU时，这两个管道之间的培训行为就大不相同了：
"to
浏览 3提问于2021-05-03得票数 1
1回答
我知道斯坦福大学只支持通过文件进行训练.是否有一种方法可以在稍后阶段添加更多的培训数据，以便在NER模型已经经过培训之后更新它？
我知道我可以保留过去所有的训练数据集并重新训练模型，但是，我想知道是否有一种方法来更新NER模型，而不是从头开始对它进行再培训。
浏览 2提问于2015-06-24得票数 0
回答已采纳
1回答
训练自定义NER模型
、、、、
我一直在一些文本上训练我的NER模型，并试图在其中找到具有自定义实体的城市。
示例：-
('paragraph Designated Offices Party A New York Party B Delaware paragraph pricing source calculation Market Value shall generally accepted pricing source reasonably agreed parties paragraph Spot rate Spot Rate specified paragraph reasonably agreed
浏览 1提问于2019-12-03得票数 1
我有这种困惑，因为我想从文本中提取街道地址，所以我计划使用Spacy的更大的模型来训练一个定制的NER模型。我必须对更大的文本进行推断，比如多页pdf中的文本，那么我是否应该在这种规模的文本上对模型进行培训，即多页pdfs中的文本，或者对较小的文本(如小段)的模型进行培训，也会在这种规模的文本上给我们带来良好的效果？你们有什么建议？
浏览 10提问于2022-01-31得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
