如何使用100万个标记句子来提高从头开始实现的ner模型的速度
使用100万个标记句子来提高从头开始实现的NER模型的速度，可以采取以下步骤：
- 数据预处理：对于这100万个标记句子，首先需要进行数据预处理。这包括文本清洗、分词、词性标注等操作，以便为模型提供干净、结构化的数据。
- 特征工程：在构建NER模型之前，需要进行特征工程。这包括选择合适的特征表示方法，如词向量、字符级别特征等，并进行特征提取和转换，以便为模型提供有意义的输入。
- 模型选择：选择适合NER任务的模型架构。常用的模型包括循环神经网络（RNN）、长短期记忆网络（LSTM）、双向LSTM、卷积神经网络（CNN）等。根据数据集的规模和特点，选择合适的模型进行训练。
- 模型训练：使用预处理后的数据集对选择的模型进行训练。可以采用批量训练的方式，通过迭代优化模型参数，使其逐渐收敛。训练过程中可以使用一些优化技术，如学习率衰减、正则化等，以提高模型的性能和泛化能力。
- 模型评估：使用预留的测试集对训练好的模型进行评估。常用的评估指标包括准确率、召回率、F1值等。根据评估结果，可以对模型进行调优或选择其他模型进行比较。
- 模型优化：根据评估结果和实际需求，对模型进行优化。可以尝试调整模型的超参数，如隐藏层大小、学习率等，以提高模型的性能和速度。
- 模型部署：将训练好的模型部署到生产环境中，以便实际应用。可以使用云计算平台提供的部署服务，如腾讯云的云函数SCF、容器服务TKE等，以便灵活、高效地部署和管理模型。
总结起来，使用100万个标记句子来提高从头开始实现的NER模型的速度，需要进行数据预处理、特征工程、模型选择、模型训练、模型评估、模型优化和模型部署等步骤。在每个步骤中，可以根据实际需求选择合适的技术和工具，以提高模型的性能和效率。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云函数（SCF）：https://cloud.tencent.com/product/scf
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
相关·内容
我想训练一个spacy自定义NER模型，哪一个是最好的选择？ 列车数据已准备就绪(doccano) 选项1.使用现有的预先训练的spacy模型，并使用自定义NER?进行更新。 选项2.使用带有自定义NER的spacy.blank()创建一个空模型？ 我只想在文本中标识我的自定义实体，其他类型的实体不是necessary...currently
浏览 26提问于2020-08-25得票数 0
1回答
我使用空格进行命名实体识别。我在en_core_web_md上有我自己训练过的模型。我的模型大小是223兆字节。当模型加载到内存中时，它使用800兆字节。对于NER来说，有没有可能不加载所有的东西(lexemes.bin，string.json，key2row)，而只加载向量和模型(分别重4MB和24MB)，从而消耗更少的内存？还是都需要为NER加载？
浏览 49提问于2020-05-01得票数 1
回答已采纳
1回答
我在我的数据集上使用Spacy模型对NER。它显示在B地址和I地址上的标记很差。原因是我的文档中有不同类型的地址。有些以数字开头，有些以建筑物名称开头，有些以邮箱开头。知道我怎样才能提高地址标签的准确性吗？
浏览 11提问于2022-08-02得票数 2
我正在尝试用我自己的数据训练纳使用Spacy。我的问题是如何将我受过训练的NER集成到原始模型中？这样就可以方便地不断地训练和使用我的应用程序。我没有找到任何样本。
我在下面找到了一些类似的例子来训练NER，但似乎所有这些都没有保存经过训练的模型，并将其集成回Spacy中。有些保存在内存中，有些保存在其他文件夹中.那么，如何以适当的方式来满足我的需求呢？谢谢！
我用的是spacy 1.7.3
浏览 1提问于2017-04-13得票数 5
我想将spaCy库中的en_core_web_trf模型用于Named entity recognition。但是，guide for training a自定义模型不包含用于优化预训练模型的信息。 如何在spaCy v3.0中对NER模型进行微调？
浏览 53提问于2021-11-13得票数 0
回答已采纳
我的目标是定期训练我预先训练的自定义spacy ner模型，即每月用新的输入更新相同的模型。 我有哪些不同的方法可以做到这一点？
浏览 26提问于2021-08-09得票数 0
可靠地重新训练斯坦福NER模型需要(最低)多少训练数据？如果我们生成手动注释的训练数据，10000个句子是否足以训练模型以提取实体-组织名称和技术名称？
浏览 1提问于2015-01-16得票数 0
1回答
我正在进行一个训练分类器以识别文本中引文的项目。我们所处理的引文往往是非常混乱的。以下是一些引用的例子：
见A册第3章第7段
见A书第3章第7段
见A书第7段的“某些章节标题”一章
我们已经确定了少数实体往往出现在这些引文中。例如，“书名”、“章号”、“章名”、“段号”。
该项目分为两个阶段：
文本引文的二元分类
引文中引文实体的分类
Spacy (我们正在使用v3)是否有可能有两个连续的NER管道？我希望分类器首先标记引文，然后标记每个引文中的实体。
我能够用下面的代码用两个NER管道实例化一个模型：
from spacy.lang.en import E
浏览 3提问于2021-04-25得票数 1
回答已采纳
我已经为spacy的ner模型提供了一组GoldParse对象进行训练。
我现在想做的是评估它在新句子上的结果，并将每个识别的实体标记为“好”或“坏”，然后将这些信息纳入新的一批训练中。
这个是可能的吗？ner模型如何从负样本中学习？
浏览 6提问于2018-03-06得票数 3
回答已采纳
1回答
我使用一个NER模型来提取文本中显示的治疗(冰、热或OTC)，但是治疗有多个上下文。
建议HomecarePatient患者在家庭治疗时使用冰袋治疗膝盖--在临床治疗中给冰袋治疗--在诊所。
在以上所有句子中，NER模型都提取冰包作为治疗实体，但如何使它学习上下文并进一步识别治疗是家庭建议还是临床治疗。应该根据周围的单词来学习上下文(继续和遵循这两个词)。
对于这个用例，我应该使用什么技术？我不想在NER之上使用基于规则的技术，我已经使用了这些技术，但我希望以一种更复杂的方式这样做。
对于实体识别，我使用了一个经过预先训练的生物医学人员(来自Scispacy libaray)，并使用实体规则将
浏览 2提问于2021-07-14得票数 2
我如何做迁移学习，例如，采用预训练的Spacy NER模型，并使其学习特定于我的用例的新实体？ 为此，我有100个新的带注释的训练样本。新的重新训练的模型应该只预测新的实体，而不是预训练的spacy模型中的任何现有实体。只是在现有模型中添加/更新新实体，并在预测期间忽略旧实体，这是没有意义的。 这个official example描述了如何将新的实体添加到现有的预训练实体中，但这不是我想要的。我也有很少的例子，例如100个完全从头开始构建一个新的NER模型。 编辑:我要识别非结构化文档中的所有帐号。 示例(“我想更改与我的帐户12345对应的地址。请让我知道怎么做。”34，39，‘accou
浏览 40提问于2020-01-21得票数 0
我当前的自定义NER模型在召回方面很好，但我想把重点放在提高精度上，是否有可能更改配置文件中的优化器度量？
浏览 0提问于2021-05-31得票数 3
回答已采纳
我正在研究为一个日本NER创建训练数据。
想知道我是否需要预标记化训练数据，或者是否有方法在模型创建期间指定标记器？
在下面的示例中，日语没有任何空格：
<START:person> Pierre Vinken <END> 61 years old will join the board as a nonexecutive director Nov. 29 .
<START:person> Pierre Vinken <END> は11月29日、非執行取締役として理事に就任する。
这是否适用于训练模型，或者我是否需要提供标记化的训练句子？
浏览 0提问于2018-05-08得票数 2
我目前正在寻求构建一个斯坦福NER模型，该模型将能够识别不同于这些内置的类别(人员，组织，位置，...)在斯坦福的模型中。例如，我想构建一个NER模型，该模型将被训练为标记实体酒店、国家、所有者。
这个是可能的吗？
提前感谢！
浏览 3提问于2015-12-03得票数 1
1回答
def all_ents(v):
return [(ent.text, ent.label_) for ent in ner_model(v).ents]
df1['Entities'] = df1['text'].apply(lambda v: all_ents(v))
df1.head()
在执行时，显示ner_model未定义，请知道如何在spacy中定义ner模型。
浏览 9提问于2022-10-01得票数 0
回答已采纳
当我将"ner“注释器添加到我的StanfordCoreNLP对象管道中时，我可以看到它加载了3个模型，这需要很长时间：
Adding annotator ner
Loading classifier from edu/stanford/nlp/models/ner/english.all.3class.distsim.crf.ser.gz ... done [10.3 sec].
Loading classifier from edu/stanford/nlp/models/ner/english.muc.7class.distsim.crf.ser.gz ... done [10.
浏览 4提问于2015-11-24得票数 4
回答已采纳
1回答
我正在(从头开始)训练一组新的实体，并按照中所描述的那样做，然而，我的损失是停滞不前的，大量的时代并没有帮助。
我的数据：
9个不同实体，15000个培训数据(句子)。20年代以后的损失：
Loaded model 'en'
Losses {'ner': 25461.3508122763}
Losses {'ner': 17003.450728844182}
Losses {'ner': 15725.198527784352}
Losses {'ner': 15315.754479839785}
Losses {&
浏览 0提问于2019-02-14得票数 5
我想用stanford-ner.jar CRFClassifier为尼泊尔语或印地语训练一个ner模型。我能否简单地使用中提到的java命令行？
浏览 0提问于2019-02-12得票数 0
1回答
如何微调伯特自己的任务？
、、、、
我想用我自己语言的数据对伯特进行预培训，因为BERT的多语言(包括我的语言)模型并不成功。由于整个训练成本很高，所以我决定对其进行微调，包括两个任务:蒙面语言模型和下一个句子预测。以前有针对不同任务(NER、情感分析等)的实现，但我找不到对它自己的任务进行任何微调。有什么我看不到的实现吗？如果没有，我应该从哪里开始呢？我需要初步的帮助。
浏览 1提问于2019-05-03得票数 0
3回答
我想创建一个自定义的NER模型。我就是这么做的：
培训数据(斯坦福-ner.tsv)：
Hello O
! O
My O
name O
is O
Damiano PERSON
. O
PROPERTIES (斯坦福-ner.prop)：
trainFile = stanford-ner.tsv
serializeTo = ner-model.ser.gz
map = word=0,answer=1
maxLeft=1
useClassFeature=true
useWord=true
useNGrams=true
noMidNGrams=true
ma
浏览 1提问于2016-08-13得票数 5
回答已采纳
我刚从斯坦福大学CoreNLP开始，我想要建立一个自定义的NER模型来找到persons。
不幸的是，我没有找到适合意大利语的ner模型。我需要在简历/简历文件中找到这些实体。
这里的问题是，像这样的文档可能有不同的结构，例如，我可以：
案例1
- Name: John
- Surname: Travolta
- Last name: Travolta
- Full name: John Travolta
(so many labels that can represent the entity of the person i need to extract)
案例2
My name
浏览 7提问于2015-12-28得票数 10
回答已采纳
1回答
NER英语模型
、、
我看到上的NLP在线演示使用了与下载版本不同的NER类。例如，在线演示使用了NER标签Country、Title、Present_Ref、Date、City、State_or_Province等，但这些标签没有3类、4类或7类模型。在线演示是否使用了一些不同的模型？如果是，我们可以从哪里下载该模型？
浏览 2提问于2017-03-21得票数 0
1回答
这是我第一次尝试spacy。我有一个spacy训练数据，它的形式如下。 [
{
"id":0,
"paragraphs":[
{
"sentences":[
{
"tokens":[
{
"orth":"Michael",
"tag":"-",
"
浏览 17提问于2019-09-12得票数 0
我正在使用StanfordCoreNLPServer从文本中提取一些信息(例如表面、街道名称)。
街道是由一个经过专门训练的NER模型给出的，而表面则是由一个简单的正则表达式通过RegexNER给出的。
它们分别工作很好，但是当一起使用时，只有NER结果出现在输出中，在ner标记下。为什么没有regexner标签？有办法也有RegexNER的结果吗？
供参考：
StanfordCoreNLP v3.6.0
所使用的URL：
'‘’？properties={“注释者”：“记号化，ssplit，pos，ner，regexner"，‘’tokenize.language‘：”
浏览 3提问于2016-06-17得票数 6
回答已采纳
作为我大学项目的一部分，我目前正在研究一种适用于俄语的共指标记算法，基于斯坦福大学的CoreNLP。在很大程度上，这很容易:已经有了俄罗斯的lemmatisation和PoS标记模型。然而，没有用于该语言的NER模型，至少基于CoreNLP，因此，我必须使用CoreNLP的统计方法自己训练这样的模型。 问题在于如何使这个新的经过训练的NER模型适应lemmatisation和PoS- to模型。虽然我的模型是纯统计的，仍然基于原始的CoreNLP代码，但另外两个完全不同。因此，我实际上不能让我的NER集成它们。你怎么能做到这一点呢？相关代码为： props.setProperty("
浏览 21提问于2019-03-17得票数 0
1回答
我知道斯坦福大学只支持通过文件进行训练.是否有一种方法可以在稍后阶段添加更多的培训数据，以便在NER模型已经经过培训之后更新它？
我知道我可以保留过去所有的训练数据集并重新训练模型，但是，我想知道是否有一种方法来更新NER模型，而不是从头开始对它进行再培训。
浏览 2提问于2015-06-24得票数 0
回答已采纳
3回答
我有已经以SpaCy格式标记的数据。例如：
("Who is Shaka Khan?", {"entities": [(7, 17, "PERSON")]}),
("I like London and Berlin.", {"entities": [(7, 13, "LOC"), (18, 24, "LOC")]})
但我想尝试使用任何其他NER模型来训练它，例如BERT-NER，它需要IOB标签。有没有SpaCy数据格式到IOB的转换代码？
谢谢!
浏览 0提问于2020-01-14得票数 4
1回答
我正在为我的硕士论文开发一个命名实体识别功能。我想利用"en_core_web_sm“语言包来训练识别产品的能力。 在训练模型之前，未经训练的模型("en_core_web_sm")能够识别不同的实体，如“PERSON”、“ORG”、“GPE”、“DATE”、……在“验证句子中。产品偶尔会被识别，但标签通常是不正确的。在训练模型之后，只有'PRODUCT‘类型的实体被识别，而没有其他实体，尽管应该有个人，组织，...被识别。 我感觉我的模型忘记了其他实体，在训练之后只“知道”了产品实体。 这是我的训练代码： #nlp = spacy.load("en_
浏览 22提问于2021-06-23得票数 1
回答已采纳
所以我的要求在口头上很简单。我需要基于自定义实体的StanfordCoreNLP默认模型以及经过自定义培训的模型。在最后的运行中，我需要能够从给定的句子中分离出特定的短语(将使用RegexNER)。
以下是我的努力：
with :-因此我想使用StanfordCoreNLP CRF文件、标记文件和ner模型文件，以及我的自定义培训的StanfordCoreNLP模型。我试着找出是否有任何正式的方法来做这件事，但是什么也没有得到。有一个属性"ner.model“用于StanfordCoreNLP管道，但如果使用，它将跳过默认的管道。
ever :- Next (可能不是有史以来最聪明
浏览 4提问于2017-04-30得票数 1
回答已采纳
我是新来的nlp，我开始学习如何培训自定义的人在空间。
TRAIN_DATA = [
('what is the price of polo?', {'entities': [(21, 25, 'Product')]}),
('what is the price of ball?', {'entities': [(21, 25, 'Product')]}),
('what is the price of jegging?'
浏览 8提问于2021-12-17得票数 3
回答已采纳
我第一次用bellow训练的数据实现了自定义NER，它给了我很好的名字和PrdName预测。我提到了暗号。
if __name__ == '__main__':
TRAIN_DATA = [
('My Name is Rajesh', {'entities': [(11, 17, 'Name')]}),
('My Name is Bakul', {'entities': [(11, 16, 'Name')]}),
浏览 0提问于2020-01-02得票数 1
1回答
我的项目的目标是回答一些问题，例如：“我在寻找在谷歌工作的20-30岁的美国女性”，然后我必须处理这个查询，并查看数据库以找到答案。
为此，我需要把斯坦福大学3级NERTagger和我自己的标签结合起来.事实上，我的新标签可以标记年龄、国籍和性别。但我需要斯坦福标记标记机构，因为我没有任何培训文件。
现在，我有这样的代码：
def __init__(self, q):
self.userQuery = q
def get_tagged_tokens(self):
st = NERTagger('C:\stanford-ner-2015-01-30\my-ner-mode
浏览 2提问于2015-05-11得票数 1
回答已采纳
1回答
我正在使用CoreNLP 3.6.0创建一个自定义的NER模型
我的道具是：
# location of the training file
trainFile = /home/damiano/stanford-ner.tsv
# location where you would like to save (serialize) your
# classifier; adding .gz at the end automatically gzips the file,
# making it smaller, and faster to load
serializeTo = ner-
浏览 2提问于2016-08-12得票数 2
回答已采纳
1回答
AllenNLP是否倾向于伯特？
、、、、
在我们大学的研究小组，我们已经为葡萄牙语进行了RoBERTa模式的预培训，同时也是基于RoBERTa的一个特定领域的模式。我们一直在使用进行一系列基准测试，RoBERTa模型对于几乎所有数据集和任务的性能都优于。
我们关注的任务之一是NER，而且由于AllenNLP支持，我们期待着通过这些新的RoBERTa模型与AllenNLP的crf_tagger相结合，看看我们是否会得到更大的改进。我们使用与伯特相同的jsonnet配置，只切换到RoBERTa，并对一些超级参数进行网格搜索以寻找最佳模型。我们使用3种不同的种子测试了超参数，如重量衰减和学习速率(对于huggingface_adamw优化器
浏览 9提问于2022-08-10得票数 0
我提出了一个基于'bert-base-uncased'的命名实体识别的Huggingface模型。我的推论如下：
from transformers import pipeline
ner_pipeline = pipeline('token-classification', model=model_folder, tokenizer=model_folder)
out = ner_pipeline(text, aggregation_strategy='simple')
我希望在非常长的文本上获得结果，而且由于我知道用于训练和推理的最大容量为5
浏览 18提问于2022-10-10得票数 1
回答已采纳
我正在使用flair训练一个自定义的NER模型，但我也想尝试spacy，但我的数据当前采用这种格式
No O
1320160208478 B-NUM
P O
R O
Name O
Ryan B-PER
Dsouza B-PER
关于如何将其格式化为spacy NER格式，有什么建议吗？提前谢谢。
浏览 42提问于2019-08-19得票数 0
回答已采纳
1回答
我正在创建一个新的模型来识别位置，因为预先训练的模型(en- OpenNLP -location.bin)没有这个位置。
代码如下：
package com.equinox.nlp;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.C
浏览 0提问于2014-10-27得票数 1
我正在尝试从零开始使用spaCy来训练NER模型。我想首先在上试用它，因为它被广泛用作NER系统的基线。
下面是我运行的命令：
spacy convert -c ner train.txt valid.txt test.txt spacyConverted
cd spacyConverted
python -m spacy train en trained train.txt.json valid.txt.json --no-tagger --no-parser
mkdir displacy
python -m spacy evaluate trained/model-final test.t
浏览 1提问于2018-07-26得票数 0
1回答
我正在尝试使用Beautiful Soup来解析xml文件，我尝试阅读了Crummy的BS文档，但没有找到任何令人满意的xml解析。现在，我只能弄清楚这一点：
file = open("input.xml")
page = file.read()
soup = BeautifulSoup(page, "xml")
for word in soup.findAll('word'):
word_attr = dict(word.attrs)
netag = word.find('ner')
nertag =
浏览 2提问于2014-10-21得票数 0
2回答
基于命名实体的列车模型
、、、、
我正在使用命名实体REcognizer.I查看standford，我有不同类型的输入文本，我需要将它标记到我自己的Entity.So中，我开始训练我自己的模型，它似乎不起作用。
我输入的文本字符串是“Toyota 1956-1987 Gold Portfolio 的49本杂志文章”。
我通过这些例子来训练我自己的模型，并且只寻找一些我感兴趣的单词。
我的简-奥斯汀-爱玛-ch1.tsv看起来像这样
Toyota PERS
Land Cruiser PERS
根据以上输入的文字，我只对这两个字感兴趣。一个是丰田，另一个是陆地巡洋舰。
austin.prop看起来像这样
trainFil
浏览 2提问于2015-04-20得票数 2
回答已采纳
1回答
我已经创建了一个python脚本来提取命名实体，如下所示：
# set java path
java_path = r'C:/Program Files/Java/jre1.8.0_161/bin/java.exe'
os.environ['JAVAHOME'] = java_path
# initialize NER tagger
sn = StanfordNERTagger('C:/Users/Parag/Documents/stanford-ner-2018-10-16/stanford-ner-2018-10-16/classifiers/e
浏览 1提问于2019-10-22得票数 3
1回答
我正在使用自定义模型进行实体提取。我将基于CRF的模型训练为
java -Xmx16g斯坦福-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop ner.prop
使用这些特性
属性文件(ner.prop)
trainFile = training_data_IOB.tsv
#serializeTo = ner-model.ser.gz
map = word=0,answer=1
useClassFeature=true
useWord=true
qnSize=10
entitySubclassification=IO
浏览 0提问于2019-01-13得票数 1
我正在创建一个TokensRegex注释器来提取建筑物的楼层数(只是一个例子来说明我的问题)。我有一个简单的模式，它将识别"4层“和”4层“作为我的定制实体”层“的实例。我还想添加一个NormalizedNER注释，使用表达式中使用的number实体的规范化值，但是我无法让它按照我想要的方式工作：
ner = { type: "CLASS", value: "edu.stanford.nlp.ling.CoreAnnotations$NamedEntityTagAnnotation" }
normalized = { type: "CLASS&#
浏览 5提问于2015-07-06得票数 0
回答已采纳
1回答
训练自定义NER模型
、、、、
我一直在一些文本上训练我的NER模型，并试图在其中找到具有自定义实体的城市。
示例：-
('paragraph Designated Offices Party A New York Party B Delaware paragraph pricing source calculation Market Value shall generally accepted pricing source reasonably agreed parties paragraph Spot rate Spot Rate specified paragraph reasonably agreed
浏览 1提问于2019-12-03得票数 1
我正在研究从电影评论数据集中识别方面(显式和隐式方面)。在这里，可以是演员，导演，制作公司，音乐，情节，电影类型等。尽管我搜索了很多，我已经认识到我需要一个NER (名称实体识别)的电影评论数据集。不幸的是，我的数据集没有NER可用。
我的问题是：
我如何评估我的“电影纳”的精确性，召回和F1测量？
为此，我应该使用什么工具？
浏览 3提问于2016-07-22得票数 1
回答已采纳
我正试图在Github中找到一个存储库，以获得用于NER任务的Bert模型的Pytorch-重新实现。到目前为止，我发现了以下的回复：
https://github.com/kamalkraj/BERT-NER
https://github.com/Louis-udm/NER_伯特_通用报告格式
https://github.com/sberbank-ai/ner-bert
它们不是完全相同的模型(例如，有些使用CRF作为额外的)，但对我来说，正确性更重要。当我检查这些问题时，我发现人们在抱怨评估或培训过程中的错误。那么，我的问题是，有人曾经尝试过这些存储库中的Ner任务吗？如果你知道其他选择
浏览 0提问于2019-05-02得票数 0
2回答
我有一个来自spacy的空白模型，在config file中，我在这个配置中使用小部件：
语言=阿拉伯语
组件= ner
硬件= CPU
优化为=精度
然后在config-file中，我更改了以下内容：
[nlp]
lang = "ar"
至
[nlp]
lang = "fa"
因为没有对GPU (transformer)进行预培训的persian-language。
正如您所知，accuracy类型非常慢，我有400,000记录。
这是我的config-file
[paths]
train = null
dev = null
vectors = nul
浏览 20提问于2022-07-13得票数 3
1回答
这个问题最好用一个例子来解释，所以请考虑下面的句子：
这件平头连衣裙由透气的棉布制成，带有一种现代的方形领口。
在这里，棉花(织物)和方形领口(领口)是句子中的两个重要属性。我需要做的是抓住一个词，通风，这是一个细节的织物。可以使用NER成功地捕捉到织物和领口，但是NER在捕捉细节术语(如airy )方面并不有效。
有人能指出我怎么解决这个问题吗？
浏览 0提问于2021-05-26得票数 1
我正在(拼命地)寻找一些库或函数或任何有用的东西，以便将.ann格式的注释转换为.json格式。我需要它来训练和测试一些NER和RE模型。
我也在尝试构建自己的函数，但我无法完全理解索引是如何计算的。
此外，我将给出一个使用spacy库的示例，以获得我想要获得的部分输出文件。
这里是我的.ann文件：
T1 Adverb 3 9 boldly
T2 Verb 10 12 go
T3 Verb 59 61 won
R0 Support Arg1:T1 Arg2:T2
这里是我的.txt文件：
To boldly go where no one has gone before. Go
浏览 14提问于2022-10-13得票数 0
我正在为一个NLP项目使用。我有一个短语列表，我想标记为一个新的实体类型。我最初尝试过训练一个NER模型，但是由于有一个有限的术语列表，我认为简单地使用Matcher应该更容易。我在中看到，您可以根据Matcher将实体添加到文档中。我的问题是:如何对新的实体执行此操作，而不让NER管道标记任何其他标记作为该实体？理想情况下，只有通过matcher找到的令牌才应该标记为实体，但我需要将其作为标签添加到NER模型中，然后将一些标记为实体。
对于如何最好地完成这一任务，有什么建议吗？谢谢!
浏览 2提问于2018-03-04得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
