我想在用于ner任务的huggingface管道中使用"grouped_entities“。然而，在这样做的时候有问题。 我确实在git上找到了以下链接，但这没有帮助：https://github.com/huggingface/transformers/pull/4987
浏览 47提问于2020-12-18得票数 0
我提出了一个基于'bert-base-uncased'的命名实体识别的Huggingface模型。我的推论如下：
from transformers import pipeline
ner_pipeline = pipeline('token-classification', model=model_folder, tokenizer=model_folder)
out = ner_pipeline(text, aggregation_strategy='simple')
我希望在非常长的文本上获得结果，而且由于我知道用于训练和推理的最大容量为5
浏览 18提问于2022-10-10得票数 1
回答已采纳
我想在spaCy中创建一个自定义管道组件，它使用的是经过预处理的Thinc模型。我希望修改Thinc的输出预测，然后将修改后的值传回管道，即有效地修改ner管道组件。
我正在考虑通过自定义管道组件来实现这一点，比如：
from spacy.language import Language
@Language.component("my_ner")
def my_ner(doc):
class_probabilities = thinc_do_something(data, model, num_samples)
class_value = np.a
浏览 2提问于2022-06-22得票数 1
回答已采纳
我正在使用maven依赖项在Java程序中运行CoreNLP。我需要在原始中文文本上运行NER。有没有人能提供一个代码片段来做这件事？
我找到了说明：“……你首先需要运行斯坦福分词程序或其他一些中文分词程序，然后在输出上运行NER！”但我想不出该怎么做。您是否以某种方式将ChineseSegmenterAnnotator拼接到英语NER管道中？在此之前，你需要ChineseDocumentToSentenceProcessor吗？所有这些都可以使用StanfordCoreNLP和正确的属性集来完成吗，或者需要其他东西？我有中国的模型。
谢谢。
浏览 2提问于2016-01-21得票数 1
1回答
如何获取角字句中的标记数
、、、、
我有一个句子和一个预先训练过的记号器。我想要计算句子中标记的数量，没有特殊的标记。我使用来自HuggingFace的HuggingFace。
from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-cased')
model = TFBertModel.from_pretrained("bert-base-cased")
text = "I want to know the number of toke
浏览 6提问于2022-03-05得票数 0
回答已采纳
我正在研究HuggingFace的迁移学习功能(特别是命名实体识别)。首先，我对变压器架构有点陌生。我简要介绍了他们网站上的例子：
from transformers import pipeline
nlp = pipeline("ner")
sequence = "Hugging Face Inc. is a company based in New York City. Its headquarters are in DUMBO, therefore very" \
"close to the Manhattan Bridge wh
浏览 0提问于2020-09-28得票数 3
回答已采纳
有办法在中选择单个目标并对其执行部署吗？
例如:在web服务器部署组中，一个部署，例如，针对单个计算机的证书失败。我现在只想在这个目标上部署这个证书。我该怎么做呢？
浏览 5提问于2019-12-09得票数 0
回答已采纳
我有一只熊猫的数据图是这样的：
ner_id art_id ner
0 0 emmanuel macron
1 0 paris
2 0 france
3 1 paris
4 0 france
我想更改列'ner_id‘。
例如，巴黎出现在id 0和1(参见art_id列)的文章中。
我只想更改列ner_id，并给出巴黎的唯一id，而不是不同的id。
每次在列中重复单词时，我都希望在列中这样做，并给重复的单词以相同的id。
我该怎么做呢？
预期产出：
ner_id art_
浏览 3提问于2020-11-17得票数 1
回答已采纳
我想用一些自己的数据集来训练/微调BERT模型，这些数据集只包含来自特定领域的原始数据，类似于BioBERT。在第一步中，我只想用这些原始数据训练BERT，而不是使用任何特定的NLP任务进行微调。所以，我想要构建一个库，我可以使用它来对特定任务的带注释的训练数据进行微调，例如NER等。这是否可能以我计划的方式实现？
我尝试使用Huggingface的示例脚本：
我以以下方式使用了run_mlm脚本：
python run_mlm.py \
--model_name_or_path bert-base-uncased\
--train_file /path/to/text_fil
浏览 2提问于2021-03-28得票数 0
我正在开发一个具有后台任务的应用程序，每次我通过套接字接收数据时，该任务都会运行。我使用的是微软的StreamSocketListener函数。 我想在我的主程序中恢复后台任务接收到的字符串，以便能够执行操作。 我该怎么做呢？
浏览 8提问于2019-04-25得票数 0
回答已采纳
我试着用Spacy训练定制实体。在训练过程中，我得到了损失、分数等的数值。这些价值观的意义是什么？
============================= Training pipeline =============================
ℹ Pipeline: ['tok2vec', 'ner']
ℹ Initial learn rate: 0.001
E # LOSS TOK2VEC LOSS NER ENTS_F ENTS_P ENTS_R SCORE
--- ------ ------------ --
浏览 0提问于2021-10-12得票数 5
回答已采纳
1回答
我想在控制器中设置变量，这对所有动作都是通用的。代码如下：
int id = User.Identity.GetUserId<int>();
user = controllerContext.Request.GetOwinContext().GetUserManager<ApplicationUserManager>().FindById(id);
所以，我只想在每次操作之前调用这段代码。我该怎么做呢？我试着把它添加到
protected override void Initialize(HttpControllerContext con
浏览 1提问于2016-03-16得票数 0
我有一个这样的数据帧： artid link ner_label
1 url1 "{('blanqui', 'Person'): 6, ('walter benjamin', 'Person'): 2}"
2 url2 "{('john', 'Person'): 8, ('steven', 'Person'): 3}" ner_label的每一行的类型都是string。我想要这个： art
浏览 12提问于2021-01-07得票数 1
回答已采纳
我们现在有两个不同的git应用程序。第一个是ReactJS中的前端，第二个是后面的C# (Web 2)。当我们想在Azure上部署时，我们构建前端，并将输出文件复制到c#项目(web项目)。我们在Azure中从Visual部署web应用程序，这要感谢deploy菜单。这有点无聊，当我们用手更改参数时，有时会出现错误，这些参数相对于不同的环境。我们想要自动化所有这些任务与Azure开发操作。你做过这种事吗？怎么做呢？对不起，如果这个问题似乎愚蠢，但我找不到一个教程，当前面和后面不是在相同的git回购。提前谢谢你的帮助。
浏览 7提问于2019-11-05得票数 0
回答已采纳
我有一个熊猫数据框，看起来像这样：
ner_id art_id ner
0 0 emmanuel macron
1 0 paris
2 0 france
3 1 paris
4 0 france
我想更改列'ner_id‘。
例如，paris出现在文章中，id为0，也是1(参见art_id专栏)。
我只想更改列ner_id，并为paris提供唯一的id，而不是不同的id。
更准确地说，我想给出巴黎的最小ner_id值(或者在接下来的行中每次重复一个术语时，该术语的第一个ne
浏览 0提问于2020-12-10得票数 1
1回答
我有几篇文章，其中我使用NER模型(命名实体识别)取名字。因为NER分为四类(人、地点、组织、杂类)。现在我有两个同名的人。我该如何区分它们呢？
如果可能的话，请告诉我一些关于这个问题的研究。
浏览 1提问于2018-05-09得票数 2
回答已采纳
在HuggingFace中，每次调用pipeline()对象时都会收到警告：
`"Setting `pad_token_id` to `eos_token_id`:{eos_token_id} for open-end generation."
如何在不禁用所有日志记录警告的情况下抑制此警告？我想要其他的警告，但我不想要这个。
浏览 432提问于2021-10-17得票数 4
通常，当您使用corenlp注释管道(比方说NER )时，您将编写以下代码
Properties props = new Properties();
props.put("annotators", "tokenize, ssplit, pos, lemma, ner");
StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
pipeline.annotate(document);
我想在上面的管道中执行句子分裂，即ssplit。但是，我想删除那些太长的句子，然后再继续处理剩下的句子。我所做的是执行句子分割
浏览 1提问于2015-12-15得票数 0
回答已采纳
在我的处境下。
我有一个处理文本的类TextProcessor。我需要在这样的文本中找到共同引用，然后使用斯坦福的工具OpenIE提取信息。我用这两条管道：
“记号化，ssplit，pos，引理，ner，解析，提到，coref"用于共同引用。
和
标记，ssplit，pos，引理，depparse，natlog，openie，用于信息提取的。
单独使用它们来分析单个文本需要花费大量的时间，但目前我不得不这样做，因为同时使用它们需要大量的内存，而管道将超出我的内存范围。
public class TextProcessor(){
Properties props;
浏览 4提问于2017-09-13得票数 1
回答已采纳
我做了我自己的CRF模型。现在我想对这个模型进行测试，我需要加载这个模型。是在文档中提供的。但我的问题是，我能否与斯坦福大学的NER注解器一起使用这个模型呢？我能做些什么吗。
Properties props;
props.setProperty("annotators", "tokenize, ssplit, pos, lemma, parse,ner");
props.put("ner.model", "myCrf-model.ser.gz");
我需要知道的优缺点--使用这些代码行而不是中给出的代码行。结果
浏览 5提问于2016-05-17得票数 0
我正在运行由HuggingFace官方回购提供的NER教程(参见)。以下信息是在培训过程中打印的。
{'loss': 0.0724, 'learning_rate': 3.8425925925925924e-05, 'epoch': 0.69}
{'loss': 0.0315, 'learning_rate': 2.6851851851851855e-05, 'epoch': 1.39}
{'loss': 0.0198, 'learning_r
浏览 6提问于2021-04-03得票数 1
假设我有两个多分支管道jenkins作业ABC和XYZ，现在我想在ABC作业成功完成时自动启动XYZ作业。我该怎么做呢？
浏览 8提问于2019-06-03得票数 0
你好，我使用的是Windows10和Neo4j桌面版。 我正在尝试使用以下Cypher查询执行nlp： CALL ga.nlp.processor.addPipeline({
name:"pipeline_name",
textProcessor: 'com.graphaware.nlp.processor.stanford.ee.processor.EnterpriseStanfordTextProcessor',
processingSteps: {tokenize:true, ner:true, dependencies:true, relations:
浏览 724提问于2019-12-22得票数 1
我正在为一个NLP项目使用。我有一个短语列表，我想标记为一个新的实体类型。我最初尝试过训练一个NER模型，但是由于有一个有限的术语列表，我认为简单地使用Matcher应该更容易。我在中看到，您可以根据Matcher将实体添加到文档中。我的问题是:如何对新的实体执行此操作，而不让NER管道标记任何其他标记作为该实体？理想情况下，只有通过matcher找到的令牌才应该标记为实体，但我需要将其作为标签添加到NER模型中，然后将一些标记为实体。
对于如何最好地完成这一任务，有什么建议吗？谢谢!
浏览 2提问于2018-03-04得票数 4
回答已采纳
1回答
我是huggingface的新手，我正在用我自己的数据集搜索关于微调GPT2转换器的信息，但我找不到任何东西。我已经有了我的数据集并下载了GPT2模型。 我该怎么做，我该怎么开始呢？
浏览 86提问于2021-11-23得票数 1
回答已采纳
1回答
我正在使用Huggingface的transformers库，并希望使用BERT执行NER。我试图找到一个明确的例子，说明如何使用BERT为NER正确格式化数据。从论文和我发现的评论中，我并不完全清楚。
假设我们有以下句子和标签：
sent = "John Johanson lives in Ramat Gan."
labels = ['B-PER', 'I-PER', 'O', 'O', 'B-LOC', 'I-LOC']
我们输入到模型中的数据是否如下所示：
sent = [&#
浏览 12提问于2020-02-14得票数 2
回答已采纳
我想在Azure Container Registry中使用Build管道中不同帐户的一个Azure DevOps。
当我尝试添加Docker Registry Service Connection并选择Azure Container Registry时，它只允许我在订阅经常帐户之间进行选择。
当我试图添加一个包含Azure Container Registry的不同帐户的订阅的Service Connections时，它说它找不到任何Azure Container Registry。
那我该怎么做呢？
浏览 0提问于2019-04-24得票数 5
我有一个文件，它是在Azure DevOps管道之后创建的。
我想拯救它。
我不知道如何在Azure DevOps管道中发布工件
我该怎么做呢？
谢谢
浏览 8提问于2021-02-10得票数 0
回答已采纳
1回答
我想要显示一个屏幕截图，当在azure流水线中的测试失败时，我不能使用来自marketplace的任何东西，所以它需要与复制文件任务(正如我的同事推荐的那样)。我该怎么做呢？ ? ?
浏览 20提问于2020-11-23得票数 2
我在mysql数据库中有一个表，我想在每个午夜将该表中的一行设置为false。
我该怎么做呢？
浏览 0提问于2016-06-28得票数 0
我已经训练了自己的NER分类器，现在我想用它来做共指解析。我该怎么做呢？我尝试了这个：java -Xmx5g -cp stanford-corenlp-3.7.0.jar:stanford-corenlp-models-3.7.0.jar:* edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators ner,coref -loadClassifier ./classifiers/my_classifier.ser.gz -coref.algorithm neural -file my_file.txt，但它没有工作，错误消息：java.io.I
浏览 3提问于2017-06-06得票数 0
回答已采纳
2回答
我正在尝试设置一个分支策略，其中在完成pull请求之前的构建验证必须确保构建和发布管道成功。我可以使CI管道失败，但如果部署失败，我希望CI管道失败。我该怎么做呢？
我在CI管道.yaml之外有一个单独的发布管道。
谢谢
浏览 0提问于2020-01-08得票数 0
我有一个JSON对象数组，我想为每个对象添加一个特定的属性。
例如，数组如下所示：
[
{
"Average": 1.3085,
"ExtendedStatistics": {
},
"Maximum": 0,
"Minimum": 0,
"SampleCount": 0,
"Sum": 0,
"T
浏览 3提问于2017-06-10得票数 7
我有一个将包推送到AzureDevOps的PowerShell脚本。
我想在每次将代码签入到Visual Studio中的AzureDevOps时自动运行它。
这个是可能的吗？我该怎么做呢？
浏览 0提问于2019-08-01得票数 2
2回答
我已经搜索过一些这方面的内容，但是是否有关于如何安排使用Azure命令运行的作业的文档呢？
我想在云中运行，但是azure自动化还不支持CLI，所以我倾向于使用Azure Scheduler.但不知道利弊..。
或者，是否可以在Azure Cloud中创建一个计划好的作业.我假设这是由一些VM支持的，因此，如果它是基于Linux的，那么我们可以提出一个cron作业.不过，我不知道该怎么做。
阿塔！
浏览 1提问于2018-03-29得票数 6
回答已采纳
我想在用subprocess.Popen创建的子进程之间共享一个python类实例，我该怎么做呢？我应该用什么论据来讨论Popen呢？
浏览 5提问于2022-11-28得票数 0
2回答
操作系统是Linux。我有一个旧的c++代码，它将来自捕获设备的原始SDI输入写入文件。我的目的是修改这个程序，并将原始视频从SDI源重定向到ffmpeg的stdin。我该怎么做呢？在c++源代码中运行ffmpeg更好(我该怎么做呢？)非常感谢。
浏览 0提问于2011-04-14得票数 1
我在一个叫做XDIAL的交互式提示符程序中工作，我想在这个提示符中写*select * from pcastd*，如下所示
D:\Aither\Exe\xdial.exe
start-sleep-seconds 1
/C "select * from pcastd"
没有写过"select * from pcastd" ..。
该怎么做呢？
浏览 0提问于2019-09-23得票数 0
1回答
我正在进行一个训练分类器以识别文本中引文的项目。我们所处理的引文往往是非常混乱的。以下是一些引用的例子：
见A册第3章第7段
见A书第3章第7段
见A书第7段的“某些章节标题”一章
我们已经确定了少数实体往往出现在这些引文中。例如，“书名”、“章号”、“章名”、“段号”。
该项目分为两个阶段：
文本引文的二元分类
引文中引文实体的分类
Spacy (我们正在使用v3)是否有可能有两个连续的NER管道？我希望分类器首先标记引文，然后标记每个引文中的实体。
我能够用下面的代码用两个NER管道实例化一个模型：
from spacy.lang.en import E
浏览 3提问于2021-04-25得票数 1
回答已采纳
Spacy 'train‘命令使用命令行选项--gpu 0，允许在使用GPU和不使用GPU之间进行“最后一分钟”的选择--只使用CPU。
但是，使用在GPU和CPU之间进行选择会导致(基本)配置上的重大差异。在我的例子中(与NER打交道)，我得到了两个不同的管道：
for CPU：= "tok2vec"，"ner"for GPU:管线= "ner"
(下面的组件设置非常不同)。
由于我的GPU只有6GB的内存，所以我很快就耗尽了GPU内存--不能使用它。但是，当我切换到只使用CPU时，这两个管道之间的培训行为就大不相同了：
"to
浏览 3提问于2021-05-03得票数 1
我正在尝试将Rasa配置为使用在HuggingFace预先训练好的模型。这是我的设置
language: fr
pipeline:
- name: LanguageModelTokenizer
- name: LanguageModelFeaturizer
model_name: "bert"
model_weights: "setu4993/LaBSE"
cache_dir: "/rasa/model"
我运行“rasa train”后，它显示OSError:找不到型号名称“setu4993
浏览 1提问于2021-04-08得票数 0
3回答
我有这样的记录：
GCR,
ER,
SR,
WR,
NER
CR
我希望在我的视图中使用case语句将GCR更改为GC，同时也显示其他值。我该怎么做呢？
浏览 3提问于2017-05-24得票数 0
回答已采纳
3回答
从日历中获取静态日期
、、、
我想在每个月的第20天运行一些进程(C#类)。我该怎么做呢。他们有什么方法吗？或者需要运行循环或者别的什么..有人能告诉我怎么做吗？如果你有任何的例子，那将是一个真正的帮助！
浏览 0提问于2012-06-11得票数 0
回答已采纳
1回答
mainstr是我的字符串包含：
123;456;23;ns@234;343;3;ner@975;013;742;av@
arr是我的数组名称。
数组的每个位置都包含一些字符串，如(应该用@分隔)
arr[0]=[123;456;23;ns];
arr[1]=[234;343;3;ner];
我希望将arr[0]的每个元素分离到单独的数组中(它们应该根据;的出现情况进行分隔)..
例如
newarray[0]=[123]
newarray[1]=[23]
newarray[2]=[45]
newarray[3]=[ns]
我该怎么做呢？
浏览 1提问于2011-12-03得票数 1
回答已采纳
2回答
之前，我使用以下命令显示我的产品版本：
@string.Format("v{0}", ViewContext.Controller.GetType().Assembly.GetName().Version)
版本存储在AssemblyInfo.cs中的位置如下所示：
[assembly: AssemblyVersion("2.2.1.0")]
结果是"v2.2.1“
现在，我将CI/CD与Azure DevOps一起使用，并且我希望显示$(Release.ReleaseName)而不是AssemblyVersion。
我该怎么做呢？有可能吗？
浏览 0提问于2019-11-18得票数 0
1回答
我正在使用HuggingFacePredictor从sagemaker.huggingface推断一些文本，我想得到所有的标签分数。
是否有任何方法从端点获得响应：
{
"labels": ["help", "Greeting", "Farewell"] ,
"score": [0.81, 0.1, 0.09],
}
(或相类)
而不是：
{
"label": "help",
"score": 0.81,
}
下面是一些示例代码：
im
浏览 4提问于2022-02-02得票数 1
回答已采纳
3回答
在蜂巢中有一个具有以下结构的表：
col1 col2 col3 col4 col5 col6
-----------------------------
AA NM ER NER NER NER
AA NM NER ERR NER NER
AA NM NER NER TER NER
AA NM NER NER NER ERY
编写了一个查询，从表中获取记录：
Select distinct(col1),col2, array(concat(
CASE WHEN col3=='ER' THEN 'ER
浏览 0提问于2019-02-14得票数 0
回答已采纳
1回答
使用CLI命令训练BERT
、、、、
我已经从transformer存储库下载了HuggingFace BERT模型，找到了here，并希望通过使用run_ner.py脚本在自定义NER标签上训练模型，因为它在“命名实体识别”一节中被引用为here。 我在代码中定义了模型(“bert-base-德语-大小写”)、数据(“数据/语句_数据.txt”)和标签(“data_dir /labels.txt)”作为默认值。 现在，我在命令行中使用以下输入： python run_ner.py --output_dir="Models" --num_train_epochs=3 --logging_steps=100 --d
浏览 76提问于2020-11-02得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
