问如何使用spaCy v3打印NER模型的PRF值？
EN

Stack Overflow用户

提问于 2021-05-23 01:46:52

回答 1查看 370关注 0票数 0

上下文

我目前正在为罗马尼亚法律领域制定一个新的模式。我开始使用spaCy v2 (v2.2.4)创建一个自定义模型，并成功地实现了一个代码来查找PRF值。现在，在我转换到spaCy v3 (v3.0.6)之后，我发现很难评估我的模型的性能。

问题

我试着做以下几件事：

在spaCy v3.0.6中使用相同的代码。与spaCy v2.2.4 (问题: GoldParser在spaCy v3.0.6中不存在)一样，
使用spaCy v2.2.4来训练v3.0.6模型(问题:我认为不管它们的版本如何，模型都不是以相同的方式保存)
使用get_ner_prf() (问题:我不知道如何创建类型示例的参数，也不知道如何调用函数)

资源

以下是我目前拥有的所有资源的清单：

Config文件用于v3.0.6模型(和所有其他必要的文件)
列车和测试数据以旧的spaCy格式保存
为罗马尼亚

保存了v3.0.6自定义模型

请求

我希望收到一份适用于spaCy v3.0.6并计算PRF值的代码--最好是每个实体类型的单独结果。此外，如果代码只使用上述资源，那将是很棒的。如果需要任何其他信息，我很乐意寄出去。

performance

spacy-3

云直播特惠9.9元起

针对高并发播放、高并发推流、超低延迟等不同直播场景，提供极速、稳定、专业的一站式云端直播处理服务

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-05-25 05:56:29

我不再寻找答案了，因为我想明白了。

在下列环节进行的讨论：

https://github.com/explosion/spaCy/discussions/8178

spacy 3 NER Scorer() throws TypeError: score() takes 2 positional arguments but 3 were given

非常有用，我能够编写以下代码(如果读过当前讨论的人仍然发现很难进行转换)：

# TRAIN_DATA format
TRAIN_DATA = [
    ("Who was Hamlet?", [(8,14,'PER')]),
    ("Have you ever met Rome?", [(18,22,'LOC')])
]

import spacy 
from spacy.tokens import Span
from spacy import displacy
from spacy.training import *
from spacy.scorer import Scorer
from spacy.util import minibatch, compounding

nlp = spacy.load("./output/model-best")

# evaluate function
def evaluate(ner_model, testing_data):
    scorer = Scorer()
    examples = []
    for input_, annot in testing_data:
        doc_gold_text = ner_model.make_doc(input_)
        example = Example.from_dict(doc_gold_text, {"entities": annot})
        example.predicted = ner_model(input_)
        examples.append(example)
        
    return scorer.score(examples)

# print the results
print(evaluate(nlp, TRAIN_DATA))

输出的格式如下：

{'token_acc': 1.0, 'token_p': 1.0, 'token_r': 1.0, 'token_f': 1.0, 'sents_p': 1.0, 'sents_r': 1.0, 'sents_f': 1.0, 'tag_acc': None, 'pos_acc': None, 'morph_acc': None, 'morph_per_feat': None, 'dep_uas': None, 'dep_las': None, 'dep_las_per_type': None, 'ents_p': 0.9833333333333333, 'ents_r': 0.9365079365079365, 'ents_f': 0.9593495934959351, 'ents_per_type': {'LAW': {'p': 1.0, 'r': 1.0, 'f': 1.0}, 'LOC': {'p': 1.0, 'r': 0.6666666666666666, 'f': 0.8}, 'ORG': {'p': 0.9565217391304348, 'r': 0.9565217391304348, 'f': 0.9565217391304348}, 'TIME': {'p': 1.0, 'r': 1.0, 'f': 1.0}, 'PER': {'p': 1.0, 'r': 1.0, 'f': 1.0}}, 'cats_score': 0.0, 'cats_score_desc': 'macro F', 'cats_micro_p': 0.0, 'cats_micro_r': 0.0, 'cats_micro_f': 0.0, 'cats_macro_p': 0.0, 'cats_macro_r': 0.0, 'cats_macro_f': 0.0, 'cats_macro_auc': 0.0, 'cats_f_per_type': {}, 'cats_auc_per_type': {}}