我试图使用run_ner.py执行this script，但我试图从检查点继续微调的所有操作都失败了。有什么想法吗？ 我用Google Colab运行它。以下是我运行的单元格内容： %cd "/content/drive/My Drive/Colab Notebooks/NER/Batteria/transformers-master_2020_04_27--do_train --do_eval --do_predict 正如您所看到的，我已经
浏览 70提问于2020-04-28得票数 0
1回答
我使用huggingface transformer在Pytorch中微调了一个预先训练好的BERT模型。所有的训练/验证都在云中的GPU上完成。在训练结束时，我保存了模型和标记器，如下所示： best_model.save_pretrained('./saved_model/')
tokenizer.save_pretrained('.，并希望加载
浏览 19提问于2019-10-16得票数 8
回答已采纳
BertTokenizer.save_pretrained("OUTPUT_DIR") 将vocab.txt、special_tokens_map.json和tokenizer_config.json保存到我的输出目录中，可用的列车模型存储为pytorch_model.bin，配置也在那里。如何使用这些来进行推理，最好是与torchtext一起使用？
浏览 69提问于2020-09-04得票数 0
我目前正在学习ASRfromScratch教程，但我正在尝试让它与流畅的语音数据集一起工作。我能够顺利地通过Tokenizer部分和语言模型部分，但我正在努力使用SpeechRecognizer部分。我这样修改了dataio_prepare函数，但我不确定这是否是正确的方法：
"""This function prepares the datasets to be used in the brain，因为我不知道如何使它们与我自己的数据集一起工作。，拟合模型<
浏览 12提问于2021-05-13得票数 1
BertForSequenceClassification使用CLS token的表示来提供线性分类器。我想利用另一个令牌(比如输入序列中的X)，而不是CLS。在Transformers中实现它的最直接的方法是什么？
浏览 4提问于2020-09-28得票数 1
1回答
如何在训练后保存一个标记器？
、、、、
我刚刚学习了关于如何训练自己的记号赋予器的this教程。现在，通过训练我的记号赋予器，我已经将它包装在一个Transformers对象中，这样我就可以将它与transformers库一起使用： from transformers import BertTokenizerFastnew_tokenizer = BertTokenizerFast(tokenizer_object=to
浏览 37提问于2021-08-12得票数 0
由于预训练模型偶然发现了一些缩写(例如z. B.)，我想将这些缩写配置到记号赋予器中。 我找不到一种方法来同时指定语言(因此使用预先训练的模型)和使用自定义缩写列表。以下是可以工作但不能组合的代码示例： 默认德语记号赋予器： nltk.sent_tokenize('Das ist z. B. ein Vogel.', language=
浏览 37提问于2021-10-27得票数 0
回答已采纳
2回答
奇怪的事情正在发生在我身上。我使用keras训练了一个情感分析模型，如下所示： max_fatures = 2000model.fit(X, y, epochs=10, batch_size=batch_size, verbose=2)
model.save('deep.h5') 当我将它加载到另一个但是当我将它加载到fl
浏览 26提问于2019-05-06得票数 1
我已经使用自定义标记器在spaCy中训练了一个自定义NER模型。我想不使用记号赋予器来保存NER模型。我使用在spaCy支持论坛中找到的代码尝试了以下代码：nlp.tokenizer = some_custom_tokenizerTrain the NER model...nlp.to_disk(
浏览 6提问于2018-01-30得票数 9
1回答
对现有NLP模型的测试
、、、、
我正在创建一个使用tokenizing的NLP模型tokenizer = Tokenizer(num_words=num_words)X_test_pad = pad_sequences(X_test_tokens, maxlen=max_tokens)
然后，我构建一个Keras模型并保存它然后，我用上面的信息加载我训练的</e
浏览 21提问于2020-11-12得票数 0
回答已采纳
1回答
我在另一个问题中问了一个问题，如何在Solr中存储所有的名词。但现在，我意识到这将是第二步。首先要解决的问题是，Lucene已经有了标记器。在进行词性标记时，我们必须首先进行标记化。是否可以在Morph Adorner (或Open NLP)中使用Lucene的标记来生成POS标记？如果是这样的话，问题来了，我如何在solr索引中存储这些POS标签？
浏览 1提问于2013-11-07得票数 0
2回答
Keras和情感分析预测
、、、、
早上好,这样做的常见/好/最佳实践是什么:我加载模型和权重，然后对其进行编译。这不是问题，在文档或互联网上有很多例子。然而，下一步呢？我所需要做的就是将
浏览 31提问于2018-07-29得票数 0
我有一个自然语言处理模型，它是使用keras.preprocessing.text.Tokenizer用keras构建的。我知道在导入旧模型后，我可以通过将其命名为.fit(...)来重新训练它，但我还需要更新我的记号赋予器。记号赋予器做一些事情:用空格对字符串进行记号，消除符号，转换成更低的值，在创建字典后只保留最常用的记号，
浏览 21提问于2020-01-28得票数 0
= AutoModelForSequenceClassification.from_pretrained(model_name)因为我昨天保存了
浏览 11提问于2021-11-26得票数 0
对于OpenNLP中的NER训练，有没有“最佳”的标记化？我注意到OpenNLP提供了一个最大熵标记器，允许您根据训练好的模型进行标记化。我还注意到OpenNLP提供了一个简单的标记器。如果我在运行时使用与训练模型时相同的标记器，我使用哪个标记器重要吗？
我宁愿在我的应用程序中使用简单的记号赋予</em
浏览 0提问于2018-05-02得票数 1
我正在使用在我的文本语料库上训练Roberta模型。
在我尝试将经过预先训练的记号器加载到管道之前，一切似乎都进行得很顺利。
浏览 21提问于2022-02-08得票数 0
我正在尝试运行huggingface示例中的语言模型微调脚本(run_language_modeling.py)，使用我自己的标记器(刚刚添加了几个标记符，参见注释)。加载令牌器时出现问题。此外，我可以运行脚本没有任何问题，是我加载的快捷方式名称，而不是路径。但在脚本run_language_modeling.py中，它使用AutoTokenizer。我在找一种方法让它运转起来。
浏览 42提问于2020-05-22得票数 2
通过word2vec加载完整的预先训练的模型是耗时而乏味的，因此我想知道是否有机会删除低于某一频率的单词，从而将vocab计数降低到例如200k单词。我在Word2Vec包中找到了gensim方法来确定单词频率，并再次保存模型，但我不知道如何从经过预先训练的模型中提取pop/remove语音，然后再<
浏览 5提问于2017-02-25得票数 9
回答已采纳
我只是想知道，如果微调BERT模型并保存它，标记器是否会受到某种影响或发生变化。以后使用保存的BERT模型时，我是否也需要在本地保存记号赋予器以重新加载它？我就是这么做的 bert_model.save_pretrained('./Fine_tune_BERT/') 但是我是否也需要节省令牌器呢？或者我可以用正常的<
浏览 358提问于2020-10-20得票数 1
回答已采纳
那么，如果我在初始化Tokenizer()时没有传递num_words参数，那么在使用词汇表大小对训练数据集进行标记化之后，我如何找到它呢？为什么这样，我不想限制记号赋予器的词汇表大小，以了解我的Keras模型在没有它的情况下有多好。但是，我需要将这个词汇表大小作为模型的第一层定义中的参数传递。
浏览 3提问于2018-11-29得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
