快速BERT Camembert，不同GPU上的参数错误
快速BERT (BERT with Fast Tokenization) 是一种优化的 BERT（Bidirectional Encoder Representations from Transformers） 模型，其目的是在不牺牲准确性的前提下提高模型的训练和推理速度。与传统的BERT相比，快速BERT在输入数据的预处理阶段采用了一种更快速的分词方法，从而减少了模型训练和推理所需的时间和计算资源。
Camembert 是一种基于 transformer 的预训练语言模型，其设计灵感来自于 BERT 和 RoBERTa。Camembert 在多语种的自然语言处理任务中表现出色，能够进行文本分类、命名实体识别、机器翻译等任务。
参数错误可能是由于在不同GPU上运行时，硬件环境的差异导致的。常见的参数错误包括内存不足、显存不足、未找到特定硬件等。为了解决参数错误，可以采取以下几个步骤：
- 检查硬件配置：确保所使用的GPU满足模型的要求，并且具备足够的内存和显存。
- 检查代码：仔细检查代码中的参数设置，确保没有错误的参数输入或者缺失的参数。
- 调整参数：根据硬件环境的不同，可能需要调整模型的批量大小、学习率等超参数，以适应当前的GPU环境。
- 更新驱动程序和框架：确保所使用的GPU驱动程序和深度学习框架是最新版本，以解决与硬件兼容性相关的问题。
- 检查日志和错误信息：仔细阅读日志和错误信息，以确定具体的参数错误类型，并采取相应的解决措施。
快速BERT和Camembert都是用于自然语言处理任务的优秀模型，可以应用于文本分类、命名实体识别、机器翻译等场景。
腾讯云提供了一系列与自然语言处理相关的产品，例如腾讯云自然语言处理（NLP）平台，可供开发者使用。具体产品和服务介绍可参考以下链接：
相关·内容
我在使用fast-bert库对Camembert进行微调时遇到了问题，在创建LMDataBunch时收到以下错误消息。有人知道怎么解决这个问题吗？谢谢 Ps记录器使用logging.getLogger()初始化 databunch_lm = BertLMDataBunch.from_raw_corpus(
data_dir=DATA_PATH,
text_list=all_texts,
tokenizer='camembert-base',
浏览 10提问于2020-07-05得票数 0
这是我第一次从事文本分类工作。我正在使用CamemBert和fast-bert库进行二进制文本分类，该库的灵感主要来自fastai。 当我运行以下代码时 from fast_bert.data_cls import BertDataBunch
from fast_bert.learner_cls import BertLearner
databunch = BertDataBunch(DATA_PATH,LABEL_PATH,
tokenizer='camembert-base',
浏览 33提问于2020-08-04得票数 1
1回答
我的问题与camemBERT模型(法国版本的BERT)及其托卡器有关：
为什么词汇表中的每个单词以前都有一个"▁“字符？例如，它不是"sirop“而是"▁sirop”(sirop▁糖浆)。
from transformers import CamembertTokenizer
tokenizer = Camembert.Tokenizer.from_pretrained("camembert-base")
voc = tokenizer.get_vocab() #Vocabulary of the model
print("sirop"
浏览 4提问于2022-03-25得票数 0
回答已采纳
根据的说法，我尝试在tensorflow 2.0中使用keras风格的自动混合精度(AMP)。这是我的代码：
#!/usr/bin/env python
# coding: utf-8
from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow_hub as hub
import tensorflow.keras.mixed_precision.experimental as mixed_precision
import tensorflow.keras
浏览 2提问于2020-01-05得票数 2
我想在BERT中添加一个输出层，以预测多个二进制特性。
例如，这些产出将回答以下问题：
是肯定的吗?1如果是，0否则。是关于体育的吗?1如果是，0如果不是。是关于商业的吗?1如果是，0如果不是。
我的第一个想法是把它作为一个回归任务，增加一个输出层，包含3个神经元:每个问题一个。
伪码：
def __init__(self):
self.bert = CamembertModel.from_pretrained('camembert-base')
self.regressor = nn.Sequential(nn.Linear(dim_in, 3))
浏览 4提问于2022-03-30得票数 0
1回答
请考虑以下培训材料：
dataset1:由法语实例组成
dataset2: dataset1 +阿拉伯实例
test_dataset (对于这两种场景)：由法语实例组成
(这两种语言都使用了相同的注释准则)。
在分析了初步实验装置的结果后，我们选择了BERT作为基线系统。
考虑到所涉及的不同语言，我们试验了能够处理这些语言的不同模型: FlauBERT和CamemBERT (法语)、AraBERT (阿拉伯语)以及伯特多语种。一般来说，对于这两种语言，BERT多语种所得到的结果都低于语言特定模型所得到的结果。
从理论上讲，是否有可能将多个模型合并成一个模型，有效地将迄今学到的所有数据结合起来？
浏览 0提问于2021-10-19得票数 1
你好，我正在尝试在法语文本上实现Cammebert，这些文本很长，有时很复杂，因为它们可以包含数学公式，url，....它们是用utf8编码的。要实现BertLMDataBunch.from_raw_corpus，我需要传递字符串列表中的文本信息。 ? databunch_lm = BertLMDataBunch.from_raw_corpus(
data_dir=DATA_PATH,
text_list=all_texts,
tokenizer='camembert-base&#
浏览 6提问于2020-06-19得票数 0
1回答
ResourceExhaustedError (关于追溯，请参阅上文)：
当分配形状为768的张量并输入浮动时[节点bert/encoder/layer_0/attention/output/LayerNorm/beta/adam_m/Initializer/zeros (定义在/home/zyl/souhu/bert/最优化)= Const_class="loc:@bert/encoder/layer_0/attention/output/LayerNorm/beta/adam_m/Assign"，dtype=DT_FLOAT，value=Tensor，_device=&#
浏览 0提问于2019-04-25得票数 0
1回答
我将Bert的最后一个隐藏层保存在GPU上使用泡菜的下面的过程中。
# output is the last hidden layer of bert, transformed on GPU
with open(filename, 'wb') as f:
pk.dump(output, f)
不需要GPU就能把它装在我个人的笔记本上吗？我试过遵循代码，但都失败了。
# 1st try
with open(filename, 'rb') as f:
torch.load(f, map_location='cpu')
# 2nd
t
浏览 2提问于2020-07-21得票数 3
回答已采纳
我正在尝试使用Tensorflow Lite在Mali上运行Transformer和BERT模型，但据我所知，tflite只支持GPU上的一些操作，而不是深度学习模型本身。你有什么想法和建议可以让我在Mali GPU上运行这些Transformer和BERT模型吗？我可以将Tensoflow GPU模型转换为tflite GPU模型吗？或者，是否有其他库支持嵌入式GPU上的转换器？
浏览 9提问于2021-06-24得票数 0
当我在KRL规则中编写条件动作块时，我总是忘记'then‘关键字。下面是正确的语法：
rule with_conditions {
select when pageview ".*"
pre {
cheese = "Camembert";
}
if (cheese like re/bert/) then {
notify("Odd Cheese", "#{cheese} is unusual.");
}
fired {
raise explicit event "od
浏览 25提问于2011-05-31得票数 2
回答已采纳
几天前，我用Google Colab Pro写了一个用于文本分类的BERT模型。一切都很好，但从昨天开始，我总是得到"GPU不可用“的输出。我没有改变任何东西，但是注意到在安装tensorflow_hub和keras tf-model时发生了错误。以前没有出现过任何错误。
! python --version
!pip install tensorflow_hub
!pip install keras tf-models-official pydot graphviz
我得到了这样的信息：
错误: tensorflow 2.5.0有h5py~=3.1.0需求，但你的h5py 2.10.
浏览 0提问于2021-05-21得票数 0
2回答
我在Jetson有一个NLP模型，在Py手电筒上训练。我安装了Jetson来监控CPU和GPU的使用情况。当我运行Python脚本时，只有CPU内核才能加载，GPU条不会增加.我在Google上搜索过这方面的关键词，比如“如何检查Py手电是否使用GPU?”根据他们对面临类似问题的其他人的建议，cuda是可用的，我的Jetson中也有cuda设备。但是，我不明白为什么GPU条不改变，CPU核心条走到尽头。
我不想使用CPU，计算时间太长了。在我看来，它使用的是CPU而不是GPU。我如何确定，如果它使用CPU，如何将它更改为GPU？
注：模型取自拥抱式变压器库。我尝试在模型上使用cuda()方法。
浏览 8提问于2020-09-15得票数 0
回答已采纳
我的代码加载了一个经过预先训练的伯特模型，直到今天我才把它移到另一台新服务器上。我正确地设置了环境，然后在加载'bert-base-uncased‘模型时，我得到了这个错误。
Traceback (most recent call last):
File "/jmain02/home/J2AD003/txk64/zzz70-txk64/.conda/envs/tensorflow-gpu/lib/python3.6/runpy.py", line 193, in _run_module_as_main
"__main__", mod_spec
浏览 5提问于2022-01-26得票数 0
我正在尝试实现具有'camembert-base‘模型类型的Fast-Bert。我可以使用BertLMDatabunch.From raw_corpus轻松创建我的数据库，然后创建学习者。我在一个云环境上，有3个GPU，在ubuntu环境上，有32个核心和RAM 130Mo。当我尝试对模型进行拟合时，在此信息之后总是会出现以下错误消息 databunch_lm = BertLMDataBunch.from_raw_corpus(
data_dir=DATA_PATH,
text_list=all_texts,
浏览 46提问于2020-07-17得票数 1
1回答
描述
我正在R中创建一个函数，它使用Python的sentence_transformers库嵌入句子。
由于一些未知的原因，在同一个变量名下多次创建对象，最终导致内存空间不足，无法分配转换器。复制：
sentence_transformers <- reticulate::import("sentence_transformers")
for (i in 1:10) {
print(i)
bert_encoder <- sentence_transformers$SentenceTransformer("bert-large-nli-stsb-me
浏览 12提问于2020-07-16得票数 2
回答已采纳
我正在尝试使用oarsub在服务器的虚拟环境中运行python脚本：
因此，首先我在名为"a“的服务器中运行此命令：
oarsub -l /host=1/gpu=1,walltime=2:00:00 './training_corpus1.sh'
training_corpus1.sh看起来像这样：
#!/bin/bash
cd /home/ge/ke/anaconda3/envs
source activate env
cd ~/eXP/bert
CUDA_VISIBLE_DEVICES=0,1 python training.py \
--exp_n
浏览 0提问于2020-03-10得票数 0
2回答
我有一个问题，关于使用艾伯特与SQuAD 2.0拥抱脸变压器脚本。
在github页面中，没有关于如何使用ALBERT运行脚本的具体说明，因此我使用了与BERT一起运行脚本的相同规范。然而，最终得到的结果是(exact_match = 30.632527583593028，f1 = 36.36948708435092)，与BERT取得的(f1 = 88.52，exact_match = 81.22)和在github页面上报告的结果相差很远。所以我想我可能做错了什么。
这是我在命令行中运行的代码：
python run_squad.py \
--model_type albert \
浏览 5提问于2020-04-19得票数 0
回答已采纳
我下载了基于bert的预训练模型。我编辑config.json (从512到256) "max_position_embeddings": 256, 然后我想使用bert模型， from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained(
MODEL_PATH,
num_labels = 2, # The number of output labels--2 for binary classifica
浏览 260提问于2020-10-23得票数 0
2回答
我的服务器有两个GPU，我如何使用两个GPU同时进行训练，以最大限度地利用它们的计算能力？下面的代码正确吗？它能让我的模特接受适当的训练吗？
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
self.bert = pretrained_model
# for param in self.bert.parameters():
# param.requires_grad = True
self.l
浏览 5提问于2022-08-07得票数 3
回答已采纳
我试图在Google中使用bert-tensorflow，但是我得到了以下错误：
跟踪(最近一次调用) in () 1 import ->2来自bert import run_classifier_with_tfhub # run_classifier 3来自伯特导入优化4来自bert导入令牌化
1帧/usr/local/lib/python3.6/dist-packages/bert/optimization.py在() 85 86 -> 87类AdamWeightDecayOptimizer(tf.train.Optimizer)：88“-一个基本的Adam优化器中，包含”正
浏览 5提问于2020-04-16得票数 6
回答已采纳
我想我的问题是因为变压器版本错配.但我想在这方面有所帮助..。
以前，我使用huggingface库来执行。这需要一个语料库，一个现有的BERT模型，并使用这个语料库对模型进行微调。我的命令是
python run_language_modelling.py --output_dir=lm_finetune --model_type=bert --model_name_or_path=bert-base-uncased --do_train --train_data_file=thread0_wdc20.txt --do_eval --eval_data_file=wiki.test.raw
浏览 9提问于2020-12-01得票数 2
1回答
我正在微调BertForPreTraining模型，它有、mlm、和nsp头。当我运行我的代码时，当它开始为gpu分配第一批时，它就会出现内存不足的错误。我甚至尝试了更小的批次，但都没成功。我的gpu有2Gb Ram，我甚至在gpu上尝试了使用4Gb ram的代码，但仍然得到了相同的错误。我在用电筒和库达11.3编码。这是我的代码：
current_loc = pathlib.Path(__file__).parent.absolute()
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
model
浏览 0提问于2021-11-07得票数 0
1回答
伯特是如何利用TPU记忆的？
、、、、
在谷歌的伯特回购说，即使是一句长度为512不能坐在12 GB的泰坦X为伯特-大型号。
但是在BERT论文中，它说64片TPU芯片被用来训练最大长度512和批量大小256的BERT。它们怎么能把>256 x的大批装进仅仅171倍的内存中呢？
从另一个角度来看，我们可以在每个示例内存使用的基础上比较这两种配置：
TPU:假设在预培训中使用了TPUv3，那么总的TPU内存是32 GB /芯片* 64芯片= 2048 GB。本文认为，最大长度为512的256个批处理在这种配置中工作良好，这意味着8 GB内存可以容纳单个样本，而且如果使用GPUv2，则每个样本的内存使用量将减少到4GB。
浏览 2提问于2019-05-12得票数 2
我正在尝试运行Elasticsearch BERT应用程序，希望了解使用GPU微调模型的最低配置。我应该使用什么机器配置？
参考github：
浏览 0提问于2020-06-23得票数 5
我正在尝试在git链接中使用的train2012数据上训练一个BertPunc模型：https://github.com/nkrnrnk/BertPunc。在服务器上运行时，启用了4个GPU，下面是我得到的错误： StopIteration: Caught StopIteration in replica 1 on device 1.
Original Traceback (most recent call last):
File "/home/stenoaimladmin/.local/lib/python3.8/site-packages/torch/nn/parallel/
浏览 244提问于2021-01-16得票数 0
目标:修改此以配合Albert和Distilbert模型
内核：conda_pytorch_p36.我重新启动并运行了所有文件，并在工作目录中刷新了文件视图。
错误发生在第1.2节中，仅针对这两个新模型。
对于文件名等，我创建了一个在任何地方使用的变量：
MODEL_NAME = 'albert-base-v2' # 'distilbert-base-uncased', 'bert-base-uncased'
我将进口商品改为：
from transformers import (AutoConfig, AutoModel, AutoToken
浏览 11提问于2022-01-13得票数 1
回答已采纳
我正在Huggingface中测试Bert base和Bert蒸馏模型，速度为4个场景，batch_size = 1：
1) bert-base-uncased: 154ms per request
2) bert-base-uncased with quantifization: 94ms per request
3) distilbert-base-uncased: 86ms per request
4) distilbert-base-uncased with quantifization: 69ms per request
我使用IMDB文本作为实验数据并设置max_length=51
浏览 69提问于2021-05-26得票数 1
回答已采纳
我在Colab中编写了一个Bert模型，并使用GPU对其进行了训练，并下载了权重以供进一步推断。对于预测，我不需要GPU，我在没有GPU的情况下在我的本地机器上测试。但是当我在本地PC上加载时，我得到了以下错误，而Colab上没有错误。我不知道如何继续下去。 File "/home/akash/anaconda3/lib/python3.7/site-packages/tensorflow/python/saved_model/load.py", line 909,
in load_internal str(err) + "\n If trying to load
浏览 88提问于2021-06-29得票数 0
1回答
我是一个pytorch框架的初学者，我试图在另一个体系结构(BERT)之上添加一个多头的自我关注(这是一个简单的问题，但我不熟悉PyTorch)：
更新1
import math
class PositionalEncoding(nn.Module):
def __init__(self, d_model, dropout=0.1, max_len=5000):
super(PositionalEncoding, self).__init__()
self.dropout = nn.Dropout(p=dropout)
self.d_mo
浏览 13提问于2020-05-05得票数 0
参考github：
我曾经运行以下笔记本来预测使用伯特模型的多标签分类，这意味着我不需要GPU驱动程序，我可以使用CPU内存，以下是jupyter笔记本的参考
这不是内存问题，如何解决这个错误？
在增加CPU和RAM大小的同时，目标尺寸也在增加，
我选择N1标准-4 (6 vCPU，26 GB内存)的机器类型.
示例代码：
我删除了这段代码，我使用的是“cpu”，而不是“cuda”。
device = torch.device('cuda')
if torch.cuda.device_count() > 1:
args.multi_gpu = True
e
浏览 2提问于2020-06-24得票数 0
1回答
我正在使用Keras训练微调的BERT模型。然而，当我开始在GPU上进行培训时，我遇到了OOM错误。下面是我的模型的代码。 max_len = 256
input_word_ids = tf.keras.layers.Input(shape=(max_len,), dtype=tf.int32, name="input_word_ids")
input_mask = tf.keras.layers.Input(shape=(max_len,), dtype=tf.int32, name="input_mask")
segment_ids = t
浏览 70提问于2021-09-15得票数 0
回答已采纳
1回答
我正在尝试使用TensorflowLite在Mali上部署BERT和Transformer模型。但问题是，TensorflowLite不支持这些模型中的一些操作，包括{CAST，GATHER，MUL，RESHAPE，UNPACK}。有人知道我如何在GPU上委托这些操作吗？有没有其他的TensorflowLite库可以支持嵌入式图形处理器，特别是马里图形处理器？我只想在GPU上测量它们的延迟。 STARTING!
Log parameter values verbosely: [0]
Min num runs: [1]
**Graph**: [mobilebert_float_384_gpu.
浏览 28提问于2021-07-19得票数 0
我正在尝试使用BERT a微调Spacy NER模型 #Train the data
!python -m spacy train -g 0 config_spacy_bert.cfg --output ./output --paths.train ./train.spacy --paths.dev ./train.spacy 配置文件中的批处理大小为2，我收到错误 RuntimeError: CUDA out of memory. Tried to allocate 18.00 MiB (GPU 0; 1.96 GiB total capacity; 958.13 MiB already
浏览 47提问于2021-10-12得票数 0
我首先使用以下方法下载了该文件：
!curl -L -O https://github.com/huggingface/transformers/blob/master/examples/legacy/question-answering/run_squad.py
然后使用以下代码：
!python run_squad.py \
--model_type bert \
--model_name_or_path bert-base-uncased \
--output_dir models/bert/ \
--data_dir data/squad \
浏览 13提问于2021-07-30得票数 0
回答已采纳
我正在尝试将BERT模型的训练过程容器化，并在SageMaker上运行它。我计划使用预先构建的SageMaker Pytorch GPU容器(https://aws.amazon.com/releasenotes/available-deep-learning-containers-images/)作为我的起点，但我在构建过程中遇到了拉取映像的问题。 我的Dockerfile看起来像这样： # SageMaker PyTorch image
FROM 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:1.5.0-gpu
浏览 21提问于2020-08-17得票数 0
我正在开发一个使用拥抱式变形金刚库的法国问答模型。我使用的是一个经过预先训练的CamemBERT模型，它非常类似于RoBERTa，但适合法语。
目前，我能够获得最好的答案候选人对我自己的文本上的一个问题，使用QuestionAnsweringPipeline从变压器库。
这是我的代码摘录。
QA_model = "illuin/camembert-large-fquad"
CamTokQA = CamembertTokenizer.from_pretrained(QA_model)
CamQA = CamembertForQuestionAnswering.from_pretr
浏览 3提问于2020-06-26得票数 3
回答已采纳
因此，我试图从csv文件中提取列，并将它们输入mysql表。
然而，我得到了下面的错误，它将获得一个'title‘(第3列，line1)
'Using Adversarial Autoencoders for Multi-Modal Automatic Playlist Continuation, ' at line 1")
csv数据
1038819,Discoverable,Using Adversarial Autoencoders for Multi-Modal Automatic Playlist Continuation,Conference Pr
浏览 0提问于2019-02-11得票数 0
回答已采纳
2回答
我正在尝试使用Colab云CPU上的HuggingFace变压器库来训练一个NER模型，对它进行腌制，并在我自己的CPU上加载该模型来进行预测。
码
模式如下：
from transformers import BertForTokenClassification
model = BertForTokenClassification.from_pretrained(
"bert-base-cased",
num_labels=NUM_LABELS,
output_attentions = False,
output_hidden_states
浏览 3提问于2020-10-30得票数 4
回答已采纳
例如，我想使用现有配置从头开始训练一个BERT模型。下面的代码是正确的方法吗？ model = BertModel.from_pretrained('bert-base-cased')
model.init_weights() 因为我认为init_weights方法会重新初始化所有的权重。 第二个问题，如果我想稍微改变一下配置，比如隐藏层的数量。 model = BertModel.from_pretrained('bert-base-cased', num_hidden_layers=10)
model.init_weights() 我想知道以上是不是正确的
浏览 156提问于2020-08-19得票数 4
回答已采纳
我试图使用run_ner.py执行this script，但我试图从检查点继续微调的所有操作都失败了。有什么想法吗？ 我用Google Colab运行它。以下是我运行的单元格内容： %cd "/content/drive/My Drive/Colab Notebooks/NER/Batteria/transformers-master_2020_04_27"
%pip install .
%pip install --upgrade .
%pip install seqeval
from fastai import *
from transformers import *
浏览 70提问于2020-04-28得票数 0
1回答
我需要为一堆具有不同语言模型的文档计算单词嵌入。没有问题，脚本做的很好，除了我正在做笔记本，没有GPU和每一个文本需要大约1.5s来处理，这是太长了(我有成千上万的文本要处理)。
下面是我如何使用移相器和变压器库来完成这个任务：
import torch
from transformers import CamembertModel, CamembertTokenizer
docs = [text1, text2, ..., text20000]
tok = CamembertTokenizer.from_pretrained('camembert-base')
model
浏览 1提问于2020-06-15得票数 0
回答已采纳
1回答
对于一个关于机器学习/自然语言处理的项目，我正在查看来自roBERTa上的github的一些代码。我想看看我是否能得到相同的结果，然后修改程序以适应我自己的数据。 但是，我不知道如何/在哪里/使用什么程序来运行以下代码： export COMVE_DIR=/path/to/COMVE_data_dir
export OUTPUT_DIR=/path/to/output_dir
python3 ./run_taskB.py \
--model_type bert \
--task_name swag \
--model_name_or_path bert-base-uncase
浏览 18提问于2020-12-10得票数 0
嗨，我从这里下载了伯特预培训模型(https://storage.googleapis.com/bert_模型/2018年_10_18/外壳_L-12_H-768_A-12.zip)，并保存到gogole colab和本地的一个目录中。
当我试图在colab中加载模型时，得到“我们假设”/content/驱动器/My Drive/bert_training/uncased_L-12_H-768_A-12/config.json“。尝试在局部机器上对模型进行laod，得到相同的误差。
我就是这样加载模型的:从变压器导入BertForMaskedLM BertForMaskedLM
这是正确的方式
浏览 0提问于2019-12-06得票数 5
回答已采纳
1回答
在训练和评估AllenNLP的参考解析模型方面，我有几个问题。
在使用何种GPU进行培训方面是否有任何限制/规范？我得到了一个在24220 MiB内存的泰坦RTX GPU的训练中途的OOM问题。有什么参数我可以更改可能有帮助(注意:我使用的是而不是SpanBERT版本)？
我注意到使用了一个已经经过训练和存储的模型。我们可以从我们训练过的模型中指定一个模型路径吗？
我们是否可以在roberta-base文件中用bert-base-uncased替换，或者是否需要进行其他修改来进行此更改？
浏览 10提问于2022-05-18得票数 1
1回答
我必须用28个可能的类做一个文本分类任务。我决定把伯特的模型加载成一个预先训练过的模型，并对其进行微调，以解决我的问题。事情是，训练是非常缓慢的(在GPU上)，而我确保冻结伯特的层，所以我只需要训练一个密集的一层结束。下面是我用来创建模型的代码：
from tensorflow.keras.layers import Input
from tensorflow.keras import Model
from transformers import TFDistilBertModel, DistilBertConfig
distil_bert = 'distilbert-base-un
浏览 1提问于2020-10-28得票数 1
1回答
我试图使用终端执行伯特的run_clasifier.py脚本，如下所示：
python run_classifier.py --task_name=cola --do_predict=true --data_dir=<data-dir> --vocab_file=$BERT_BASE_DIR/vocab.txt --bert_config_file=$BERT_BASE_DIR/bert_config.json --init_checkpoint=<output_dir>/model.ckpt-1603 --max_seq_length=512 --output_dir
浏览 0提问于2019-06-17得票数 3
当我运行这一行时，我得到了这个错误"PipelineException: mask_token (掩码)在输入中没有“。Fill_mask(“汽车”)
我正在科拉布上运行。我的守则：
from transformers import BertTokenizer, BertForMaskedLM
from pathlib import Path
from tokenizers import ByteLevelBPETokenizer
from transformers import BertTokenizer, BertForMaskedLM
paths = [str(x) for
浏览 4提问于2021-05-12得票数 3
回答已采纳
1回答
我在为火把变压器写个包装纸。为了保持简单，我将包括一个最小的例子。一个类My_BERT(Parent)和My_GPT2(Parent).的父类，它将是一个抽象类。由于用于model_Bert和model_gpt2的LM模型包含在pytorch中，因此它们具有许多类似的函数，因此我希望通过在Partent中编码其他相同的函数来最小化代码冗余。
My_bert和My_gpt2与模型初始化基本不同，有一个参数传递给模型，但是99%的函数以相同的方式使用这两个模型。
问题在于接受不同论点的函数“模型”：
for model_Bert它被定义为模型(input_ids，model_gpt2 )
最小代码
浏览 2提问于2019-11-16得票数 1
回答已采纳
我在docker容器中运行机器学习模型。该模型将经历训练、评估、测试和交互4个过程。我使用以下方法启动docker：
sudo docker run --runtime=nvidia --name tensorflow_bert_dst -it -p 8888:8888 tensorflow/tensorflow:1.13.2-gpu-py3-jupyter
训练的过程很长，所以我关闭了终端，让docker在服务器上运行。几个小时后，我想使用以下方法检查结果并与模型交互。
docker attach tensorflow_bert_dst
但是docker挂起了，没有显示任何结果，如何进入
浏览 22提问于2019-11-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
