我正在尝试使用huggingface的模型来实现一个QA系统。我不理解的一件事是,当我没有具体说明我正在使用哪个预先训练好的模型进行问答时,这个模型是随机选择的吗? from transformers import pipeline
# Allocate a pipeline for question-answering
question_answerer = pipeline('question-answering')
question_answerer({
'question': 'What is the name of the r
到今天为止,我一直用的是变压器。但是,当我今天导入包时,我收到了以下错误消息:
In Transformers v4.0.0, the default path to cache downloaded models changed from '~/.cache/torch/transformers' to '~/.cache/huggingface/transformers'. Since you don't seem to have overridden and '~/.cache/torch/transformers' is a di
我一直在尝试使用预训练模型。使用collab模板中默认的所有内容,使用从huggingface/pytorch-transformers到bert-base-uncased的torch.hub.load()作为“模型”
代码示例
import torch
model = torch.hub.load('huggingface/pytorch-transformers', 'model', 'bert-base-uncased') # Download model and configuration from S3 and cache.
我看
我正在尝试执行huggingface网站的示例代码:
from transformers import GPTJTokenizer, TFGPTJModel
import tensorflow as tf
tokenizer = GPTJTokenizer.from_pretrained("EleutherAI/gpt-j-6B")
model = TFGPTJModel.from_pretrained("EleutherAI/gpt-j-6B")
inputs = tokenizer("Hello, my dog is cute", ret
当我试图运行 of 时,会得到错误ModuleNotFoundError: No module named 'huggingface_hub.snapshot_download'。我怎么才能修好它?我已经使用pip安装了huggingface_hub。
编译以下单元格后会出现错误:
!CUDA_VISIBLE_DEVICES=0 python -u ../scripts/main.py --summarizer gpt3_summarizer --controller longformer_classifier longformer_classifier --loader al
我有一个具有四个nw_data='Qn_id‘、’Qn_ that‘、'Qns’、'Anwsers‘的数据。这就是它的样子
Qn_id | Qn_context | Qns | Anwsers
01 | In 1962, Uk gave... | what year....| the year 1962 was.....
02 | Major kanuti raised..| Who raised...| Kanuti akorimo rasied.
我想向该数据集添加第五列,该数据集由‘’Answers
我尝试从木星笔记本中的HuggingFace文档中执行标准的介绍示例:
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")
导入管道方法显然有效--没有错误消息。如果在下一行中声明分类器,则会得到以下错误:
/var/folders/m_/sn4z8b8s6676slgsrc3smg7w0000gn/T/ipy
我在这方面是个新手,所以我可能完全遗漏了一些东西,但这是我的问题:我正在尝试创建一个Tokenizer类,它使用Huggingface中预先训练好的tokenizer模型。然后,我想在一个更大的转换器模型中使用这个类来标记我的输入数据。下面是类代码类Roberta(MyTokenizer):
from transformers import AutoTokenizer
from transformers import RobertaTokenizer
class Roberta(MyTokenizer):
def build(self, *args, **kwargs):
sel
我想部署一个图像分类变压器模型与Gradio到我的Hugginface空间。我已经创建了一个新的存储库,并在浏览器中创建了app.py文件,正如Gradio上的教程所示。下面是我的部署代码:
from transformers import pipeline
import gradio as gr
import timm
def image_classifier(image):
model = pipeline("image-classification")
return model(image)
gr.Interface.from_pipeline(mod
我想使用
但是由于政策的限制,我不能安装软件包的句子转换器。
我有变压器和火炬包。
我去了这个并尝试运行下面的代码
在此之前,我去了并下载了所有的文件
import os
path="/yz/sentence-transformers/multi-qa-mpnet-base-dot-v1/" #local path where I have stored files
os.listdir(path)
['.dominokeep',
'config.json',
'data_config.json',
'module
假设我成功地训练了10个时代的一些训练数据的模型。那么,我如何才能进入相同的模式,并继续训练10个时代呢?
建议“您需要通过超参数指定检查点输出路径”-->如何指定?
# define my estimator the standard way
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./scripts',
instance_type='ml.p3.2xlarge',
instance_count=1,
我正在尝试使用拥抱面模型(),但是在加载令牌程序:代码时会出现错误:
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("CAMeL-Lab/bert-base-arabic-camelbert-ca")
model = AutoModelForMaskedLM.from_pretrained("CAMeL-Lab/bert-base-arabic-camelbert-ca")
错误:
OSError: Ca
所以我正在做一个使用huggingface库的AI项目,我需要把它转换成一个exe文件。我使用PyQt5作为接口,并使用huggingface的转换器和数据集库。我尝试使用PyInstaller将其转换为可执行文件,它确实完成了项目的可执行文件的构建,但在运行可执行文件时出现以下错误:
Traceback (most recent call last):
File "transformers\utils\versions.py", line 105, in require_version
File "importlib\metadata.py", lin
我试图导入NERDA库,以便使用它在Python中执行命名实体识别任务。最初,我尝试在jupyter笔记本中导入库,并得到了以下错误:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Users\oefel\AppData\Local\Programs\Python\Python38\lib\site-packages\NERDA\models.py", line 13, in <module>
fr
我正在学习自然语言编程,遵循HuggingFace https://huggingface.co/transformers/custom_datasets.html#sequence-classification-with-imdb-reviews的序列分类教程,原始代码运行没有问题。但是,当我尝试加载一个不同的记号赋予器时,出现以下警告: Asking to truncate to max_length but no maximum length is provided and the model has no predefined maximum length. Default to n
我有一个句子和一个预先训练过的记号器。我想要计算句子中标记的数量,没有特殊的标记。我使用来自HuggingFace的HuggingFace。
from transformers import BertTokenizer, TFBertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-cased')
model = TFBertModel.from_pretrained("bert-base-cased")
text = "I want to know the number of toke
页面有两个脚本
什么时候应该使用第一种方法,如下所示?由于nli-distilroberta-base-v2专门为寻找句子嵌入而训练,所以总是比第一种方法更好吗?
training_stsbenchmark.py1 -
from sentence_transformers import SentenceTransformer, LoggingHandler, losses, models, util
#You can specify any huggingface/transformers pre-trained model here, for example, bert-base-unca
我正在尝试使用git checkout upstream/master -- my-directory-here命令将Huggingface transformers库的本地分支中的目录替换为上游版本。但当我这样做时,实际上没有什么变化;我的版本和上游版本之间的所有差异仍然存在。我觉得我肯定犯了一些非常明显的错误,但我不知道是什么。 图片来源:What I get when I use git checkout
使用HuggingFace训练变压器模型来预测目标变量(例如,电影评级)。我对Python很陌生,这可能是一个简单的问题,但我不知道如何保存经过训练的分类器模型(通过Colab),然后重新加载,以便对新数据进行目标变量预测。作为一个例子,我用HuggingFace资源中的一个例子训练了一个预测imbd评分的模型,如下所示。我尝试过很多种方法(save_model,save_pretrained),它们要么很难保存,要么在加载时,不知道该调用什么来获得预测。任何帮助都将是非常感谢的步骤,包括保存,加载,然后创建新的预测分数基于模型的测试数据。
#example mainly from here:
huggingface-transformers中的Roberta Tokenizer将罗伯塔的标记化方法描述为: - single sequence: ``<s> X </s>``
- pair of sequences: ``<s> A </s></s> B </s>`` 我很好奇为什么多个序列的标记化不是<s> A </s><s> B </s> 在上面的基础上,如果我要手动编码两个以上的序列,我应该将它们编码为<s> A </s></s&
试图运行时,我们在来自HuggingFace转换器库的以下代码片段中遇到'TFEmbeddings' object has no attribute 'word_embeddings'错误。任何帮助都是非常感谢的。
from transformers import TFDistilBertForMaskedLM, DistilBertTokenizer
dbert_model = TFDistilBertForMaskedLM.from_pretrained('distilbert-base-uncased')
dbert_tokenizer