开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

bert模型中以字符串形式返回的张量类型属性

在BERT模型中，以字符串形式返回的张量类型属性是"dtype"（Data Type）。dtype表示张量中存储的数据类型，它决定了张量可以存储的数据的种类和范围。在BERT模型中，通常使用浮点数类型（如float32）来表示张量的数据类型。

BERT模型是一种基于Transformer架构的预训练语言模型，它在自然语言处理任务中取得了很大的成功。它的主要优势在于能够学习到上下文相关的词向量表示，从而更好地理解句子的语义和语境。

应用场景方面，BERT模型可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析、问答系统等。它可以帮助提高模型在这些任务上的性能和效果。

腾讯云提供了一系列与自然语言处理相关的产品和服务，其中包括自然语言处理（NLP）平台、智能语音交互（SI）平台、智能机器翻译（MT）平台等。这些产品和服务可以与BERT模型结合使用，以实现更强大的自然语言处理能力。

腾讯云自然语言处理（NLP）平台：https://cloud.tencent.com/product/nlp 腾讯云智能语音交互（SI）平台：https://cloud.tencent.com/product/si 腾讯云智能机器翻译（MT）平台：https://cloud.tencent.com/product/mt

相关搜索:AttributeError:模块'torch‘没有属性'_six’。Pytorch中的Bert模型 Jenkinsfile类CascadeChoiceParameter以字符串形式返回我的数组 Redux Form -以字符串onChange的形式返回当前输入值 TypeError: BERT模型中的字符串索引必须为整数错误为什么我的坐标以字符串的形式返回？从字符串和列表的元组中以字符串的形式返回所有值以django的形式加载动态模型属性以字符串列表的形式获取记录类型标签以字符串形式返回VersionCheck.getLatestVersion()的结果以字符串形式返回令牌名称的Rust方法

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Transformers 4.37 中文文档（十八）

任何多模态模型都需要一个对象来编码或解码将多个模态（文本、视觉和音频）组合在一起的数据。这由称为处理器的对象处理，这些对象将多个处理对象（如文本模态的分词器、视觉的图像处理器和音频的特征提取器）组合在一起。

01

Transformers 4.37 中文文档（八十）

Wav2Vec2-BERT 模型是由 Meta AI 的 Seamless Communication 团队在Seamless: Multilingual Expressive and Streaming Speech Translation中提出的。

01

Transformers 4.37 中文文档（二十二）

BARThez 模型是由 Moussa Kamal Eddine、Antoine J.-P. Tixier 和 Michalis Vazirgiannis 于 2020 年 10 月 23 日提出的BARThez: a Skilled Pretrained French Sequence-to-Sequence Model。

01

transformer快速入门

我们将通过一些简单的快速启动示例来完成这个快速启动之旅，看看如何实例化和使用这些类。其余的文件分为两部分:

01

Transformers 4.37 中文文档（十四）

您可以使用AutoBackbone类初始化一个模型作为骨干，并获取任何阶段的特征图。您可以定义out_indices来指示您想要从哪些层获取特征图。如果您知道层的名称，也可以使用out_features。您可以互换使用它们。如果同时使用out_indices和out_features，请确保它们是一致的。不传递任何特征图参数将使骨干产生最后一层的特征图。为了可视化各个阶段的外观，让我们以 Swin 模型为例。每个阶段负责特征提取，输出特征图。

01

解决问题has invalid type <class 'numpy.ndarray'>, must be a string or Tensor

最近在使用深度学习框架进行图像处理的时候，我遇到了一个问题，错误信息显示为has invalid type '<class 'numpy.ndarray'>', must be a string or Tensor，这个问题困扰了我很长时间。经过一番研究和实践，我找到了解决方法，现在将与大家分享。

01

tf.ReaderBase

用于不同读取器类型的基类，该基类将生成每个步骤的记录。从概念上讲，读取器将字符串“工作单元”转换为记录(键、值对)。通常，“工作单元”是文件名，记录是从这些文件的内容中提取的。我们希望每个步骤生成一条记录，但是一个工作单元可以对应多个记录。因此，我们引入了一些使用队列的解耦。队列包含工作单元，当请求读取器生成一条记录(通过Read())但它已经完成了最后一个工作单元时，读取器将从队列中退出。

02

Transformers 4.37 中文文档（二十九）

DeBERTa 模型是由 Pengcheng He、Xiaodong Liu、Jianfeng Gao、Weizhu Chen 在DeBERTa: Decoding-enhanced BERT with Disentangled Attention中提出的，它基于 2018 年发布的 Google 的 BERT 模型和 2019 年发布的 Facebook 的 RoBERTa 模型。

01

Transformers 4.37 中文文档（九十四）

SpeechEncoderDecoderModel 可用于使用任何预训练语音自编码模型作为编码器（例如 Wav2Vec2，Hubert）和任何预训练自回归模型作为解码器初始化语音到文本模型。

01

讲解Unable to get repr for＜class‘torch.Tensor‘＞

在使用 PyTorch 进行深度学习开发过程中，有时会遇到以下的错误信息：Unable to get repr for <class 'torch.Tensor'>。这个错误通常表示尝试打印或显示一个 Torch 张量对象时出现了问题。本文将详细介绍这个错误的原因以及如何解决它。

01

Transformers 4.37 中文文档（三十一）

EncoderDecoderModel 可以用于初始化一个序列到序列模型，其中预训练的自编码模型作为编码器，预训练的自回归模型作为解码器。

01

tf.lite

它允许您使用一组TensorFlow操作并注释构造，以便toco知道如何将其转换为tflite。这在张量流图中嵌入了一个伪函数。这允许在较低级别的TensorFlow实现中嵌入高级API使用信息，以便以后可以替换其他实现。本质上，这个伪op中的任何“输入”都被输入到一个标识中，并且属性被添加到该输入中，然后由构成伪op的组成ops使用。

06

Transformers 4.37 中文文档（四十四）

MEGA 模型是由 Xuezhe Ma、Chunting Zhou、Xiang Kong、Junxian He、Liangke Gui、Graham Neubig、Jonathan May 和 Luke Zettlemoyer 在Mega: Moving Average Equipped Gated Attention中提出的。MEGA 提出了一种新的自注意力方法，每个编码器层除了具有标准点积注意力的单头之外，还具有多头指数移动平均，使得注意机制具有更强的位置偏差。这使得 MEGA 在标准基准测试中表现出色，包括 LRA，同时参数数量明显较少。MEGA 的计算效率使其能够扩展到非常长的序列，使其成为处理长文档 NLP 任务的有吸引力的选择。

01

Transformers 4.37 中文文档（九十六）

VipLlava 模型是由 Mu Cai、Haotian Liu、Siva Karthik Mustikovela、Gregory P. Meyer、Yuning Chai、Dennis Park、Yong Jae Lee 在《Making Large Multimodal Models Understand Arbitrary Visual Prompts》中提出的。

01

Transformers 4.37 中文文档（二十七）

CANINE 模型是由 Jonathan H. Clark、Dan Garrette、Iulia Turc、John Wieting 在CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation中提出的。这是第一篇在训练 Transformer 时不使用显式分词步骤（如字节对编码（BPE）、WordPiece 或 SentencePiece）的论文之一。相反，该模型直接在 Unicode 字符级别进行训练。在字符级别进行训练不可避免地会导致更长的序列长度，CANINE 通过高效的下采样策略解决了这个问题，然后应用深度 Transformer 编码器。

01

GPT、BERT、XLM、GPT-2、BART…你都掌握了吗？一文总结文本生成必备经典模型（二）

机器之心专栏本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。本文将分 2 期进行连载，共介绍 10 个在文本生成任务上曾取得 SOTA 的经典模型。第 1 期：Seq2Seq（RNN）、Seq2Seq（LSTM）、Seq2Seq+

02

Transformers 4.37 中文文档（二十八）

CPM 模型是由张政彦、韩旭、周浩、柯培、顾宇贤、叶德明、秦宇佳、苏玉生、季浩哲、关健、齐凡超、王晓智、郑亚楠、曾国阳、曹焕琦、陈胜奇、李代轩、孙振波、刘知远、黄民烈、韩文涛、唐杰、李娟姿、朱小燕、孙茂松在CPM: A Large-scale Generative Chinese Pre-trained Language Model中提出的。

01

实战 | BERT fine-tune 终极实践教程

AI科技评论按：从 11 月初开始，google-research 就陆续开源了 BERT 的各个版本。google 此次开源的 BERT 是通过 tensorflow 高级 API—— tf.estimator 进行封装( wrapper )的。因此对于不同数据集的适配，只需要修改代码中的 processor 部分，就能进行代码的训练、交叉验证和测试。

05

Transformers 4.37 中文文档（九十九）

QuestionAnsweringPipeline 要求用户提供多个参数（即问题和上下文），以映射到内部的 SquadExample。

01

Transformers 4.37 中文文档（十一）

在本指南中，我们将看到如何创建自定义管道并在Hub上共享它或将其添加到🤗 Transformers 库中。

01

MG-BERT:利用无监督原子表示学习来预测分子性质

今天给大家介绍一篇来自浙江大学侯廷军教授课题组和中南大学曹东升教授课题组合作发表在2021年5月份发表在Briefings in Bioinformatics上的一篇文章《MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction》。本文使用了无监督原子表达学习来进行分子的性质预测。

05

干货 | 谷歌BERT模型fine-tune终极实践教程

从11月初开始，Google Research就陆续开源了BERT的各个版本。Google此次开源的BERT是通过TensorFlow高级API—— tf.estimator进行封装(wrapper)的。因此对于不同数据集的适配，只需要修改代码中的processor部分，就能进行代码的训练、交叉验证和测试。

01

Research | 使用无监督学习、多任务学习的分子性质预测新方法

2022年12月15日，中南大学湘雅药学院曹东升团队，国防科技大学吴诚堃团队，浙江大学侯廷军团队以及湖南大学曾湘祥教授团队合作在Research期刊上发表论文“Pushing the Boundaries of Molecular Property Prediction for Drug Discovery with Multitask Learning BERT Enhanced by SMILES Enumeration”。

03

Sklearn、TensorFlow 与 Keras 机器学习实用指南第三版（九）

¹ Jasper Snoek 等人，“机器学习算法的实用贝叶斯优化”，《第 25 届国际神经信息处理系统会议论文集》2（2012）：2951–2959。

00

聊聊Hugging Face

HuggingFace是一个开源社区，提供了开源的AI研发框架、工具集、可在线加载的数据集仓库和预训练模型仓库。HuggingFace提出了一套可以依照的标准研发流程，按照该框架实施工程，能够在一定程度上规避开发混乱、开发人员水平不一致的问题，降低了项目实施的风险及项目和研发人员的耦合度，让后续的研发人员能够更容易地介入，即把HuggingFace的标准研发流程变成所有研发人员的公共知识，不需要额外地学习。

03

Transformers 4.37 中文文档（二十六）

如果您在运行此模型时遇到任何问题，请重新安装支持此模型的最后一个版本：v4.30.0。您可以通过运行以下命令来执行：pip install -U transformers==4.30.0。

01

tf.TFRecordReader

返回读取器生成的下一个记录(键、值)对。如果需要，将一个工作单元从队列中取出(例如，当读取器需要开始从一个新文件中读取，因为它已经完成了前一个文件)。

02

Transformers 4.37 中文文档（四十五）

MegatronGPT2 模型是由 Mohammad Shoeybi、Mostofa Patwary、Raul Puri、Patrick LeGresley、Jared Casper 和 Bryan Catanzaro 在使用模型并行训练多十亿参数语言模型的 Megatron-LM中提出的。

01

Transformers 4.37 中文文档（五十七）

RoCBert 模型是由 HuiSu、WeiweiShi、XiaoyuShen、XiaoZhou、TuoJi、JiaruiFang、JieZhou 在 RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining 中提出的。它是一个经过预训练的中文语言模型，在各种形式的对抗攻击下具有鲁棒性。

01

Transformers 4.37 中文文档（三十八）

GPTBigCode 模型是由 BigCode 在SantaCoder: don’t reach for the stars!中提出的。列出的作者包括：Loubna Ben Allal、Raymond Li、Denis Kocetkov、Chenghao Mou、Christopher Akiki、Carlos Munoz Ferrandis、Niklas Muennighoff、Mayank Mishra、Alex Gu、Manan Dey、Logesh Kumar Umapathi、Carolyn Jane Anderson、Yangtian Zi、Joel Lamy Poirier、Hailey Schoelkopf、Sergey Troshin、Dmitry Abulkhanov、Manuel Romero、Michael Lappert、Francesco De Toni、Bernardo García del Río、Qian Liu、Shamik Bose、Urvashi Bhattacharyya、Terry Yue Zhuo、Ian Yu、Paulo Villegas、Marco Zocca、Sourab Mangrulkar、David Lansky、Huu Nguyen、Danish Contractor、Luis Villa、Jia Li、Dzmitry Bahdanau、Yacine Jernite、Sean Hughes、Daniel Fried、Arjun Guha、Harm de Vries、Leandro von Werra。

01

Deep learning基于theano的keras学习笔记（1）-Sequential模型

《统计学习方法》中指出，机器学习的三个要素是模型，策略和优算法，这当然也适用于深度学习，而我个人觉得keras训练也是基于这三个要素的，先建立深度模型，然后选用策略（目标函数），采用优化器，编译和训练模型。

01

Transformers 4.37 中文文档（二十三）

BertGeneration 模型是一个可以利用 EncoderDecoderModel 进行序列到序列任务的 BERT 模型，如 Sascha Rothe, Shashi Narayan, Aliaksei Severyn 在利用预训练检查点进行序列生成任务中提出的那样。

01

Transformers 4.37 中文文档（七十八）

Speech2Text2 模型与 Wav2Vec2 一起用于大规模自监督和半监督学习的语音翻译中提出的语音翻译模型，作者为 Changhan Wang，Anne Wu，Juan Pino，Alexei Baevski，Michael Auli，Alexis Conneau。

01

Transformers 4.37 中文文档（五十二）

ProphetNet 模型是由 Yu Yan, Weizhen Qi, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang, Ming Zhou 于 2020 年 1 月 13 日提出的ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training。

01

PyTorch入门笔记-基本数据类型

本小节主要介绍 PyTorch 中的基本数据类型，先来看看 Python 和 PyTorch 中基本数据类型的对比。

02

手把手教你完成句子分类，最好上手的BERT初级使用指南

过去几年里，机器学习语言处理模型的发展十分迅速，已经不再局限于实验阶段，而是可以应用于某些先进的电子产品中。

02

深度学习｜Tensorflow2.0基础

Tensorflow 是一个面向深度学习算法的科学计算库，内部数据保存在张量（Tensor）对象熵，所有的运算操作（Operation）也都是基于张量对象进行的，我们所接触到的复杂的神经网络算法本质上就是各种张量相乘，想加等一些基本运算操作的组合。

02

tf.train

1、tf.train.queue_runner.add_queue_runner函数

04

5 个PyTorch 中的处理张量的基本函数

能够以准确有效的方式构建神经网络是招聘人员在深度学习工程师中最受追捧的技能之一。PyTorch 是一个主要用于深度学习的Python 库。PyTorch 最基本也是最重要的部分之一是创建张量，张量是数字、向量、矩阵或任何 n 维数组。在构建神经网络时为了降低计算速度必须避免使用显式循环，我们可以使用矢量化操作来避免这种循环。在构建神经网络时，足够快地计算矩阵运算的能力至关重要。

01

Transformers 4.37 中文文档（五十五）

如果您在运行此模型时遇到任何问题，请重新安装支持此模型的最后一个版本：v4.30.0。您可以通过运行以下命令来执行：pip install -U transformers==4.30.0。

01

PyTorch神经网络中可学习的参数——CNN权重 | PyTorch系列（十五）

在本系列的最后几篇文章中，我们已经开始构建CNN，我们做了一些工作来理解我们在网络构造函数中定义的层。

06

Transformers 4.37 中文文档（七）

🤗 Transformers 中有几个多语言模型，它们的推理用法与单语模型不同。不过，并非所有多语言模型的用法都不同。一些模型，如bert-base-multilingual-uncased，可以像单语模型一样使用。本指南将向您展示如何使用推理中用法不同的多语言模型。

01

tf.Graph

原文链接：https://tensorflow.google.cn/api_docs/python/tf/Graph?hl=en 一个图包含一组tf.Operation对象，表示计算单位;和tf.T

02

干货 | 携程实体链接技术的探索及实践

作者简介携程旅游AI研发团队致力于为携程旅游事业部提供丰富的AI技术产品，其中知识图谱组专注旅游领域知识图谱的构建及应用落地。一、背景介绍随着网络应用技术的飞速发展，多元化、低密度数据的急剧膨胀对人们获取正确信息带来巨大挑战，大量冗余信息出现的根源在于自然语言表达的多样性，即一词多义和多词同义。例如，“苹果”在不同语境下既可以表示蔷薇科苹果属植物又可以表示苹果产品公司，“申城”和“魔都”尽管字面完全不同，却都是上海市的别称。实现对海量Web数据的高效处理，理解用户意图，降低信息过载，是实体链接的目

03

达观文辉：知识图谱构建下的自动问答KBQA系统实战

问答系统（Qusstion Answering System,QA System）在大家的日常生活中随处可见，2014年微软率先推出了小冰智能聊天机器人，直至现在越来越多如siri移动生活助手和智能音箱等的面市，问答作为一种信息获取方式愈发受到大众和厂商的关注和投入。问答系统能够接受用户以自然语言形式描述的提问，并从大量的异构数据中查到或者推理出用户想要的答案。相比传统的信息检索系统，问答系统场景的核心在于用户的信息需求相对比较明确，而系统直接输出用户想要的答案，这个答案的形式可能是文档、结构化的表格或者推理加工的自然语言文本。

01

nlp-with-transformers系列-02-从头构建文本分类器

文本分类是 NLP 中最常见的任务之一，它可用于广泛的应用或者开发成程序，例如将用户反馈文本标记为某种类别，或者根据客户文本语言自动归类。另外向我们平时见到的邮件垃圾过滤器也是文本分类最熟悉的应用场景之一。

02

keras doc 5 泛型与常用层

本文摘自 http://keras-cn.readthedocs.io/en/latest/layers/about_layer/，链接异常请阅读原文查看常用层对应于core模块，core内部定义了一系列常用的网络层，包括全连接、激活层等泛型模型接口为什么叫“泛型模型”，请查看一些基本概念 Keras的泛型模型为Model，即广义的拥有输入和输出的模型，我们使用Model来初始化一个泛型模型 from keras.models import Modelfrom keras.layers imp

04

Transformers 4.37 中文文档（九十二）

OWLv2 是由 Matthias Minderer、Alexey Gritsenko 和 Neil Houlsby 在《扩展开放词汇目标检测》中提出的。OWLv2 通过自训练扩展了 OWL-ViT，利用现有的检测器在图像-文本对上生成伪框注释。这导致在零样本目标检测方面取得了比先前最先进技术的巨大进展。

01

Transformers 4.37 中文文档（七十五）

CLAP 模型由 Yusong Wu，Ke Chen，Tianyu Zhang，Yuchen Hui，Taylor Berg-Kirkpatrick，Shlomo Dubnov 在大规模对比语言音频预训练与特征融合和关键词到标题增强中提出。

01

Transformers 4.37 中文文档（八十六）

DePlot 是由 Fangyu Liu, Julian Martin Eisenschlos, Francesco Piccinno, Syrine Krichene, Chenxi Pang, Kenton Lee, Mandar Joshi, Wenhu Chen, Nigel Collier, Yasemin Altun 在论文DePlot: One-shot visual language reasoning by plot-to-table translation中提出的。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭