开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

具有多语言预训练维基单词向量的ValueError

ValueError是Python编程语言中的一个异常类，用于表示数值转换或操作时的错误。当一个函数或方法接收到一个无效的参数值时，可能会引发ValueError异常。

ValueError异常通常发生在以下情况下：

尝试将一个无效的字符串转换为数字类型。
尝试将一个超出范围的数字赋值给变量。
尝试执行一个无效的数学运算，如对负数求平方根。
尝试使用无效的参数调用一个函数或方法。

在云计算领域中，ValueError异常可能会在以下情况下发生：

在处理用户输入时，如果用户提供了无效的参数值，可能会引发ValueError异常。
在进行数据转换或处理时，如果数据格式不符合预期，可能会引发ValueError异常。
在进行数值计算或统计分析时，如果数据超出了可接受的范围，可能会引发ValueError异常。

腾讯云提供了一系列的云计算产品，可以帮助开发者构建稳定、可靠、高效的云计算解决方案。以下是一些与云计算相关的腾讯云产品：

云服务器（CVM）：提供可扩展的计算能力，用于部署和运行各种应用程序。链接：https://cloud.tencent.com/product/cvm
云数据库MySQL版（CDB）：提供高可用、可扩展的关系型数据库服务，适用于各种应用场景。链接：https://cloud.tencent.com/product/cdb_mysql
云存储（COS）：提供安全、可靠的对象存储服务，用于存储和管理海量数据。链接：https://cloud.tencent.com/product/cos
人工智能平台（AI）：提供丰富的人工智能服务，包括图像识别、语音识别、自然语言处理等。链接：https://cloud.tencent.com/product/ai
物联网（IoT）：提供全面的物联网解决方案，帮助连接和管理物联网设备。链接：https://cloud.tencent.com/product/iotexplorer
区块链（BCS）：提供安全、高效的区块链服务，用于构建可信赖的区块链应用。链接：https://cloud.tencent.com/product/bcs

请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

哈工大联合MSRA提出多任务、多模态、多语言的统一预训练模型M3P (CVPR 2021)

▊ 写在前面在本文中，作者提出了M3P，一个多任务、多语言、多模态预训练模型，通过多任务预训练目标将多语言预训练和多模态预训练结合到一个统一的框架中。...然而，将这些预训练的模型扩展到多语言多模态的场景仍然具有挑战性。...主要通过以下方式实现： 1）通过多语种预训练，学习使用多语种语料库表示多语种数据； 2）通过随机将一些英语单词替换为其他语言的翻译，学习多语种多模态表示； 3）通过多任务的目标来学习这些表征，以处理多语言多模态任务...使用FC层将每个mask区域的Transformer输出转换为具有和视觉特征同维的向量。...总结作者在本文中提出了一个新的预训练模型M3P ，该模型通过多语言多模态场景的多任务预训练，将多语言预训练和多模态预训练结合到一个统一的框架中。

7222 0

论文阅读：《A Primer on Neural Network Models for Natural Language Processing》（二）

在实践中，人们经常使用随机初始化方法来初始化通常出现的特征的嵌入向量，例如词性标签或单个字母；使用某种形式的监督或无监督的预训练来初始化潜在的稀有特征。如个别单词的特征。...预训练的向量可以在网络训练过程中被视为固定的，或者更常见地，像随机初始化的向量一样对待，并且进一步调谐。...5.2 有监督的任务预训练(其实就是迁移学习，略) 5.3 无监督预训练常见的情况是，我们没有足够数量的注释数据的辅助任务（或者我们想帮助用更好的向量来引导辅助任务训练）。...无监督方法背后的关键思想是，人们希望“相似”单词的嵌入向量具有相似的向量。尽管词汇相似性很难定义，并且通常非常依赖于任务，但目前的方法来自分布假设，即如果词语出现在相似的语境中，则词语是相似的。...5.4 训练目标给定单词w及其上下文c，不同的算法会制定不同的辅助任务。在所有情况下，每个单词都被表示为一个d维向量，它被初始化为一个随机值。

7164 0

从静态到动态，词表征近几十年发展回顾

近几年，用海量无标记文本数据训练出的低维单词表征向量，也就是词嵌入 embedding，已经在包括词性标注、句法解析、命名实体识别、语意角色标注、机器翻译等许多任务中展现出了有效性。...1 静态表征静态词表征的发展大致可分为两个阶段。在第一个阶段，主要使用稀疏和高维向量来表示单词。...这种嵌入系统存在着数据稀疏和高维的问题，通常词向量的维度与系统的词汇量一样大，难以使用。为了解决这些问题，在第二阶段，人们用大量的文本数据训练稠密的低维向量，来代替高维向量。...不仅因为它的表现极为优秀，还因为它提出了单词掩膜和下句预测这两种新的无监督预训练任务，也为后来的研究者们带来了很多启发。基于 BERT 的改进模型也有一大批。 XLNet。...有研究者认为BERT 的掩膜方式带来了新的缺点，而且也有观点认为 BERT 存在训练不足（不够收敛）的问题。XLNet 重新设计了预训练过程中的诸多细节，再一次刷新了预训练词嵌入的表现记录。

1.7K2 0

学界 | 一文详解ICLR 2019微软亚洲研究院6篇入选论文

具体来说，第一个VAE将训练数据转化为隐空间内的某种分布，该分布占据整个隐空间而非在隐空间的低维流形上。...id=ryeYHi0ctQ 多视角立体重建（Multi-view Stereo）是计算机视觉中的一个经典问题，具有十分重要的地位，在三维映射、物体建模以及自动驾驶导航等领域具有很高的应用价值。...本文将所有路径向量构成的矩阵称为神经网络的结构矩阵，记为A。我们将基路径定义如下。 ?...主要模型框架是在给定的上下文和其他语义信息基础上预测下一个单词。一种标准的方法是利用深度神经网络将输入编码为一个固定大小的向量，我们称之为隐状态，然后将其乘以单词嵌入表达矩阵。...我们发现，当我们通过最大化似然函数对自然语言生成任务的神经网络进行优化时，尤其是在训练数据集较大的情况下，大部分学习到的单词嵌入词向量倾向于退化并且分布到一个狭窄的锥体当中。 ?

6855 0

参数少一半，效果还更好，天津大学和微软提出Transformer压缩模型

，基于 Transformer 的预训练语言模型是 NLP 领域的研究重点。...这一研究可帮助在一些算力资源较小的环境中部署预训练语言模型。引言近来，预训练语言模型在很多 NLP 任务中表现良好。...因此，压缩大型神经预训练语言模型一直是 NLP 研究中的重要问题。...为了解决这个问题，研究人员首先证明了正交基向量可以线性地表示自注意力机制。然后，通过初始化低秩的核张量，重建新的注意力表示。...首先，Query、Key 和 Value 可以映射成三个因子矩阵 Q、K、V，它们由三组正交基向量组成。然后通过初始化一个可训练的三阶对角张量 G 来构建一个新的注意力机制（单块注意机制）。

1.1K3 0

【ACL 2019】预训练语言模型的最新探索

自从 2018 年预训练语言模型 BERT 提出之后，由于 BERT 的强大表征能力和知识储备能力，预训练语言模型将自然语言处理的大部分任务水平都提高了一个等级。...BERT BERT 是构建于 Transformer 之上的预训练语言模型，它的特点之一就是所有层都联合上下文语境进行预训练。...另外探测实验还表明，虽然多语言 BERT 的多语言表示能够将学习到的结构映射到词汇表，但是似乎没有学习到这些结构的系统转换以适应于具有不同词序的目标语言。...3.1 模型和数据 多语言 BERT 是一个由 12 层 transformer 组成的预训练模型，它的训练语料包含了 104 种语言的维基百科页面，并且共享了一个词汇表。...至于为什么在最后几层网络上准确率又下降了，一个可能的解释是 BERT 在预训练的时候需要明确与语言相关的信息去预测缺失的单词。 4.

7163 1

ACL 2019提前看：预训练语言模型的最新探索

自从 2018 年预训练语言模型 BERT 提出之后，由于 BERT 的强大表征能力和知识储备能力，预训练语言模型将自然语言处理的大部分任务水平都提高了一个等级。...BERT BERT 是构建于 Transformer 之上的预训练语言模型，它的特点之一就是所有层都联合上下文语境进行预训练。...另外探测实验还表明，虽然多语言 BERT 的多语言表示能够将学习到的结构映射到词汇表，但是似乎没有学习到这些结构的系统转换以适应于具有不同词序的目标语言。...3.1 模型和数据 多语言 BERT 是一个由 12 层 transformer 组成的预训练模型，它的训练语料包含了 104 种语言的维基百科页面，并且共享了一个词汇表。...至于为什么在最后几层网络上准确率又下降了，一个可能的解释是 BERT 在预训练的时候需要明确与语言相关的信息去预测缺失的单词。 4.

8085 1

5分钟NLP：从 Bag of Words 到 Transformer 的时间年表总结

Word2Vec [2013]：每个单词都映射到一个称为单词嵌入的高维向量，该向量捕获其语义。词嵌入是通过神经网络在大型语料库上寻找词相关性来学习的。...后来演变成 GPT-2 [2019]，这是在 WebText 上预训练的更大和优化的 GPT 版本，以及 GPT-3 [2020]，在 Common Crawl 上预训练的更大和优化的 GPT-2 版本...XLNet [2019]：Transformer-XL 具有广义的自回归预训练方法，可以学习双向依赖。...XLM-RoBERTa [2019]：RoBERTa 使用 Masked Language Modeling 目标在多语言语料库上进行训练。...T5 [2020]：双向编码器和从左到右的解码器，在无监督和监督任务的混合上进行了预训练。

3432 0

19年NAACL纪实：自然语言处理的实用性见解 | CSDN博文精选

介绍或许现代NLP领域最大的转变，是将每个特征视作表独立正交维数（即one-hot表示，该表示经常与TF-IDF一同使用）进行表示，转变为密集向量表示（见图1）。...（语法、语义、事实知识）来概括可能的完成；可用于预训练的数据更多参数更多，训练效果越好，得到更好的词向量。...这包括适应结构不同的目标任务。例如，对具有多个输入序列（翻译、语言生成）的任务使用单个输入序列进行预训练，即，可以使用预训练的权重初始化目标模型的多个层（LM用于初始化MT中的编码器和解码器）。...图 7 跨语言词向量 多语言嵌入已经被证明是在许多NLP任务中实现跨语言传输的一种很有前途的方法。实现这一目标主要有两种正交方法。...第一种是跨语言多语言预训练：通过在多种语言中训练一个模型，跨语言共享词汇和表示。虽然它易于实现，但它常常导致低资源语言的表示不足。

7962 0

FlowSeq、mBART、BERT-fused、mRASP、mRASP2...你都掌握了吗？一文总结机器翻译必备经典模型（三）

NMT 使用基于 RNN 的编码器-解码器框架对整个翻译过程建模，编码器是把源语言经过一系列的神经网络的变换之后，表示成一个高维向量。解码器负责把这个高维向量再重新解码（翻译）成目标语言。...将潜在变量z表示为连续随机向量的序列z = {z_1, . . . , z_T }，每个z_t是一个d_z维的向量，其中d_z是潜在空间的维度。...（random aligned substitution），它使具有相似含义的多语言的单词和短语在表征空间中更加接近。...在预训练阶段，使用翻译损失同时训练多语言的平行句子对与它们的替换句子。随机替换源语言和目标语言中具有相同含义的词。...在预训练期间（左图），增强多语言的原始单语和双语输入（用具有相同语义的新词或"[mask]"代替）并输入模型。最后，分别预测源语言和目标语言中的所有"[mask]"词。

9062 0

【干货】NLP中的迁移学习教程来啦！（238页PPT下载）

迁移学习指的是一组方法，这些方法通过利用来自其他域或任务的数据来训练具有更好泛化特性的模型来扩展此方法。...这些改进，加上这些方法的广泛可用性和易集成性，使人们想起了导致计算机视觉中预训练字嵌入和ImageNet预训练成功的因素，并表明这些方法很可能成为NLP中的一种常用工具以及一个重要的研究方向。...）字级（例如序列标记、提取性问答）结构化预测（如解析）生成（例如对话、总结）具体示例——词向量单词嵌入方法（例如word2vec）每个单词学习一个向量主题：从单词到语境中的单词主题：从单词到语境中的单词...词向量句子/doc向量语境中词向量主题：LM预训练许多成功的预培训方法都是基于语言建模的非正式地，LM学习p（文本）或p（文本/其他文本）不需要人工注释许多语言有足够的文本来学习大容量模型...多才多艺，能学习句子和词的表达，具有多种客观功能主题：由浅入深 1层 24层主题：预培训与目标任务预培训和目标任务的选择是耦合的句子/文档表示法对单词级预测无效词向量可以跨上下文汇集

1.2K2 0

三分钟带你读懂 BERT

BERT算法的原理由两部分组成，第一步，通过对大量未标注的语料进行非监督的预训练，来学习其中的表达法。其次，使用少量标记的训练数据以监督方式微调预训练模型以进行各种监督任务。...MLM使得BERT能够从文本中进行双向学习，也就是说这种方式允许模型从单词的前后单词中学习其上下文关系。此前的模型这是做不到的。...数据及TPU/GPU运行时 BERT训练使用了33亿单词以及25亿维基百科和8亿文本语料。训练采用TPU, GPU，大致情况如下. ?...当然预训练BERT计算上相当昂贵，除非你采用TPU或类似Nvidia V100这样的GPU。 BERT技术人员同时也放出了多语言模型，模型采用Wikipedia里的100多种语言。...不过多语言BERT模型比单语言模型的性能要略低几个百分点。批判 BERT在MLM任务中的mask策略对真实的单词产生偏见。目前还未显示这种偏见对训练的影响。

1.1K3 0

对比学习还能这样用：字节推出真正的多到多翻译模型mRASP2

在mRASP2的训练过程中，对训练数据里的每一个样本点(即一个平行句对)，它的“锚点”是该样本点的源端句子的向量表示，即公式中的R(x^i)，“正例”是该样本点的目标端句子的向量表示，即公式中的R(x^...其中，图(a)中原本的英语单词被替换成中文对应的单词；而图(b)中原本的中文单词被分别替换成英文、法语、阿拉伯语、德语。...对比多语言翻译系统的基线模型m-Transformer， mRASP2在表中的10个方向上都有显著的提升。相比一些预训练+微调的工作，mRASP2也在大部分方向上超过了它们的效果。...在有监督(英语相关)方向上，mRASP2在大多数方向上都超过了其他工作，其中包括单向模型和预训练+微调的模型。无监督翻译方向 “无监督方向”指的是：至少一端在训练阶段只见过单语语料。...可视化: 对比学习能更好地拉近多语言表示对齐语义空间作者从ted测试集过滤构建了15个语种的平行数据集Ted-M，共2284组，然后获得这些同义句在不同语言的语义空间中的向量后，用T-SNE降维，并且画出了其分布

7026 0

小狗Puppy都是狗！DeepMind大招，以视觉为媒介，做无监督机器翻译，效果极好

其中词嵌入层的作用是将序列转换成维度向量；全连接前馈网络层作用是现在单词上进行最大池化，然后生成序列维度向量；线性层的作用是建立联合嵌入空间与中间表示（Intermediate Representation...f、g、h分别对应语言X、Y以及视频Z的嵌入函数，L定义为损失函数。整个模型的优化目标如上公式所示，据作者介绍，通过定义上面公式，能够将训练策略扩展到多语言情况。...经过预处理，作者使用了word2vec训练单语单词嵌入，并在MUVE（作者文章中提出的算法）、MUSE和VecMap模型中使用这些预训练的嵌入。...另外，对于视频编码器，作者在Kinetics-400数据集上预训练的I3D模型进行微调，对于语言模型作者在相应的HowToW-Text数据集上预训练了单词嵌入层。...第一个基线（Random Chance）采用的是在不使用视频的情况下检索出的翻译，第二个基采用了视频检索（Video Retrieval），使用视频创建两种语言之间的并行语料库。 ?

4331 0

独家 | NAACL19笔记：自然语言处理应用的实用理解（多图解&链接）

它的核心想法是，考虑把一个单词或者句子嵌入到N维向量空间。接着可以应用经典的统计学相关性计算方法。...来降维得到一个文档特征向量。...最后，我们把原始的单词的词向量和上下文中pooled后的这个单词的词向量拼接起来）这个全局的特征表示具有两个吸引人的特性：预训练：对于罕见词的特征提取的改进，因为它得益于在更丰富的上下文中“记忆”单词或其他实体...generation”（ https://arxiv.org/pdf/1903.09722.pdf）这篇文章中，Facebook AI Research探讨了在seq2seq（编码器-解码器）结构中结合预训练向量的不同策略及其在机器翻译和抽象摘要中的应用...有趣的是，当有更多的标记数据可用时，效果改进会减少，这与第一部分讨论的预训练的样本效率是一致的。第二部分到此结束。

5981 0

【机器学习】--- 自然语言推理（NLI）

传统方法的局限性在于它们无法有效处理语言的多样性和上下文依赖性。 3.1.1 基于词向量的方法词向量（Word Embeddings）是将单词映射为低维稠密向量空间的方法。...预训练语言模型（如BERT、GPT）：通过大规模语料库的预训练学习到更丰富的语义表示。...NLI 自从BERT等预训练语言模型被引入以来，NLI的性能得到了显著提高。...预训练模型通过在大规模无标注文本上进行语言建模任务，学习了丰富的语言表示，然后在NLI任务上进行微调（fine-tuning）。...NLI的前沿发展 6.1 跨语言NLI 随着跨语言NLP的发展，NLI的研究也逐渐扩展到多语言和跨语言领域。例如，使用XNLI数据集可以训练多语言模型来处理不同语言之间的推理任务。

1171 0

ECCV 2020 亮点摘要（下）

有趣的是，最近的研究表明，不使用元学习的标准转移学习，其中特征提取器首先在基类上进行了预训练，然后根据新的几个类别上在预训练的提取器之上对分类器进行了微调。，其性能和更复杂的元学习策略不相上下。...然后，使用嵌入空间中的相似性度量将每个样本的特征映射到基类之一。第二步包括关联对齐，其中对特征提取器进行微调，以便将新图像的嵌入向量更靠近其相应基础图像的嵌入。...从而得到单个对象进行隐式三维重建，具有扩展到大型室内场景的能力，并能很好地从合成数据推广到真实数据。...在transformer模型的基础上，对UNITER进行了4个任务的预训练：基于图像的蒙版语言建模（MLM），利用图像和文本特征恢复随机蒙版单词。...例如，在上图中，模型需要从训练样本中获取单词“chair”，这是它以前从未见过的单词。元训练是在向前传递中完成的，并使得模型需要指向训练示例中正确的单词“chair”，并使用匹配损失来训练整个模型。

8843 0

RNN示例项目：详解使用RNN撰写专利摘要

在传递到LSTM层之前，将使用嵌入矩阵（预训练的或可训练的）将单词映射到整数然后映射到向量。...层如下： Embedding每个输入单词映射为100维向量。它可以使用我们在weights参数中提供的预训练的权重。如果我们不想更新Embedding，可以将trainable设置False。...尽管预训练好的嵌入包含的单词有400,000个，我们的词汇中也会包含一些别的单词。当我们用嵌入来表示这些单词时，它们将具有全零的100维向量。...100维向量。...如果单词没有预训练的嵌入，则该向量是全零。 ? 为了探索嵌入，我们可以使用余弦相似性来找到嵌入空间中最接近给定查询词的单词： ? 学习嵌入，这意味着表示只适用于一个任务。

1.8K1 0

EMNLP 2019 丨微软亚洲研究院精选论文解读

图1：微调 BERT 相对于从随机初始化有着更广阔且更平坦的优化区域首先我们在不同任务上对比了微调 BERT 和从随机初始化这两种训练方式，通过可视化它们的一维和二维训练损失表面，可以看出微调 BERT...图6：将规则融入生成模型的三种方式本文采用了先进的预训练语言模型——GPT2 来分别构建编码器和解码器。...}, Bt={(g(y),y)|y∈My} （2）有噪声训练：我们给数据集 B、Bs 和 Bt 的源语言端都加上噪声，包括随机将单词替换为，随机丢弃和随机打乱单词。...图12：语系分类在第二种基于语言向量的聚类中，我们对所有语言训练了一个多语言翻译模型，并在模型中用语言向量来区分不同的语言，语言向量在多语言翻译模型中一起被训练，可以用来表示不同语言的特征，如图13所示...图13：在多语言机器翻译模型中学习语言向量来进行聚类下面是实验评估，我们选用了 IWSLT 2011~2018年，英语和23种其它语言之间的翻译对进行实验。首先看语言的聚类结果。

7131 0

ACL 2019 | 多语言BERT的语言表征探索

另外探测实验还表明，虽然多语言BERT的多语言表示能够将学习到的结构映射到词汇表，但是似乎没有学习到这些结构的系统转换以适应于具有不同词序的目标语言。...1 模型和数据 多语言BERT是一个由12层transformer组成的预训练模型，它的训练语料包含了104种语言的维基百科页面，并且共享了一个词汇表。...词典记忆由于多语言BERT使用单个的多语言词典，所以当在微调期间出现的单词也出现在评估语言中时，这会发生一种跨语言的转换迁移，作者称这种现象为词汇重叠（overlap）。...可是对于transliterated的输入，这两者的表现就差得挺远，这证明预训练语言模型只能在某些语言上较好地进行迁移学习。 3.4....至于为什么在最后几层网络上准确率又下降了，一个可能的解释就是BERT在预训练的时候需要明确与语言相关的信息去预测缺失的单词。

1.3K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭