Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何加载腾讯发布的nlp语料800万条词向量文件？

问如何加载腾讯发布的nlp语料800万条词向量文件？

提问于 2019-01-28 07:52:24

回答 1关注 0查看 2.9K

我该使用哪种方式去加载它，它太大了。有什么好的方法去使用这个文件吗？谢谢

回答 1

ioiio

修改于 2019-04-02 07:17:14

我就是按官方说明直接用gensim加载的，不过的确蛮久的。下面是加载好模型后的内存占用。我用的笔记本，16g内存。图一可以看到大概占用9.5g内存。我用的是WSL里的jupyterlab。然后，可以用gensim保存词向量的方法`WordEmbeddingsKeyedVectors.save`导出二进制格式，下一次加载会快很多。

和开发者交流更多问题细节吧，去写回答

相关文章

【NLP-词向量】词向量的由来及本质

神经网络 NLP技术

词嵌入是所有自然语言处理任务所必须要经历的步骤，非常的重要。词向量在网络上已经有了大量的文章，但是，出于我们专栏的完整性系统性的考虑，笔者还是决定加上这样一个专题。

用户1508658

2019/09/03

1.6K0

【NLP-词向量】词向量的由来及本质

词向量：如何评价词向量的好坏

https java 网络安全 NLP技术

词向量、词嵌入或者称为词的分布式表示，区别于以往的独热表示，已经成为自然语言任务中的一个重要工具，对于词向量并没有直接的方法可以评价其质量，下面介绍几种间接的方法。

全栈程序员站长

2022/09/06

1.3K0

中文自然语言处理数据集：ChineseNLPCorpus（附链接）

推荐一个Github项目：ChineseNLPCorpus，该项目收集了一批中文自然语言处理数据集的相关链接，可以用来练手，点击阅读原文可以直达该项目链接：

数据派THU

2019/06/28

12.6K0

中文自然语言处理数据集：ChineseNLPCorpus（附链接）

【NLP】最全中文自然语言处理数据集、平台和工具整理

github git 开源 https http

资源整理了文本分类、实体识别&词性标注、搜索匹配、推荐系统、指代消歧、百科数据、预训练词向量or模型、中文完形填空等大量数据集，中文数据集平台和NLP工具等。

黄博的机器学习圈子

2023/01/10

3.9K0

【NLP】最全中文自然语言处理数据集、平台和工具整理

【Embedding】GloVe：大规模语料中快速训练词向量

编程算法神经网络

今天学的论文是斯坦福大学 2014 年的工作《GloVe: Global Vectors for Word Representation》，在当时有两种主流的 Word Embedding 方式，一种是矩阵分解，类似 LSA；另一种是 13 年提出的 Word2Vec，基于滑动窗口的浅层神经网络。前者的优点是利用了全局的统计信息（共现矩阵），后者的优点是计算简单且效果好 = =，但缺点是没利用全局的统计信息。所以这篇论文的主要工作是想综合两者的优点。

阿泽 Crz

2020/07/21

1.3K0

【Embedding】GloVe：大规模语料中快速训练词向量

【NLP实战】tensorflow词向量训练实战

批量计算 NLP技术

实战是学习一门技术最好的方式，也是深入了解一门技术唯一的方式。因此，NLP专栏计划推出一个实战专栏，让有兴趣的同学在看文章之余也可以自己动手试一试。

用户1508658

2019/10/14

1.1K0

【NLP实战】tensorflow词向量训练实战

800万中文词，腾讯AI Lab开源大规模NLP数据集

开源 NLP技术编程算法深度学习

10 月19 日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。

昱良

2018/11/08

9710

腾讯AI Lab开源800万中文词的NLP数据集 | 资源

该数据包含800多万中文词汇，相比现有的公开数据集，在覆盖率、新鲜度及准确性上大幅提高。

量子位

2018/11/05

3.9K1

NLP实战使用gensim与自己语料训练word2vec fasttext模型词向量及使用

机器学习深度学习模式识别 python NLP技术

本博客主要记录使用自己的语料库与Python gensim库训练word2vec fastext等模型获得相关词向量，以及训练好的词向量模型基本用法。

大鹅

2021/03/08

4.5K0

腾讯AI Lab开源大规模高质量中文词向量数据，800万中文词随你用

NLP技术编程算法深度学习

今日，腾讯AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含800多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公开数据的稀缺和不足，腾讯 AI Lab此次开源，可为中文环境下基于深度学习的自然语言处理（NLP）模型训练提供高质量的底层支持，推动学术研究和工业应用环境下中文NLP任务效果的提升。数据下载地址：https://ai.tencent.com/ail

腾讯技术工程官方号

2018/10/19

18.3K1

腾讯AI Lab开源大规模高质量中文词向量数据，800万中文词随你用

重磅福利！腾讯 AI Lab 开源大规模高质量中文词向量数据，800 万中文词随你用！

开源 NLP技术深度学习 http html

今日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公开数据的稀缺和不足，腾讯 AI Lab 此次开源，可为中文环境下基于深度学习的自然语言处理（NLP）模型训练提供高质量的底层支持，推动学术研究和工业应用环境下中文 NLP 任务效果的提升。

崔庆才

2018/11/08

1.6K0

800万中文词，腾讯AI Lab开源大规模NLP数据集

开源 NLP技术编程算法深度学习

10 月19 日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。

AI科技大本营

2018/11/08

9400

如何产生好的词向量？

NLP技术神经网络分布式

词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具供大家使用。在使用这些工具产生词向量时，不同的训练数据，参数，模型等都会对产生的词向量有所影响，那么如何产生好的词向量对于工程来说很重要。中科院自动化所的来斯惟博士对此进行了详细的研究。本篇也是我阅读来博士发表的论文《How to

机器学习AI算法工程

2019/10/28

1.5K0

NLP中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert

编程算法 NLP技术

一、文本表示和各词向量间的对比 1、文本表示哪些方法？ 2、怎么从语言模型理解词向量？怎么理解分布式假设？ 3、传统的词向量有什么问题？怎么解决？各种词向量的特点是什么？ 4、word2vec和NNLM对比有什么区别？（word2vec vs NNLM） 5、word2vec和fastText对比有什么区别？（word2vec vs fastText） 6、glove和word2vec、 LSA对比有什么区别？（word2vec vs glove vs LSA） 7、 elmo、GPT、bert三者之间有什么区别？（elmo vs GPT vs bert）

zenRRan

2019/06/14

3.8K0

NLP中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert

什么是词向量？如何得到词向量？Embedding 快速解读

深度学习 NLP技术编程算法

我第一次接触 Embedding 是在 Word2Vec 时期，那时候还没有 Transformer 和 BERT 。Embedding 给我的印象是，可以将词映射成一个数值向量，而且语义相近的词，在向量空间上具有相似的位置。

PP鲁

2022/09/20

2.4K0

什么是词向量？如何得到词向量？Embedding 快速解读

词向量 Word Vectors#NLP系列课02

https 网络安全 NLP技术

人类在开始掌握语言之前，就已经知道利用声音高低强弱来表达感情和自己的观点。当一个群体里有人去世时，群体的其他成员就会用低沉的呜咽声来表达对死者的哀悼和纪念。后来，人类懂得了劳动，还发明了用来统一劳动节奏的号子和相互间交流和传递信息的呼喊……

mixlab

2020/02/27

4500

词向量 Word Vectors#NLP系列课02

Hello NLP(1)——词向量Why&How

相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，NLP是AI完全问题，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。

beyondGuo

2019/01/09

5880

NLP教程(2) | GloVe及词向量的训练与评估

深度学习 NLP技术

教程地址：http://www.showmeai.tech/tutorials/36

ShowMeAI

2022/05/01

1.1K0

NLP教程(2) | GloVe及词向量的训练与评估

【词向量】Hsigmoid加速词向量训练

深度学习 NLP技术

导语 PaddlePaddle提供了丰富的运算单元，帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里，我们针对常见的机器学习任务，提供了不同的神经网络模型供大家学习和使用。本周推文目录如下：周三：【词向量】Hsigmoid加速词向量训练周四：【词向量】噪声对比估计加速词向量训练周五：【RNN语言模型】使用RNN语言模型生成文本词向量用一个实向量表示词语，向量的每个维都表示文本的某种潜在语法或语义特征，是深度学习应用于自然语言处理领域最成功的概念和成果之一。广义的，词向量

用户1386409

2018/03/15

1.1K0

【词向量】Hsigmoid加速词向量训练

NLP（1）——词向量one hot编码词向量编码思想Word2VecEmbeddingSkip-gram的原理负采样

前言：深度学习网络rnn能解决有序的问题，我们就生活在这样一个有序的世界。比如时间，音乐，说话的句子，甚至一场比赛，比如最近正在举办的俄罗斯世界杯。 one hot编码我们在做分类任务的时候经常用到

DC童生

2018/06/19

4.3K0

相似问题

腾讯词向量有开放新增词向量的接口吗？

1489

腾讯词向量相似词相似度不高？

0637

如何最近用户自己词向量到这800万种？

0182

nlp还有敏感词过滤接口么？

0110

腾讯发布的向量数据库有哪些核心能力？

0196

相关问答用户

请输入您想邀请的人

腾讯 | 产品运营经理擅长5个领域

腾讯 | 服务生

腾讯 | 客户端研发擅长3个领域

腾讯云AI | 技术专家

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例