该数据包含800多万中文词汇，相比现有的公开数据集，在覆盖率、新鲜度及准确性上大幅提高。
10 月19 日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇。
今日，腾讯 AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含 800 多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公开数据的稀缺和不足，腾讯 AI Lab 此次开源，可为中文环境下基于深度学习的自然语言处理（NLP）模型训练提供高质量的底层支持，推动学术研究和工业应用环境下中文 NLP 任务效果的提升。
今日，腾讯AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据包含800多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。针对业界现有的中文词向量公开数据的稀缺和不足，腾讯 AI Lab此次开源，可为中文环境下基于深度学习的自然语言处理（NLP）模型训练提供高质量的底层支持，推动学术研究和工业应用环境下中文NLP任务效果的提升。 数据下载地址：https://ai.tencent.com/ail
周末闲来无事，给AINLP公众号聊天机器人加了一个技能点：中文相似词查询功能，基于腾讯 AI Lab 之前公布的一个大规模的中文词向量，例如在公众号对话窗口输入"相似词 自然语言处理"，会得到：自然语言理解、计算机视觉、自然语言处理技术、深度学习、机器学习、图像识别、语义理解、语音识别、自然语言识别、语义分析；输入"相似词 文本挖掘"，会得到：数据挖掘、文本分析、文本数据、自然语言分析、语义分析、文本分类、信息抽取、数据挖掘算法、语义搜索、文本挖掘技术。如下图所示：
glove： NLP︱高级词向量表达（一）——GloVe（理论、相关测评结果、R&python实现、相关应用） 极简使用︱Glove-python词向量训练与使用
上周《玩转腾讯词向量：词语相似度计算和在线查询》推出后，有同学提到了annoy，我其实并没有用annoy，不过对annoy很感兴趣，所以决定用annoy试一下腾讯 AI Lab 词向量。
背景：需要在pyspark上例行化word2vec，但是加载预训练的词向量是一个大问题，因此需要先上传到HDFS，然后通过代码再获取。调研后发现pyspark虽然有自己的word2vec方法，但是好像无法加载预训练txt词向量。
AI Lab开源大规模高质量中文词向量数据，800万中文词随你用，质量非常高，就是一个词向量.txt文件都有16G之多，太夸张了。。不过的确非常有特点：
最终预测的主题结果, 存放在data/test_predict_aspect_ensemble.txt中。
NLP的接口能力包含词法分析、句法分析、篇章分析、向量技术等各方面技术，共涵盖了16种基本原子能力。具体能力可以参考https://cloud.tencent.com/document/product/271/35484
上一篇文章《腾讯词向量实战：通过Annoy进行索引和快速查询》结束后，觉得可以通过Annoy做一点有趣的事，把“词类比(Word Analogy)”操作放到线上，作为AINLP公众号聊天机器人的新技能，毕竟这是word2vec，或者词向量中很有意思的一个特性，刚好，Annoy也提供了一个基于vector进行近似最近邻查询的接口： get_nns_by_vector(v, n, search_k=-1, include_distances=False) same but query by vector v.
资源整理了文本分类、实体识别&词性标注、搜索匹配、推荐系统、指代消歧、百科数据、预训练词向量or模型、中文完形填空等大量数据集，中文数据集平台和NLP工具等。
本文转载自腾讯 AI Lab，微信号 tencent_ailab。本文将详解 2018 年 NLP 领域顶级学术会议 ACL 上，腾讯AI Lab入选 5 篇文章中的 4 篇长文。
导语 | 在自然语言处理领域，文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据，以求更精准地建立学习模型。而在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题，本文通过图计算的角度来进行中文词向量的训练，并取得了积极的效果，希望与大家一同分享交流。
说到文本相似性可以有很多种划分的方式，从文章的长短可以分别处理，从计算的方式可以分为深度学习和机器学习方式，从实现目的上可以分为去重和匹配...
text2vec, chinese text to vetor.(文本向量化表示工具，包括词向量化、句子向量化)
自从把腾讯词向量对接到AINLP公众号后台后，发现相似词相关的查询需求是逐渐增大的，已经不止一次有非CS专业的同学通过后台查询相似词或者相似度来做课程设计，这让我觉得这个事情有一些意义，当然，通过微信（公众号）后台快速查询相似词（同义词、近义词、反义词）这个需求应该是更普遍的，欢迎推荐给有需求的朋友。关于词向量、相似词、相似度、词语加减，这里写了一些文章：
继续更新出来本系列的代码：乱炖数据之2700余篇“简书交友”专题文章数据的花式玩法
【新智元导读】第 56 届计算语言学协会年会ACL 2018 将于当地时间7 月15-20 日在澳大利亚墨尔本举办。腾讯AI Lab 今年共有 5 篇论文入选，涉及到神经机器翻译、情感分类和自动评论等研究方向。
现在在NLP领域，词向量是一切自然语言处理的基础，有了词向量我们就可以进行数据分析，文本聚类分类的一系列操作了。接下来我们就开始学习如何训练词向量，之前我们有介绍关于 word2vec 的博文 word2vec算法理解和数学推导，这篇博文我们就一起来学习如何实现词向量的训练。 首先我们运用的语料是我之前爬取的京东小米9的好评，训练一个关于手机类的词向量。数据如下所示：
腾讯云向量数据库（Tencent Cloud VectorDB）的 Python SDK 与Java SDK 是基于数据库设计模型，遵循 HTTP 协议，将 API 封装成易于使用的 Python 与 Java 函数或类，为开发者提供了更加友好、更加便捷的数据库使用和管理方式。
摘要：本篇从理论到实践介绍了Facebook开源的FastText模型。首先介绍了背景，由于工作需要对当前语音助手红线模型进行优化，而当前模型使用的是FastText模型；然后从理论方面重点介绍了FastText模型，主要用于词向量训练和文本分类任务中，因为速度快和不错的效果所以广泛应用在工业界。FastText模型结构简单，将词向量和n-gram特征作为模型输入，进行求和取平均即可得到语义向量特征，最后接一个softmax进行分类；最后从源码实践的角度介绍了FastText文本分类流程。对于想了解FastText模型并且应用到线上文本分类任务中的小伙伴可能有所帮助。
在自然语言处理任务中，词向量技术是将自然语言中的词转化为稠密的向量，语义相似的词会有相似的向量表示。Word2Vec等传统的词向量预训练模型都是静态且上下文无关的，不能很好的处理同一个词不同语义。Google发表的论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》提出了BERT模型解决了这样的问题。作为刷新GLUE榜单11项NLP任务（句子关系判断，分类任务，序列标注任务等）成绩的预训练模型，BERT不仅沿袭将词向量和下游任务结合在一起实现上下文相关的优点，并且通过masked语言模型实现了真正的深度双向模型。同时BERT不仅能更好的处理sentence-level的任务，在token-level的语言任务上也达到了不错的效果。BERT不仅带来了研究的热潮，它对NLP任务的影响也在持续发酵中。
BERT 模型是一种 NLP 预训练技术，本文不介绍 BERT 的原理，主要关注如何快速上手使用 BERT 模型生成词向量用于下游任务。
推荐一个Github项目：ChineseNLPCorpus，该项目收集了一批中文自然语言处理数据集的相关链接，可以用来练手，点击阅读原文可以直达该项目链接：
【新智元导读】 2016年12月20日，哈佛大学自然语言处理研究组，宣布开源了他们研发的机器翻译系统 OpenNMT ，并声称该系统的质量已经达到商用水准。本文作者邓侃基于OpenNMT背后的论文，尝
信息抽取(Information Extraction, IE)是从自然语言文本中抽取实体、属性、关系及事件等事实类信息的文本处理技术，是信息检索、智能问答、智能对话等人工智能应用的重要基础，一直受到业界的广泛关注。... 本次竞赛将提供业界规模最大的基于schema的中文信息抽取数据集(Schema based Knowledge Extraction, SKE)，旨在为研究者提供学术交流平台，进一步提升中文信息抽取技术的研究水平，推动相关人工智能应用的发展。
在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。实验证明思路是对的，最后结果是只有60几个词不在词向量里，其中大部分为名词，还有些为因语音翻译问题所造成的出错连词，所有这些词也只出现一次，这部分可以考虑最后删去也不会影响结果。改善未出现词是个关键步骤，因为此后模型会用到词向量，如果未出现词过多，会影响词向量效果。
word embedding技术如word2vec，glove等已经广泛应用于NLP，极大地推动了NLP的发展。既然词可以embedding，句子也应该可以（其实，万物皆可embedding，Embedding is All You Need ^_^）。近年来（2014-2018），许多研究者在研究如何进行句子表示学习，从而获得质量较高的句子向量（sentence embedding）。事实上，sentence embedding在信息检索，句子匹配，句子分类等任务上均有广泛应用，并且上述任务往往作为下游任务来评测sentence embedding的好坏。本文将介绍如何用无监督学习方法来获取sentence embedding，是对近期阅读的sentence embedding论文笔记的总结(https://github.com/llhthinker/NLP-Papers#distributed-sentence-representations)。欢迎转载，请保留原文链接https://www.cnblogs.com/llhthinker/p/10335164.html
在前不久InfoQ主办的Qcon全球软件开发大会上，达观数据创始人陈运文博士受邀出席发表了《文本智能处理的深度学习技术》的演讲。深度学习在人工智能领域已经成为热门的技术，特别是在图像和声音领域相比传统的算法大大提升了识别率。在文本智能处理中深度学习有怎样的具体实践方法？以下内容根据陈运文博士现场分享整理所得。 人工智能目前的三个主要细分领域为图像、语音和文本，达观数据所专注的是文本智能处理领域。文本智能处理，亦即自然语言处理，试图让机器来理解人类的语言，而语言是人类认知发展过程中产生的高层次抽象实体，不像图
在NLP领域，常识知识的使用越发成为热点，因为其有希望帮助克服现有模型的局限：它们仅从训练数据中学到的有偏的、浅薄的知识，而并不擅长像人一样进行真正的推理。
本文为 seaboat 为 AI 研习社撰写的独家稿件，得到了其指点和审核，AI 研习社在此表示感谢。 在NLP领域中，为了能表示人类的语言符号，一般会把这些符号转成一种数学向量形式以方便处理，我们把语言单词嵌入到向量空间中就叫词嵌入（word embedding）。 比如有比较流行的谷歌开源的 word2vec ，它能生成词向量，通过该词向量在一定程度上还可以用来度量词与词之间的相似性。word2vec采用的模型包含了连续词袋模型（CBOW）和Skip-Gram模型，并通过神经网络来训练。 但这篇文章不
本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。
word2vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。虽然源码是开源的，但是谷歌的代码库国内无法访问，因此本文的讲解word2vec原理以Github上的word2vec代码为准。本文关注于word2vec的基础知识。
导读 本文简单的介绍了Google 于 2013 年开源推出的一个用于获取 word vector 的工具包（word2vec），并且简单的介绍了其中的两个训练模型（Skip-gram，CBOW），以及两种加速的方法（Hierarchical Softmax，Negative Sampling）。 一 、word2vec word2vec最初是由Tomas Mikolov 2013年在ICLR发表的一篇文章 Efficient Estimation of Word Representations in Ve
教程地址：http://www.showmeai.tech/tutorials/36
项目链接：https://github.com/Embedding/Chinese-Word-Vectors
深度学习（深度神经网络）作为机器学习的一个重要分支，持续推动了很多领域的研究和应用取得新的进展，其中包括文本处理领域的情感分类问题。由于可以对文本进行更有效的编码及表达，基于深度学习的情感分类对比传统的浅层机器学习和统计学方法，可以取得更高的分类准确率。当前，情感分析在互联网业务中已经具有比较广泛的应用场景，成为了一个重要的业务支持能力。本文结合腾讯鹅漫U品业务在中文文本情感分类上的应用和实践经验，与读者一起学习及探讨。
作者：shenshen-hungry 机器之心编译 参与：刘晓坤、思源 对于国内自然语言处理的研究者而言，中文词向量语料库是需求很大的资源。近日，北京师范大学等机构的研究者开源了「中文词向量语料库」，试图为大家解决这一问题，该库包含经过数十种用各领域语料（百度百科、维基百科、人民日报 1947-2017、知乎、微博、文学、金融、古汉语等）训练的词向量，涵盖各领域，且包含多种训练设置。目前，该研究的论文《Analogical Reasoning on Chinese Morphological and Se
深度学习（深度神经网络）作为机器学习的一个重要分支，持续推动了很多领域的研究和应用取得新的进展，其中包括文本处理领域的情感分类问题。由于可以对文本进行更有效的编码及表达，基于深度学习的情感分类对比传统的浅层机器学习和统计学方法，可以取得更高的分类准确率。当前，情感分析在互联网业务中已经具有比较广泛的应用场景，成为了一个重要的业务支持能力。本文结合腾讯鹅漫U品业务在中文文本情感分类上的应用和实践经验，与读者一起学习及探讨。 一、 文本情感分析的发展与挑战 1. 情感分析的发展 情感分析（Sentiment
最近在做中文词向量相关工作，其中看了一些中文词向量的相关论文，在这篇文章，将把近几年的中文词向量进展及其模型结构加以简述，大概要写3-4篇综述，每篇包含2-3篇论文。
在NLP（自然语言处理）里面，最细粒度的是词语，词语组成句子，句子再组成段落、篇章、文档。所以要处理 NLP 的问题，首先就要拿词语开刀。
AI 科技评论按：本文由 Ben Packer, Yoni Halpern, Mario Guajardo-Céspedes & Margaret Mitchell （Google AI）于 2018 年 4 月 13 日发布。这篇文章讨论并尝试实际测量了不同文本嵌入模型中的性别偏差。
AI 研习社按：本文由 Ben Packer, Yoni Halpern, Mario Guajardo-Céspedes & Margaret Mitchell （Google AI）于 2018 年 4 月 13 日发布。这篇文章讨论并尝试实际测量了不同文本嵌入模型中的性别偏差。
本文结合自然语言处理技术，采用卷积神经网络算法训练SQL注入检测模型，主要包括文本处理、提取文本向量和训练检测模型三个部分。由于本人是初学者，也是通过前辈们的文章来学习这方面的知识，很多地方可能理解不够充分，请大家及时纠正。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
