李林 编译整理 量子位 出品 | 公众号 QbitAI 微软联合创始人保罗·艾伦建立的艾伦人工智能研究院(AI2)今天发布了一个PyTorch上的开源自然语言处理(NLP)研究库:AllenNLP。
AI科技评论消息,艾伦人工智能研究院(AI2)开源AllenNLP,它是一个基于PyTorch的NLP研究库,利用深度学习来进行自然语言理解,通过处理低层次的细节、提供高质量的参考实现,能轻松快速地帮
选自GitHub 机器之心编译 参与:李泽南、黄小天 AllenNLP 可以让你轻松地设计和评估几乎所有 NLP 问题上最新的深度学习模型,并同基础设施一起让这些模型自由运行在云端和你的笔记本电脑上。 链接:http://allennlp.org (http://allennlp.org/) GitHub:https://github.com/allenai/allennlp Allen NLP 是一个基于 Apache 2.0 的 NLP 研究库,构建于 PyTorch 之上,可为开发者提供语言任务中的各
本文来自公众号:哈工大SCIR,AI 科技评论 获授权转载,如需转载,请联系哈工大SCIR
情感分析是一种流行的文本分析技术,用来对文本中的主观信息进行自动识别和分类。它被广泛用于量化观点、情感等通常以非结构化方式记录的信息,而这些信息也因此很难用其他方式量化。情感分析技术可被用于多种文本资源,例如调查报告、评论、社交媒体上的帖子等。
Machine Comprehension (MC) models answer natural language questions by selecting an answer span within an evidence text. The AllenNLP MC model is a reimplementation of BiDAF (Seo et al, 2017), or Bi-Directional Attention Flow, a widely used MC baseline that achieved state-of-the-art accuracies on the SQuAD dataset in 2017. The AllenNLP BIDAF model achieves an EM score of 68.3 on the SQuAD dev set, just slightly ahead of the original BIDAF system's score of 67.7, while also training at a 10x speedup (4 hours on a p2.xlarge).
良好学习过程的关键原则之一,就是让学习的内容略高于当前的理解。如果该主题与你已知的内容太过于相似,那么你就不会有很大的进步。另一方面,如果这个主题太难的话,你就会停滞不前,几乎没有进展。
在AllenNLP的主页上有个单独的菜单(http://allennlp.org/elmo),一直不太了解为何将它单列出来,主要在AllenNLP的许多任务中如文本蕴含里面等已经用到了这个模型所产生的词向量。
自然语言推理是NLP高级别的任务之一,不过自然语言推理包含的内容比较多,机器阅读,问答系统和对话等本质上都属于自然语言推理。最近在看AllenNLP包的时候,里面有个模块:文本蕴含任务(text entailment),它的任务形式是:给定一个前提文本(premise),根据这个前提去推断假说文本(hypothesis)与premise的关系,一般分为蕴含关系(entailment)和矛盾关系(contradiction),蕴含关系(entailment)表示从premise中可以推断出hypothesis;矛盾关系(contradiction)即hypothesis与premise矛盾。文本蕴含的结果就是这几个概率值。
The named entity recognition model identifies named entities (people, locations, organizations, and miscellaneous) in the input text. This model is the "baseline" model described in Peters, Ammar, Bhagavatula, and Power 2017 . It uses a Gated Recurrent Unit (GRU) character encoder as well as a GRU phrase encoder, and it starts with pretrained GloVe vectors for its token embeddings. It was trained on the CoNLL-2003 NER dataset. It is not state of the art on that task, but it's not terrible either. (This is also the model constructed in our Creating a Model tutorial.)
EMNLP2018 254 页的《为NLP研究写出好代码》(Writing Code for NLP Research)的教程会给出答案。
这份内容干货满满,仅仅只是看了 slide 就知道是非常有意思的一次演讲了。slide 共有 254 页之多,在「赤乐君」知乎专栏分享内容的基础上,机器之心为大家介绍 NLP 及深度学习研究者的编程指南。
作者 | 赤乐君,日本某大手研发部门的NLP工程师。关注关系抽取与知识图谱的相关研究。
AllenNLP是一个相对成熟的基于深度学习的NLP工具包,它 构建于 PyTorch 之上,它的设计遵循以下原则: (1)超模块化和轻量化。你可以使用自己喜欢的组件与 PyTorch 无缝连接。 (2)经过广泛测试,易于扩展。测试覆盖率超过 90%,示例模型为你提供了很好的模板。 (3)真正的填充和覆盖,让你可以毫无痛苦地轻松实现正确的模型。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sparkexpert/article/details/79868347
最近AllenNLP在EMNLP2018上做了一个主题分享,名为“写给NLP研究者的编程指南”(Writing Code for NLP Research)。
来源:专知(Quan_Zhuanzhi) 作者:{joelg,mattg,markn}@allenai.org
本周我们给大家整理了机器学习和竞赛相关的NLP库,方便大家进行使用,建议收藏本文。
它发表于2018年末,自那之后的一年,NLP和NLU(自然语言理解)领域有了较大的发展。
2019年EMNLP自然语言处理实证方法会议11月3日至7日在中国香港召开。作为自然语言处理领域的顶级会议之一,在本次大会中,中国被接收的论文数量在所有国家和地区中位居第二。本届大会举办了18场 Workshops 、多个Tutorials和主题丰富的会议活动,吸引了超过1922人参会。
词向量(Word Vector)或词嵌入(Word Embedding)是自然语言处理(NLP)中的一项基础技术,它允许我们将自然语言中的词汇表示为实数向量。这些向量通常存在于一个高维空间内,其中每一个维度都可能代表着某种语义属性。通过这种转换,机器学习模型可以捕捉到词语之间复杂的关系,如语义相似性、反义、上下位关系等。
【导读】近日,自然语言处理顶会EMNLP 2019 在中国香港落下帷幕。大会颁发了最佳论文奖等多个奖项。来自约翰·霍普金斯大学的研究团队摘得最佳论文奖,其一作为华人学者。
基于Transformer的模型已经被证实可以有效地处理从序列标记到问题解答等不同类型的NLP任务,其中一种称为BERT[1]的模型得到了广泛使用,但是像其他采用深度神经网络的模型一样,我们对其内部运作知之甚少。一篇名为《 A Primer in BERTology: What we know about how BERT works[2]》的新论文旨在回答一些有关BERT为什么在这么多NLP任务中表现良好的问题。论文的内容包括:BERT学习的知识类型及其表示的位置,BERT是如何学习知识的,以及研究人员如何使用其他方法来改进它,等等。
参考:《文本嵌入的经典模型与最新进展》 人们已经提出了大量可能的词嵌入方法。最常用的模型是 word2vec 和 GloVe,它们都是基于分布假设的无监督学习方法(在相同上下文中的单词往往具有相似的含义)。
截止2022年11月8日,统计了下github中获星较多的pytorch生态库,有
在本文中,我列出了当今最常用的 NLP 库,并对其进行简要说明。它们在不同的用例中都有特定的优势和劣势,因此它们都可以作为专门从事 NLP 的优秀数据科学家备选方案。每个库的描述都是从它们的 GitHub 中提取的。
大数据文摘作品,转载要求见文末 编译 | 宁云州 大家好呀,又到了本周的AI大事件时间了。过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库可以使用了? 了解过去一周AI爆点,一篇就够啦! 新闻 IBM和MIT成立联合人工智能研究实验室 来源:NEWS.MIT.EDU IBM计划投资240万元,与MIT联合创建一个能工作十年的、叫作MIT-IBM沃森的人工智能实验室。实验室主要进行基本的人工智能研究。 prowler.io在AI决策领域抢到了
指代消解是自然语言处理的一大任务之一,它是信息抽取不可或缺的组成部分。在信息抽取中,由于用户关心的事件和实体间语义关系往往散布于文本的不同位置,其中涉及到的实体通常可以有多种不同的表达方式,例如某个语义关系中的实体可能是以代词形式出现的,为了更准确且没有遗漏地从文本中抽取相关信息,必须要对文章中的指代现象进行消解。指代消解不但在信息抽取中起着重要的作用,而且在机器翻译、文本摘要和问答系统等应用中也极为关键。
作者:TurboNLP,腾讯 TEG 后台工程师 导语 NLP 任务(序列标注、分类、句子关系判断、生成式)训练时,通常使用机器学习框架 Pytorch 或 Tensorflow,在其之上定义模型以及自定义模型的数据预处理,这种方式很难做到模型沉淀、复用和共享,而对于模型上线同样也面临:上线难、延迟高、成本高等问题,TEG-AI 平台部-搜索业务中心从 2019 年底开始,前期经过大量调研,在 AllenNLP 基础上自研了推理及训练一体化工具 TurboNLP, 涵盖了训练框架 TurboNLP-
来源:计算机视觉与机器学习作者丨Jay Alammar 链接丨https://jalammar.github.io/illustrated-bert/本文约4600字,建议阅读8分钟本文中,我们将研究BERT模型,理解它的工作原理,对于其他领域的同学也具有很大的参考价值。 自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后,BERT 就在 NLP 领域大火,在本文中,我们将研究BERT模型,理解它的工作原理,对于其他领域的同学也具有很大的参考价值。 前言 2018年可谓是自然语
来源:机器学习初学者本文约4500字,建议阅读8分钟我们将研究BERT模型,理解它的工作原理,这个是NLP(自然语言处理)的非常重要的部分。 导语 自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后,BERT(Bidirectional Encoder Representation from Transformers)就成为NLP领域大火,在本文中,我们将研究BERT模型,理解它的工作原理,这个是NLP(自然语言处理)的非常重要的部分。 正文开始 前言 2018年可谓是自然
【人工智能头条导读】作者一年前整理了这份关于 NLP 与知识图谱的参考资源,涵盖内容与形式也是非常丰富,接下来人工智能头条还会继续努力,分享更多更好的新资源给大家,也期待能与大家多多交流,一起成长。
自然语言处理(NLP)是一门交叉学科领域,涵盖了计算机科学、人工智能、语言学等多个学科。它旨在使计算机能够理解、解释和生成人类语言的方式,从而创建与人类之间的自然、无缝的交互。
安妮 编译自 PyTorch官网 今天,PyTorch公开发布一周年了。 这个自诞生之日起就火热的深度学习框架,这一年是怎样的成长轨迹?刚刚,PyTorch团队在官网上发文,盘点了PyTorch上一年的进展、大事件和社区情况,并和其他框架进行了对比。 总体来说战绩是这样的—— GitHub上有87769行Python代码导入了torch GitHub上3983个资源库在命名或描述中提到了PyTorch PyTorch文件的下载量超50万次,具体说达到了651916次 5400个用户写了21500篇帖子,在
若你是做NLP的,一定对词向量很亲切,若你是做推荐的,对词向量也一定不会陌生,以词向量为代表的序列向量化方法已经成为机器学习中必不可少的实战利器。
2018 年是机器学习模型处理文本(更准确地说是自然语言处理,简称 NLP)的一个转折点。如何最好地表征词和句子以便最好地理解其潜在含义和关系?我们对此的概念理解正在快速演进。此外,NLP 社区也一直都在提出强大的新组件——你可以免费下载它们并将其用在你自己的模型和流程中(这被称为 NLP 的 ImageNet 时刻,是指这类似于多年前用于计算机视觉任务的机器学习的加速发展)。
目前NLP主要着眼在多任务学习和语言模型预训练,从而孕育出各种模型,如BERT、Transformer、Elmo、MT-DNN、GPT-2等。为了评估这些模型的精准度,GLUE基准应运而生。
为了解决这个问题,年初我和Robert Stojnic搞了Papers With Code,这个网站把深度学习的研究论文和代码结合在一起。
为了解决这个问题,年初我和 Robert Stojnic 搞了 Papers With Code,这个网站把深度学习的研究论文和代码结合在一起。
文摘菌记得小时候看《哈利·波特》小说的时候,最难记住的就是那些音译的名字,又长又多,最后只能关注那几个主要人物,跟着主要剧情一路过去,当个爽文看完了。
https://www.cnblogs.com/the-wolf-sky/articles/10192363.html
"词和句子的嵌入已成为所有基于深度学习的自然语言处理(NLP)系统的重要组成部分,它们在固定长度的稠密向量中编码单词和句子,以大幅度提高神经网络处理文本数据的能力。"
【前言】近年来,自然语言处理(NLP)的应用程序已经无处不在。NLP使用率的快速增长主要归功于通过预训练模型实现的迁移学习概念,迁移学习本质上是在一个数据集上训练模型,然后使该模型能够适应在不同的数据集上执行不同的NLP操作。这一突破使得每个人都能轻松地开启NLP任务,尤其是那些没有时间和资源从头开始构建NLP模型的人。所以,使用预训练模型处理NLP任务是目前非常热门的研究方向,本文将重点介绍八个预训练的NLP模型以及每个模型的相关资源。
资源整理了文本分类、实体识别&词性标注、搜索匹配、推荐系统、指代消歧、百科数据、预训练词向量or模型、中文完形填空等大量数据集,中文数据集平台和NLP工具等。
2017 年 1 月,Facebook 开源 PyTorch,短短一年时间,PyTorch 便发展成一线开发者争相使用的工具。这一年间,有哪些研究人员对 PyTorch 的发展做出了贡献?关于 PyTorch 的经典课程有哪些?它经历了什么样的改变?研究人员又带来了哪些创新?(原文:http://pytorch.org/2018/01/19/a-year-in.html )
今年早些时候,作为尝试记录深度学习领域进展的第一步,本文作者Ross Taylor创建了网站Papers With Code。该网站是一个将深度学习研究论文与其实现代码相连接的社区。
本文通过多个实验的对比发现,结合Bert-NER和特定的分词、词性标注等中文语言处理方式,获得更高的准确率和更好的效果,能在特定领域的中文信息抽取任务中取得优异的效果。
先来一张图。 本文主要援引复旦大学邱锡鹏教授的论文:NLP预训练模型综述,对预训练模型进行了一些梳理
领取专属 10元无门槛券
手把手带您无忧上云