从 2018 年开始，预训练（pre-train） 毫无疑问成为 NLP 领域最热的研究方向。
编者按：从2018年开始，预训练（pre-train） 毫无疑问成为NLP领域最热的研究方向。借助于BERT和GPT等预训练模型，人类在多个自然语言理解任务中取得了重大突破。然而，在序列到序列的自然语言生成任务中，目前主流预训练模型并没有取得显著效果。为此，微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS，在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中，MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。
本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类 。 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。
本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类（点击文末“阅读原文”获取完整代码数据）。
TLDR: 本文对预训练语言模型和基于预训练语言模型的序列推荐模型进行了广泛的模型分析和实验探索，发现采用行为调整的预训练语言模型来进行基于ID的序列推荐模型的物品初始化是最高效且经济的，不会带来任何额外的推理成本。
BERT通常只训练一个编码器用于自然语言理解，而GPT的语言模型通常是训练一个解码器。如果要将BERT或者GPT用于序列到序列的自然语言生成任务，通常只有分开预训练编码器和解码器，因此编码器-注意力-解码器结构没有被联合训练，记忆力机制也不会被预训练，而解码器对编码器的注意力机制在这类任务中非常重要，因此BERT和GPT在这类任务中只能达到次优效果。
今天给大家介绍的是麻省理工学院林肯实验室、电子研究实验室等机构发表在arxiv上的预印文章《Antibody Representation Learning for Drug Discovery》。作者开发了一个抗体序列特定的预训练语言模型。发现在通用蛋白质序列数据集上对模型进行预训练可以更好的支持特征细化和学习抗体结合预测。证明语言模型能够在抗体结合预测方面学习到比传统抗体序列特征或CNN模型学习的特征都更有效的特征。分析了训练数据大小对预训练模型性能的敏感性。
最近我们被客户要求撰写关于深度学习循环神经网络RNN的研究报告，包括一些图形和统计输出。
无监督接触预测 (Unsupervised Contact Prediction) 是在蛋白质结构测定和设计过程中揭示蛋白质物理、结构和功能约束的核心。几十年来，主要的方法是从一组相关序列中推断进化约束。在过去的一年里，蛋白质语言模型已经成为一种潜在的替代方法，但目前性能还没有达到生物信息学中最先进的方法。本文证明了Transformer的注意图 (Attention Map) 能够从无监督语言建模目标中学习蛋白质序列中各个残基之间的接触距离。我们发现，迄今为止已经训练过的最高容量模型已经优于当前最先进的无监督接触预测的工作流程，这表明过去这些繁琐的工作流程可以用端到端模型的单向传递工作流程来代替。
此示例说明如何使用长短期记忆 (LSTM) 网络对序列数据的每个时间步长进行分类（点击文末“阅读原文”获取完整代码数据）。
最近我们被客户要求撰写关于长短期记忆 (LSTM) 神经网络的研究报告，包括一些图形和统计输出。
时间序列预测可以使用经典预测方法和深度学习方法。经典预测方法如ETS、ARIMA等为每个时间序列独立地拟合模型，而深度学习方法在给定的数据集中学习时间序列。
今年1月，百度发布了全新的生成式预训练模型ERNIE-GEN，我们在之前的一些文章中有过介绍：『芝麻街跨界NLP，没有一个ERNIE是无辜的』、『NLP简报（Issue#4）』，但都不是很深入，今天一起看看来自paper作者对ERNIE-GEN的解读。
蛋白从头设计是蛋白质工程的长期课题，目前计算方法难以将蛋白序列映射至其功能。然而，今年3月Nature Machine Intelligence发表的一篇文章，似乎找到了序列与功能间的映射之法。作者提出ProteinGAN，一种基于自注意力机制的生成对抗网络，能够“学习”天然蛋白序列的多样性，并且进一步生成功能蛋白序列。ProteinGAN从复杂的多维氨基酸序列空间中学习序列间的进化关系，经实验验证，生成了具有天然物理性质的新序列。
模型训练既要让模型知道该做什么，也要让模型知道不该做什么！目前绝大数的语言模型都是通过标注好的数据进行训练，并希望模型输出结果像标注的正例数据一样好，然而却忽略了负例数据的重要性。因为模型训练仍然需要少量的负面数据来提高模型效果。今天给大家分享的这篇文章就从这个角度出发，构建了一个新的损失函数将正例数据和负例数据融到一起进行模型训练。
今天给大家介绍来自佛蒙特大学的Colin M. Van Oort等人在JCIM上发表的“AMPGAN v2: Machine Learning-Guided Design of Antimicrobial Peptides”，作者提出了一种基于双向条件生成对抗网络的抗菌肽（AMPs）设计方法AMPGAN v2。AMPGAN v2使用生成器和鉴别器来学习数据驱动的先验知识，并使用条件变量控制生成。
但是由于缺乏大型且整合的公开时间序列数据，所以在时间序列数据上预训练大型模型具有挑战性。为了应对这些挑战，MOMENT团队整理了一个庞大而多样的公共时间序列集合，作者将其称为Time-series Pile。代码地址我们会在文章的最后贴出来。
最近，来自UC伯克利的计算机视觉「三巨头」联手推出了第一个无自然语言的纯视觉大模型（Large Vision Models），并且第一次证明了纯视觉模型本身也是可扩展的（scalability）。
概率时间序列预测是在广泛应用中出现的一个重要实际问题，包括金融、天气预报、脑成像和计算机系统性能管理等领域。针对这一任务，已经提出了各种方法，从传统的自回归模型到最近基于深度学习架构的神经预测方法。这些以前的方法大多集中在用来自相同领域的数据训练模型，以执行预测任务。
序列标注是NLP中一项重要的任务，它主要包括分词，词性标注，命名实体识别等子任务。通过对预训练后的BERT模型进 行finetune，并与CRF进行结合，可以很好地解决序列标注问题。上篇文章对BERT官方源码进行了介绍，本篇文章将介绍 如何通过BERT解决序列标注问题。同时本篇文章将BERT+CRF模型与其他模型进行了对比，并且对BERT在序列标注上任务上存在的问题进行了分析。
我第一次尝试研究RNN时，我试图先学习LSTM和GRU之类的理论。在看了几天线性代数方程之后（头疼的要死），我在Python深度学习中发生了以下这段话：
时间序列分析是一个重要领域，涵盖从天气预报和到使用心电图检测不规则心跳，再到识别异常软件部署等一系列广泛应用。
AI 科技评论按：自 2018 年以来，预训练无疑是自然语言处理（NLP）领域中最热门的研究课题之一。通过利用 BERT、GPT 和 XLNet 等通用语言模型，该领域的研究者们在自然语言理解方面已经取得了许多重大的突破。然而，对于序列到序列的自然语言生成任务，这些主流的预训练方法并没有带来显著的改进，对此，微软亚洲研究院提出了一个全新的通用预训练方法——MASS，在该任务中可以得到比 BERT 和 GPT 更好的效果。
这次为大家报道的是nature methods 上一篇题为” Deep embedding and alignment of protein sequences” 的文章，来自法国巴黎Google Research的Brain Team团队。
LSTM 网络是一种循环神经网络 (RNN)，它通过循环时间步长和更新网络状态来处理输入数据。网络状态包含在所有先前时间步长中记住的信息。您可以使用 LSTM 网络使用先前的时间步长作为输入来预测时间序列或序列的后续值。要训练 LSTM 网络进行时间序列预测，请训练具有序列输出的回归 LSTM 网络，其中响应（目标）是训练序列，其值偏移了一个时间步长。换句话说，在输入序列的每个时间步，LSTM 网络学习预测下一个时间步的值。
而今天，AI 科技评论将为大家介绍一篇由中科院先进所、腾讯、华南理工近日合作发表在信息检索领域顶会 SIGIR 2021上的一篇论文，这篇论文发现通过对残差块结构进行微小的修改，序列推荐模型能够使用更深的网络结构以进一步提升精准度，也就是，推荐模型也能够像计算机视觉领域的模型那样拥有100层以上的深度并获得最优性能。
今天给大家解读一篇NeurlPS 2022中哈佛大学在时间序列无监督预训练的工作。这篇工作我认为非常有价值，为时间序列表示学习找到了一个很强的先验假设，是时间序列预测表示学习方向的一个突破性进展。
选自arXiv 机器之心编译 参与：李诗萌、黄小天 本文提出了一种简单的方法，通过在原始函数中加入辅助损失改善 RNN 捕捉长期依赖关系的能力，并在各种设置下评估了该方法，包括用长达 16，000 的序列对一张图的逐个像素进行分类，以及对一个真实的基准文件进行分类；和其他常用模型和大小相当的转换器相比，该方法在性能和资源使用效率方面的表现都非常突出。 介绍 大量人工智能应用的前提是首先理解序列中事件间的长期依赖关系。例如，在自然语言处理中，有时就必须要对书中描述的远距离事件之间的关系有所了解，这样才能回答问
研究者认为，尽管深度学习在其他领域取得了成功，但其在时间序列分析中的有效性仍然受到争议。他们强调了由于缺乏标准化大规模数据集，在评估深度学习模型进行时间序列预测时所面临的挑战。
时序数据广泛存在于零售、金融、制造业、医疗等多个领域，其中时序预测应用对于决策制定有着重要的意义。尽管深度学习方法在时序预测中取得了巨大进展，但其依旧遵循传统机器学习范式：针对特定数据集的特定预测任务（预测长度）训练相对应的模型。
选自arXiv 机器之心编译 编辑：Panda 在当前 NLP 领域，基于 Transformer 的模型可谓炙手可热，其采用的大规模预训练方法已经为多项自然语言任务的基准带来了实质性的提升，也已经在机器翻译等领域得到了实际应用。但之前却很少有研究者思考：预训练是否也能提升卷积在 NLP 任务上的效果？近日， 资源雄厚的 Google Research 的一项大规模实证研究填补了这一空白。结果发现，在许多 NLP 任务上，预训练卷积模型并不比预训练 Transformer 模型更差。本文将重点关注该研究的
今天为大家介绍的是来自Peng Yin研究团队的一篇关于蛋白质表征的论文。蛋白质是生命的基本构建单元，在生物学中扮演着重要的功能角色。作者提出了一个多模态深度学习框架，用于融合约1百万个蛋白质序列、结构和功能注释（MASSA）。通过多任务学习过程和五个特定的预训练目标，提取了细粒度的蛋白质域特征。通过预训练，多模态蛋白质表示在特定的下游任务中取得了最先进的性能，如蛋白质性质（稳定性和荧光性），蛋白质-蛋白质相互作用，以及蛋白质-配体相互作用，同时在二级结构和远源同源性任务中取得了竞争性结果。
推荐系统是AI应用最成熟的领域之一，行为序列的表征学习是其中非常重要的一环。过去序列表征学习依赖于物品ID，难以迁移到新的推荐场景或平台中，使得不同场景下的推荐系统彼此隔离，数据孤岛问题严重。
本文共3200字，建议阅读10分钟。 本文将教你使用做紧致预测树的算法来进行序列学习。
https://blog.csdn.net/u011239443/article/details/79973269
今天给大家介绍来自首尔国立大学Sungroh Yoon课题组在arXiv上发表的一篇文章。作者指出当前很多方法采用半监督学习来进行蛋白质序列建模，其中的预训练方法主要依赖于语言建模任务，并且常常表现的性能有限。为了更好地捕获未标记蛋白序列中包含的信息，必须进行补充蛋白特异性的预训练任务。针对以上问题，作者提出了一种称为PLUS的新型预训练方案。PLUS包括掩码语言建模（MLM）和补充蛋白质特异性的预训练任务，即相同的家族预测，可用于预训练各种模型架构。
今天为大家介绍的是来自Pietro Sormanni团队的一篇论文。单克隆抗体已成为关键的治疗药物。特别是纳米抗体，这种小型的、单域的抗体自然表达于骆驼科动物中。自2019年首个纳米抗体药物获批后迅速受到关注。然而，将这些生物制品作为治疗药物开发仍然具有挑战性。尽管目前研究人员已经开发体外相对快速低廉的定向进化技术，但从动物免疫或患者身上发现治疗性抗体仍是黄金标准。源自免疫系统的抗体在体内通常具有诸如长半衰期、低自身抗原反应性和低毒性等有利特性。
最近，中国香港科技大学、上海AI Lab等多个组织联合发布了一篇时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段考虑各个序列之间的关系。因此，本文提出的方法也更适合作为时空预测领域的预训练模型。下面为大家详细介绍一下这篇文章。
本文主要参考：https://zhuanlan.zhihu.com/p/96020318
LLMs（大型语言模型）能够记忆并重复它们的训练数据，这可能会带来隐私和版权风险。为了减轻记忆现象，论文作者引入了一种名为"goldfish loss"的微妙修改，在训练过程中，随机抽样的一部分标记被排除在损失计算之外。这些被舍弃的标记不会被模型记忆，从而防止模型完整复制训练集中的一整个标记序列。
今天，公众号要给大家介绍，区分真实的金融时间序列和合成的时间序列。数据是匿名的，我们不知道哪个时间序列来自什么资产。
2021年12月25日，来自加拿大多伦多大学的Alexey Strokach和Philip M. Kim在Curr Opin Struc Biol合作发表综述“蛋白质设计的深度生成建模”。
大型语言模型时代下，面对海量的文本数据，扩展序列长度已然成为一个关键问题。现有算法下，序列长度受限主要受模型表达能力、计算复杂度的影响。在此背景下，微软研究提出了一种Transformer变体：LONGNET，该架构将序列标记长度扩展到了10亿+，且并不会影响较短序列的性能。LONGNET的核心是扩展注意力，将计算复杂度从二次降低到线性。LONGNET可以用作分布式训练器，「跨多个GPU」设备并行训练序列。
数据准备是模型训练的基础,本教程将详细介绍Transformer在自然语言处理任务中的数据准备过程。我们将以文本分类任务为例,手把手教你如何获取质量好的语料,进行数据清洗与预处理,制作符合Transformer输入要求的训练集、验证集和测试集。
序列预测是近年来深度学习的热点应用之一。从推荐系统、自然语言处理还是时间序列分析，它的潜力似乎是无穷无尽的。这使得业界涌现出前所未有的解决方案，并推动着不断创新。
大家都知道预训练大型语言模型（LLMs）具有强大的表示学习能力和少样本学习，但要利用LLM处理时间序列，需要解决两个关键问题：
作者（三位Google大佬）一开始提出DNN的缺点，DNN不能用于将序列映射到序列。此论文以机器翻译为例，核心模型是长短期记忆神经网络（LSTM），首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为特定维度的向量，然后另一个深层LSTM将此向量解码成相应的另一语言序列（下文简称目标序列）。我个人理解是，假设要将中文翻译成法语，那么首先将中文作为输入，编码成英语，然后再将英语解码成法语。这种模型与基于短语的统计机器翻译(Static Machine Translation, SMT)相比，在BLUE(Bilingual Evaluation Understudy)算法的评估下有着更好的性能表现。同时，作者发现，逆转输入序列能显著提升LSTM的性能表现，因为这样做能在源序列和目标序列之间引入许多短期依赖，使得优化更加容易
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
