开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

学习速率在LSTM中的衰减

是指在训练LSTM模型时，逐渐减小学习速率的过程。LSTM（Long Short-Term Memory）是一种常用于处理序列数据的循环神经网络模型。

衰减学习速率的目的是为了在训练过程中更好地调整模型的参数，以提高模型的收敛速度和性能。学习速率的衰减可以使模型在初始阶段更快地接近最优解，然后逐渐减小学习速率以细化参数的调整，避免在接近最优解时震荡或错过最优解。

在LSTM中，常用的学习速率衰减方法包括指数衰减、余弦衰减和自适应衰减等。

指数衰减（Exponential Decay）：学习速率按指数函数递减，通常形式为学习速率 = 初始学习速率 * 学习速率衰减率^（当前迭代次数 / 衰减步数）。指数衰减方法简单易用，但需要手动设置衰减率和衰减步数。
余弦衰减（Cosine Decay）：学习速率按余弦函数递减，通常形式为学习速率 = 初始学习速率 0.5 （1 + cos（当前迭代次数 / 衰减步数 * π））。余弦衰减方法可以更平滑地调整学习速率，适用于长时间的训练任务。
自适应衰减（Adaptive Decay）：学习速率根据模型的训练情况自适应地进行衰减。常见的自适应衰减方法有Adagrad、RMSprop和Adam等。这些方法会根据参数的梯度大小自动调整学习速率，使得梯度较大的参数获得较小的学习速率，梯度较小的参数获得较大的学习速率。

学习速率衰减在LSTM模型中的应用场景包括自然语言处理、语音识别、机器翻译等需要处理序列数据的任务。通过合理选择学习速率衰减方法，可以加快模型的训练速度，提高模型的泛化能力。

腾讯云提供了一系列与LSTM相关的产品和服务，如腾讯云机器学习平台（https://cloud.tencent.com/product/tccli）和腾讯云自然语言处理（https://cloud.tencent.com/product/nlp）等。这些产品和服务可以帮助开发者更便捷地构建和训练LSTM模型，实现各种序列数据处理任务。

相关搜索:TensorFlow学习率衰减-如何正确提供衰减的步数？在Keras-to-TPU模型中使用tensorflow学习率衰减 keras学习到的LSTM网络中的前向传递在TensorFlow/Keras中，当使用学习率衰减时，恢复训练时的行为是什么？LSTM在Keras中的实现在Keras中实现LSTM 实现强化学习的LSTM time_step大小数组衰减到模板中的指针在Keras中连接LSTM的输出在Pytorch中测试LSTM的实现在Eve中启用速率限制 Pytorch中的LSTM LSTM中的NumHiddenUnits 在SQL中查找最近的日期速率具有深度学习的文本要素上的重复值，例如LSTM 如何绘制R中的指数衰减图？衰减函数中的项过滤器 Keras在LSTM中的回看函数如何在Tensorflow/TFLearn中通过LSTM同时学习两个序列？ggplot2中热图的衰减函数

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

RNN和LSTM有长期记忆吗？并没有！| ICML 2020

本文介绍的是ICML 2020 论文《Do RNN and LSTM have Long Memory? 》，论文作者来自华为诺亚方舟实验室与港大。作者 | 诺亚方舟实验室编辑 | 丛末论文地

04

【深度干货】2017年深度学习优化算法研究亮点最新综述（附slide下载）

【导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。Sebastian Ruder曾在去年发表博文《梯度下降优化算法综述》（An overview of gradient descent optimization algorithms），详细对比了梯度下降算法中的不同变种，并帮助使用者根据

05

TensorFlow-10-基于 LSTM 建立一个语言模型

今日资料： https://www.tensorflow.org/tutorials/recurrent 中文版： http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/recurrent.html 代码： https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py 今天的内容是基于 LSTM 建立一个语言模型人每次思考时不会从

06

深度学习参数技巧

1：优化器机器学习训练的目的在于更新参数，优化目标函数，常见优化器有SGD，Adagrad，Adadelta，Adam，Adamax，Nadam。其中SGD和Adam优化器是最为常用的两种优化器，SGD根据每个batch的数据计算一次局部的估计，最小化代价函数。学习速率决定了每次步进的大小，因此我们需要选择一个合适的学习速率进行调优。学习速率太大会导致不收敛，速率太小收敛速度慢。因此SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠。Adam优化器结合了Adagrad善于处理

07

深度学习参数怎么调优，这12个trick告诉你

1：优化器。机器学习训练的目的在于更新参数，优化目标函数，常见优化器有SGD，Adagrad，Adadelta，Adam，Adamax，Nadam。其中SGD和Adam优化器是最为常用的两种优化器，SGD根据每个batch的数据计算一次局部的估计，最小化代价函数。

02

基于RNN和LSTM的股市预测方法

对许多研究人员和分析师来说，预测股价的艺术一直是一项艰巨的任务。事实上，投资者对股票价格预测的研究领域非常感兴趣。许多投资者都渴望知道股票市场的未来情况。良好和有效的股票市场预测系统通过提供股票市场未来走向等支持性信息，帮助交易员、投资者和分析师。本文提出了一种基于RNN和LSTM的股票市场指数预测方法。

03

2017年深度学习优化算法最新进展：如何改进SGD和Adam方法？

原作 Sebastian Ruder 王小新编译自 ruder.io 量子位出品 | 公众号 QbitAI 深度学习的基本目标，就是寻找一个泛化能力强的最小值，模型的快速性和可靠性也是一个加分点。随机梯度下降（SGD）方法是1951年由Robbins和Monro提出的[1]，至今已有60年历史。在当前的深度学习研究中，这种方法至关重要，一般被用在反向传播过程中。近年来，研究人员提出一些新的优化算法，使用了不同方程来更新模型参数。2015年Kingma和Ba提出的Adam方法[18]，可看作是目前最

查收一份附带答案的面经！

1.1.1 全量梯度下降(Batch gradient descent) 每次使用全量的训练集样本来更新模型参数，即θ=θ−η⋅∇θJ(θ)。优点:每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点(凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点)，缺点:在于每次学习时间过长，并且如果训练集很大以至于需要消耗大量的内存，并且全量梯度下降不能进行在线模型参数更新。

03

AI从业者搞懂---这10种深度学习方法---老婆孩子热炕头

作者：王抒伟编辑：王抒伟首先，让我们来看看主要有啥 1 1.机器学习过去的十年里已经爆炸了。大伙几乎每天都会在计算机科学计划，行业会议和各大公众号看到机器学习。对于所有关于机器学习，许多人会把它能做什么和他们希望做什么混为一谈。从根本上说，机器学习是使用算法从原始数据中提取信息，并以某种类型的模型表示，我们使用这个模型来推断我们尚未建模的其他数据。 2.神经网络是机器学习的一种模型他们已经存在了至少50年。神经网络的基本单元是松散地基于哺乳动物大脑中的生物神经元的节点。神经元之间的联系

08

三大顶会看动态图表示学习

鉴于网络挖掘在现实生活中的丰富应用，以及近些年网络表示学习的兴起，网络嵌入已经成为学术界和工业界日益关注的研究热点。

02

面试常问的深度学习(DNN、CNN、RNN)的相关问题

神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。增加节点数：增加维度，即增加线性转换能力。增加层数：增加激活函数的次数，即增加非线性转换次数。

02

超实用总结：AI实践者需要用到的10个深度学习方法

大数据文摘作品编译：小鱼、肖依月、高宁、Aileen 在过去十年里，大众对机器学习的兴趣与日俱增。几乎每天都可以在计算机科学程序、行业会议和华尔街日报上看到机器学习的身影。在所有关于机器学习的讨论中，很多都将“机器学习的作用”和“人类希望机器学习能够做什么”这两个观念混为一谈。从根本上说，机器学习是使用算法从原始数据中提取信息，并用某种模型进行表示，然后对于一些我们尚未建模的数据，使用模型来进行推断。神经网络是机器学习模型的一种，而且已经存在了至少50年了。神经网络的基本单元是节点，源于哺乳动物大脑中的

04

AI技术讲座精选：神经结构搜索和强化学习

摘要神经网络模型不仅功能强大，而且特别灵活，在许多困难的学习任务中均发挥着良好的作用，如图像、声音和自然语言的理解等。尽管神经网络获得了一系列的成功，但是要设计神经网络仍然十分困难。在本篇论文中，我们在运用循环神经网络（RNN）描述神经网络模型的同时，还利用强化学习来训练该循环神经网络（RNN），以获得验证集上结构预期准确度的最大值。在 CIFAR-10 数据集上，我们所运用的方法从一开始便能设计出新的网络结构，并且在测试集精度方面可与人类发明的最佳结构相匹敌。 CIFAR-10 模型的测试误差率可

O'ReillyAI系列：将学习速率可视化来优化神经网络

O’Reilly和Intel人工智能2018北京大会售票系统已经上线，现在是Best Price票价阶段。目前已经公布部分讲师及议题，详情请登录官网：https://ai.oreilly.com.cn/ai-cn。原文摘要：学习速率是随着时间的推移神经网络里信息积累的速度。学习速率决定了神经网络达到（以及是否能达到）所需特定输出的最佳、最有利位置的速度。在原始随机梯度下降（SGD）中，学习速率与误差梯度的形状无关，因为它使用了一个与误差梯度无关的全局学习速率。然而可以对原始SGD的更新规则进行许多

08

深度 | 从修正Adam到理解泛化：概览2017年深度学习优化算法的最新研究进展

选自Ruder Blog 作者：Sebastian Ruder 机器之心编译参与：刘晓坤、路雪、蒋思源 Sebastian Ruder 的这篇博客总结了 2017 年深度学习优化算法的最新进展，他主要从Adam算法的局限性与提升方法、学习率衰减方案、超参数搜索、怎样学习优化和理解泛化性能等角度向我们展示近来研究者对最优化方法的思考与探索。深度学习终究是寻找一个使泛化性能足够好的（损失函数）极小值过程，它并不一定要求能搜索到非凸函数的最小值点，而需要模型的损失能得到显著性地降低，以收敛到一个可接受的极小值

深度学习实现问答机器人

摘要在问答系统的应用中，用户输入一个问题，系统需要根据问题去寻找最合适的答案针对该应用场景，有三种处理方式： 1：采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案，但是采

09

算法岗机器学习相关问题整理（深度学习部分）

w的更新方向由决定，而对所有的w_i是常数，所以实际上w的更新方向由决定。

02

长文 | LSTM和循环神经网络基础教程（PDF下载）

目录：前言前馈网络回顾循环网络时间反向传播BPTT 梯度消失与梯度爆炸长短期记忆单元（LSTM）多时间尺度和远距离依赖门控循环单元GRU LSTM超参数调试文章较长，下载PDF阅读更爽 1. 点击阅读原文 2. 回复：20180301 前言本文旨在帮助神经网络学习者了解循环网络的运作方式，以及即LSTM的功能和结构。循环网络是一类人工神经网络，用于识别诸如文本、基因组、手写字迹、语音等序列数据的模式，或用于识别传感器、股票市场、政府机构产生的数值型时间序列数据。循环网络可以说是最强大的神

2017年深度学习优化算法最新综述

梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的（state-of-the-art）机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。 An overview of gradient descent optimization algorithms 这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。详细对比了梯度下降算法中的不同变种，并帮助使用者根

09

2018年深度学习优化算法最新综述

梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的（state-of-the-art）机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。

03

2017年深度学习优化算法最新综述

梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的（state-of-the-art）机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。 An overview of gradient descent optimization algorithms 这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。详细对比了梯度下降算法中的不同变种，并帮助使用者根

深度学习中的10中方法，你知道的！

在过去十年中，人们对机器学习的兴趣激增。几乎每天，我们都可以在各种各样的计算机科学课程、行业会议、华尔街日报等等看到有关机器学习的讨论。在所有关于机器学习的讨论中，许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈。从根本上讲，机器学习是使用算法从原始数据中提取信息，并在某种类型的模型中表示这些信息。我们使用这个模型来推断还没有建模的其他数据。

03

DeepSleepNet - 基于原始单通道 EEG 的自动睡眠阶段评分模型

这篇论文是 2017 年在 IEEE 神经系统与康复工程学报上发布的一篇关于睡眠分阶的论文。这篇论文的主要贡献有：

02

深层神经网络参数调优（四） ——adam算法、α衰减与局部最优

深层神经网络参数调优（四）——adam算法、α衰减与局部最优（原创内容，转载请注明来源，谢谢）一、概述本文主要讲解另外一种思想的梯度下降——adam，并且在此之前介绍动量梯度下降和RMSprop算法作为前置内容。另外，本文讲到学习速率衰减方式，以及局部最优和鞍点问题等。二、动量梯度下降法 1、当前问题 mini-batch、随机梯度下降等，在优化每个w和b时，是会优化一个部分最优值，故容易出现抖动，导致优化速度慢。因此可以结合接下来的算法，来加快学习速度。 2、主要思想将一

06

ISCC 2023 | 在RTC中采用基于学习的递归神经网络进行拥塞控制

近年来，实时通信（RTC）在许多场景中得到了广泛的应用，而拥塞控制（CC）是改善此类应用体验的重要方法之一。准确的带宽预测是CC方案的关键。然而，设计一个有效的拥塞控制方案与准确的带宽预测是具有挑战性的，主要是因为它本质上是一个部分可观察的马尔可夫过程（POMDP）问题，很难使用传统机器学习的方法来解决。本文提出了一种新的混合 CC 机制 LRCC，它结合了基于注意力的长短期记忆（LSTM）和强化学习（RL），通过将递归神经网络提供的带宽记忆信息加入到 RL 决策过程中，实现了更精确的带宽预测和拥塞控制。

02

学界 | 新型循环神经网络IndRNN：可构建更长更深的RNN（附GitHub实现）

选自arXiv 作者：Shuai Li等机器之心编译参与：张倩、黄小天近日，澳大利亚伍伦贡大学联合电子科技大学提出一种新型的循环神经网络 IndRNN，不仅可以解决传统 RNN 所存在的梯度消失和梯度爆炸问题，还学习长期依赖关系；此外，借助 relu 等非饱和激活函数，训练之后 IndRNN 会变得非常鲁棒，并且通过堆叠多层 IndRNN 还可以构建比现有 RNN 更深的网络。实验结果表明，与传统的 RNN 和 LSTM 相比，使用 IndRNN 可以在各种任务中取得更好的结果。同时本文还给出了 In

05

收藏 | NLP论文、代码、博客、视频资源（LSTM，指针模型，Attention， ELMo，GPT，BERT、多任务学习等）

在近几年，NLP 领域得到了快速的发展，包括 ELMo ，BERT在内的新方法不断涌现，显著提高了模型在一系列任务的表现。在本文中，作者针对主要的 NLP 模型、常用开源机器学习库和多任务学习的相关资源进行了归纳，提供了包括论文、代码、视频和博客在内的多种学习资源。

04

当前训练神经网络最快的方式：AdamW优化算法+超级收敛

Adam 优化器之旅可以说是过山车（roller-coaster）式的。该优化器于 2014 年推出，本质上是一个出于直觉的简单想法：既然我们明确地知道某些参数需要移动得更快、更远，那么为什么每个参数还要遵循相同的学习率？因为最近梯度的平方告诉我们每一个权重可以得到多少信号，所以我们可以除以这个，以确保即使是最迟钝的权重也有机会发光。Adam 接受了这个想法，在过程中加入了标准方法，就这样产生了 Adam 优化器（稍加调整以避免早期批次出现偏差）！

02

白话--长短期记忆(LSTM)的几个步骤，附代码！

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。

03

Tensorflow实现各种学习率衰减

α = d e c a y − r a t e e p o c h − n u m ∗ α 0 \alpha = decay-rate^{epoch-num}*\alpha_{0} α=decay−rateepoch−num∗α0 α = k e p o c h − n u m ∗ α 0 其中 k 是超参数 \alpha = \frac{k}{\sqrt{epoch-num}}*\alpha_{0}其中k是超参数 α=epoch−num k∗α0其中k是超参数 α = k t ∗ α 0 其中 k 是超参数 , t 表示 m i n i − b a t c h 的标记数字 \alpha = \frac{k}{\sqrt{t}}*\alpha_{0}其中k是超参数,t表示mini-batch的标记数字 α=t k∗α0其中k是超参数,t表示mini−batch的标记数字

01

用深度学习预测Phish乐队接下来唱什么歌（上）

编辑 | sunlei 发布 | ATYUN订阅号 Phish, Hampton 2018 Phish——一个标志性的现场摇滚乐队，和机器学习的世界…他们可能有什么共同之处与绝大多数音乐艺术家的现场表演不同，对Phish来说，大多数活动都是没有计划的。从乐队踏上舞台的那一刻起，没有预先确定的节目单、歌曲选择或演出时长。每一场演出，乐队和观众都开始了一段全新的旅程，充满了集体的能量和高超的即兴表演的能力。我和我的朋友多年来一直在看Phish的演出，就像社区里的许多Phans一样，我们经常在每次演出前玩一个

02

IBC 2023 | 通过机器学习改善广播观众体验

保持低的广播网络延迟对于维持沉浸式观看体验至关重要，特别是在要求互联网或广播中心提供高质量媒体广播时。而目前存在的问题是重量级广播媒体流需要高传输数据速率与长时间寿命，其对资源与网络的占用会与传输短数据流产生冲突，导致交换机缓冲区过载或网络拥塞，从而出现丢包和由于重传超时导致的延迟（TCP-RTOs）。在广播中心中，媒体流通常属于大象流（elephant flows，EF）分类，短数据流被分类为老鼠流（mice flows，MF）。EF的快速性和提前检测功能使得SDN控制器可以对其重新规划路由并减少它们对广播 IP 网络内的 MF 的影响。这减少了数据包丢失，使得TCP-RTO不会被触发，从而可以保持较低的延迟并有良好的观看体验。

01

想了解递归神经网络？这里有一份入门教程

本文来自deeplearning4j，AI科技评论编辑。递归神经网络是一类人工神经网络，用于识别诸如文本、基因组、手写字迹、语音等序列数据的模式，或用于识别传感器、股票市场、政府机构产生的数值型时间序列数据。递归网络可以说是最强大的神经网络，甚至可以将图像分解为一系列图像块，作为序列加以处理。由于递归网络拥有一种特定的记忆模式，而记忆也是人类的基本能力之一，所以下文的7个部分中，会时常将递归网络与人脑的记忆活动进行类比。前馈网络递归网络沿时间反向传播梯度消失与梯度膨胀长短期记忆单元（LSTM

03

一文看懂常用的梯度下降算法

作者：叶虎编辑：祝鑫泉一概述梯度下降算法（Gradient Descent Optimization）是神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进

独家 | 一文读懂深度学习（附学习资源）

Figure1. Deep learning导图前言深度学习（deep learning）的概念最早可以追溯到1940-1960年间的控制论（cybernetics），之后在1980-1990年间发展为连接主义（connectionism），第三次发展浪潮便是2006年由人工神经网络（Artificial neural network）扩展开来并发展成为今天十分火热的深度学习（Figure 2）。实际上，深度学习的兴起和发展是非常自然的，人们在应用经典的机器学习方法时，需要对具体的问题或者数据相

06

自动调优超参数：斯坦福大学提出SGD动量自调节器YellowFin

选自Stanford University 作者：Zhang Jian等机器之心编译参与：李泽南、Smith 手动调整 SGD（随机梯度下降）动量（momentum）的方法可与目前最先进的自适应方法（如 Adam）竞争，那么 SGD 动量能不能自动调节呢？斯坦福大学的研究人员近日提出了 YellowFin，一种自动调整 SGD 动量超参数的方法。YellowFin 在大型 ResNet 和 LSTM 模型的训练中迭代次数少于此前的最佳水平，而且通过负反馈环路机制，它在异步设置的运行中表现得更好。目前，Y

06

利用学习率衰减找到最优结果

网络权值时，存在一些不确定因素，并不能保证每一次初始化操作都能使得网络的初始权值处在一个合适的状态。不恰当的初始权值可能使得网络的损失函数在训练过程中陷入局部最小值，达不到全局最优的状态。

01

【年度系列】使用LSTM预测股票市场基于Tensorflow

在本文开始前，作者并没有提倡LSTM是一种高度可靠的模型，它可以很好地利用股票数据中的内在模式，或者可以在没有任何人参与的情况下使用。写这篇文章，纯粹是出于对机器学习的热爱。在我看来，该模型已经观察到了数据中的某些模式，因此它可以在大多数时候正确预测股票的走势。但是，这个模型是否可以用于实际，有待用更多回测和实践去验证。

03

多渠道归因分析（Attribution）：用attention-RNN来做归因建模（附代码demo）（五）

之前在查阅资料的时候，有看到一篇更进阶的，用深度学习来解决问题，论文可参考18年的一篇： Deep Neural Net with Attention for Multi-channel Multi-touch Attribution

01

学界 | 谷歌联合英伟达重磅论文：实现语音到文本的跨语言转录

选自arxiv 机器之心编译参与：吴攀、李亚洲、蒋思源机器翻译一直是人工智能研究领域的重头戏，自去年谷歌推出了神经机器翻译（GNMT）服务以来，相关技术的研发并没有止步不前，在多语言翻译和 zero-shot 翻译上也取得了引人注目的进展。近日，谷歌大脑和英伟达联合发布的一篇论文《序列到序列模型可以直接转录外语语音（Sequence-to-Sequence Models Can Directly Transcribe Foreign Speech）》将机器翻译这方面的研究又向前推进了一步，实现了从一种语

09

深度学习的方法有哪些？看这篇就够了

训练之前一定要执行参数初始化，否则可能减慢收敛速度，影响训练结果，或者造成Nan数值溢出等异常问题。

03

Google开源模块化多任务训练库T2T，最近重要论文的模型全在里面

陈桦编译自 Google Research Blog 量子位报道 | 公众号 QbitAI Google Brain团队昨天发布的“一个模型学会一切”论文背后，有一个用来训练MultiModel模型的模块化多任务训练库：Tensor2Tensor。今天，Google Brain高级研究员Łukasz Kaiser就在官方博客上发文，详细介绍了新开源的T2T库。以下内容编译自Google Research的官方博客：深度学习推动了许多技术的快速发展，例如机器翻译、语音识别和对象检测。在科研领域，人们

06

Tensorflow 实现各种学习率衰减

变小,你的步伐也会变慢变小.所以最后的曲线在最小值附近的一小块区域里摆动.所以慢慢减少

03

AI从业者需要应用的10种深度学习方法

深度学习是作为这个领域的一个重要竞争者，在这个十年的爆炸式的计算增长中出现的，赢得了许多重要的机器学习竞赛。利息至2017年尚未降温; 今天，我们看到在机器学习的每一个角落都提到了深刻的学习。机器学

04

【干货】机器学习最常用优化之一——梯度下降优化算法综述

【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。这篇文章首先介绍梯度下降算法的三种框架，然后介绍它们所存在的问题与挑战，接着介绍一些如何进行改进来解决这些问题，随后，介绍如何在并行环境中或者分布式环境

09

【干货】深度学习必备：随机梯度下降（SGD）优化算法及可视化

【新智元导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。这篇文章首先介绍梯度下降算法的三种框架，然后介绍它们所存在的问题与挑战，接着介绍一些如何进行改进来解决这些问题，随后，介绍如何在并行环境中或者分布式环

08

Nat. Commun. | AI语言工具揭示分子运动

大家好，今天推荐的是Nature Communication发表的UMD研究人员使用人工智能语言工具解码分子运动的文章，文章的通讯作者是来自马里兰大学化学与生物化学系和物理科学与技术学院的医学博士Pratyush Tiwary。通过将自然语言处理工具应用于蛋白质分子的运动，马里兰大学的科学家创造了一种抽象语言，用于描述蛋白质分子可以采取的多种形状，以及如何以及何时从一种形状转变为另一种形状。

05

Attention is Not All You Need！谷歌石锤Transformer：没有残差和MLP，它啥都不是

基于注意力的架构在机器学习社区中已经变得无处不在，Transformer最初在机器翻译打出名堂，随着BERT的问世几乎统治了整个NLP领域，RNN、LSTM等老前辈瑟瑟发抖，GPT-3的零样本学习能力又令人不禁怀疑其智能本质，还没反应过来，Transformer又打入CV领域，俨然要全面取代CNN的节奏，而DALL-E的出现，也算是打破语言和图像之间界限的开始。

04

AD预测论文研读系列2

多模生物学、影像学和神经心理学标记物已经展示了区分阿尔茨海默病（AD）患者和认知正常的老年人的良好表现。然而，早期预测轻度认知功能障碍（MCI）患者何时和哪些会转变为AD痴呆仍然困难。通过模式分类研究表明，基于纵向数据的模式分类器比基于横截面数据的模式分类器具有更好的分类性能。研究人员开发了一个基于递归神经网络（RNN）的深度学习模型，以学习纵向数据的信息表示和时间动态。将个体受试者的纵向认知测量，与基线海马MRI相结合，建立AD痴呆进展的预后模型。大量MCI受试者的实验结果表明，深度学习模型可以从纵向数据中学习信息性测量，以描述MCI受试者发展为AD痴呆的过程，并且预测模型可以以高精度在早期预测AD进展。最近的研究表明，如果使用纵向而非横截面数据构建分类器，可以获得更好的性能

01

深度|梯度下降优化算法综述

该文翻译自An overview of gradient descent optimization algorithms。总所周知，梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。这篇文章旨在提供梯度下降算法中的不同变种的介绍，帮助使用者根据具体需要进行使用。这篇文章首先介绍梯度下降算法的

06

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭