整理自Andrew Ng的machine learning课程。 目录： 梯度下降算法 梯度下降算法的直观展示 线性回归中的梯度下降 前提： 线性回归模型 ：$h(\theta_0,\theta_1)=\theta_0+\theta_1x$ 损失函数：$J(\theta_0,\theta_1)=\frac{1}{2m} \sum_{i=1}^m (h_\theta(x^(i))-y^(i))^2$ 1、梯度下降算法 目的：求解出模型的参数 / estimate the parameters in the
【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的backpropagation，这一节将主要针对深度学习的简单实践展开分析。本文内容涉及机器学习中深度学习简单实践的若干主要问题：Keras, 手写数字辨识网络设计、网络的尝试改进。话不多说，让我们一起学习这些内容吧。 春节充电系列：李宏毅2017机器学习课程学习笔记01之简介 春节充电系列：李宏毅2017机器学习课程学习笔记02之Regression 春节充电系列：李宏毅2017机器学习课程学习笔记03之梯度下降 春节充电系列：李宏
在机器学习中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便找到最优的参数。 梯度下降法作为机器学习中较常使用的优化算法，在其求解过程中，只需要求解损失函数的一阶导数，计算的代价比较小。 基本思想可以理解为：我们从山上的某一点出发，找一个最抖的坡走一步（也就是找梯度方向），到达一个点之后，再找最陡的坡，再走一步，直到不断的走，走到最低点（最小花费函数收敛点）
神经网络和深度学习（二）——从logistic回归谈神经网络基础 （原创内容，转载请注明来源，谢谢） 一、概述 之前学习机器学习的时候，已经学过logistic回归，不过由于神经网络中，一些思想会涉及到logistic，另外会拿一些神经网络用到的解决方案，以logistic来举例，更浅显易懂（例如BP算法）。 因此，这里就再次复习logistic回归及其梯度下降、代价函数等，主要是讲述和后面学习神经网络有关的内容，其他部分会快速略过。 二、logistic输出函数 logistic是解决
1 梯度 1.1 定义 梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。 关于梯度的更多介绍请看：如何直观形象的理解方向导数与梯度以及它们之间的关系？ 1.2 计算 一个
本文介绍了梯度下降算法的原理、优缺点以及应用。梯度下降算法是一种用于优化目标函数的迭代方法，通过计算目标函数的梯度来更新参数。该算法有批量梯度下降、随机梯度下降和小批量梯度下降三种形式。优点是计算简单、易于实现；缺点是可能会陷入局部最优解。在机器学习和深度学习领域，梯度下降算法被广泛应用于训练模型。
最近我们被客户要求撰写关于梯度下降的研究报告，包括一些图形和统计输出。梯度下降是一种优化算法，能够为各种问题找到最佳解决方案。
关于梯度下降法的理解，梯度下降法是一个一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent） 是最常采用的方法之一，另一种常用的方法是最小二乘法。
Dive-Into-Deep-Learning-PyTorch-PDF这个项目对中文版《动手学深度学习》中的代码进行整理，并参考一些优秀的GitHub项目给出基于PyTorch的实现方法。为了方便阅读，本项目给出全书PyTorch版的PDF版本。欢迎大家Download，Star，Fork。除了原书内容外，我还为每一章增加了本章附录，用于对该章节中用到的函数以及数学计算加以详细说明，除此之外还增加了语义分割网络（U-Net）的实现，是目前全网最完整的版本。
提到人工智能算法，人工神经网络（ANN）是一个绕不过去的话题。但是对于新手，往往容易被ANN中一堆复杂的概念公式搞得头大，最后只能做到感性的认识，而无法深入的理解。正好最近笔者本人也在经历这个痛苦的过程，本着真理越辩越明的态度，索性坐下来认真的把这些头大的问题梳理一番，试试看能不能搞清楚ANN背后的数学原理。
作者｜李梅 编辑｜陈彩娴 前几天刚跟马斯克吵完架的Gary Marcus，又双叒叕跟人吵起来了，这次的吵架对象是Yann LeCun。 一向喜欢给深度学习泼冷水的Marcus，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼： 事情是这样的。 几天前，有人在推特上发帖问: 在机器学习中，最优雅美丽的idea是什么？感觉数学家和物理学家经常谈论美学，但我们却很少，为什么？ 于是网友们都来认真答题：多重权重更新算法（multiplicative weights update）、核技
当前应用研究的很多方面都依赖于一种名为梯度下降的算法。这是一个求解某个数学函数最大 / 最小值的过程（函数优化），从计算产品的最佳生产方式，到工人轮班的最佳安排方法，这一算法都能派上用场。
审稿人：阿泽，Datawhale成员，复旦大学计算机硕士，目前在携程担任高级算法工程师。
@LeftNotEasy，本题解析来源：http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html
梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。
选自arXiv 机器之心编译 参与：黄小天、刘晓坤 近日，田渊栋等人在 arXiv 上发表了一篇题为《When is a Convolutional Filter Easy To Learn?》的论文
在word2vec原理篇中，我们对word2vec的两种模型CBOW和Skip-Gram，以及两种解法Hierarchical Softmax和Negative Sampling做了总结。这里我们就从实践的角度，使用gensim来学习word2vec。
为了更加通用，我们这里直接实现 double sqrt(double n) 函数。也就是求出 的精确值，然后取整就行了。
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路。
梯度下降法（Gradient Descent）也称为最速下降法（Steepest Descent），是法国数学家奥古斯丁·路易·柯西 (Augustin Louis Cauchy) 于1847年提出来，它是最优化方法中最经典和最简单的一阶方法之一。梯度下降法由于其较低的复杂度和简单的操作而在很多领域得到广泛研究和应用，如机器学习。由梯度下降法衍生了许多其他算法，如次梯度下降法，近端梯度下降法，随机梯度下降法，回溯梯度发，动量加速梯度法等等。本文只介绍最基础的梯度下降法原理和理论分析，与此同时，通过仿真来说明梯度下降法的优势和缺陷。其他重要的梯度下降衍生方法会持续更新，敬请关注。
自然语言处理( NLP )是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、医疗报告等。
我们要解决的是一个过于简单且不现实的问题，但其好的一面是便于我们了解机器学习和 TensorFlow 的概念。我们要预测一个基于单一特征（房间面积/平方米）的单标量输出（房价/美元）。这样做消除了处理多维数据的需要，使我们能够在 TensorFlow 中只专注于确定、实现以及训练模型。
在机器学习和相关领域，人工神经网络的计算模型灵感正是来自生物神经网络：每个神经元与其他神经元相连，当它兴奋时，就会像相邻的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会被激活（兴奋），向其他神经元发送化学物质。
版权声明：本文为博主原创文章，未经博主允许不得转载。python版本为python3，实例都是经过实际验证。 https://blog.csdn.net/jinxiaonian11/article/details/83141916
在训练模型的时候，我们需要将损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证机的损失越小越好，而正常来说训练集的损失降到一定值后，验证集的损失就会开始上升，因此没必要把训练集的损失降低到0
常用的对网络结构的改进包括正则化和标准化，正则化可以解决深度网络的过拟合问题，标准化可以加快学习过程。为了缓解较深的网络由于指数效应导致的梯度爆炸和梯度消失问题，需要合理地设置网络权重参数初始值。此外对于多分类问题，通常在最后一个神经元使用softmax分类器。
来源丨https://zhuanlan.zhihu.com/p/147275344
选自 kdnuggets 作者：Soon Hin Khor 机器之心编译 参与：Rick、吴攀、李亚洲 本文是日本东京 TensorFlow 聚会联合组织者 Hin Khor 所写的 TensorFlow 系列介绍文章的前两部分，给出了关于 TensorFlow 的 gentlest 的介绍。谈到单一特征问题的线性回归问题以及训练（training）的含义 第一部分 引言 我们要解决的是一个过于简单且不现实的问题，但其好的一面是便于我们了解机器学习和 TensorFlow 的概念。我们要预测一个基于
感知机(perceptron)是一种非常简单的模型，简单到不能再简单。感知机是理解SVM的基石，这里介绍谈感知机是为了后面的一些复杂一些的方法做准备。
【导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。Sebastian Ruder曾在去年发表博文 《梯度下降优化算法综述》（An overview of gradient descent optimization algorithms），详细对比了梯度下降算法中的不同变种，并帮助使用者根据
梯度下降是数据科学的基础，无论是深度学习还是机器学习。对梯度下降原理的深入了解一定会对你今后的工作有所帮助。
原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不得转载，不能用于商业目的。
AI 科技评论按：OpenAI 今天发表了一篇博客介绍了自己新设计的元学习算法「Reptile」。算法的结构简单，但却可以同时兼顾单个样本和大规模样本的精确学习。OpenAI 甚至还在博客页面上做了一
梯度下降算法是一个很基本的算法，在机器学习和优化中有着非常重要的作用，本文首先介绍了梯度下降的基本概念，然后使用Python实现了一个基本的梯度下降算法。梯度下降有很多的变种，本文只介绍最基础的梯度下
近日，由 Aston Zhang、李沐等人所著图书《动手学深度学习》放出了在线预览版，以供读者自由阅读。这是一本面向在校学生、工程师和研究人员的交互式深度学习书籍。
机器学习（二十三）——大数据机器学习(随机梯度下降与map reduce) （原创内容，转载请注明来源，谢谢） 一、概述 1、存在问题 当样本集非常大的时候，例如m=1亿，此时如果使用原来的梯度下降算法（也成为批量梯度下降算法（batch gradient descent），下同），则速度会非常慢，因为其每次遍历整个数据集，才完成1次的梯度下降的优化。即计算机执行1亿次的计算，仅仅完成1次的优化，因此速度非常慢。 2、数据量考虑 在使用全量数据，而不是摘取一部分数据来做机器学习，首先需要考虑的是算法的学
机器学习: 机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。简单的说，就是计算机从数据中学习规律和模式，以应用在新数据上做预测的任务。
谷歌AI的研究人员日前在arxiv贴出一篇文章，给出了首个神经网络训练相关的理论证明。
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。
大数据文摘作品 编译：小鱼、肖依月、高宁、Aileen 在过去十年里，大众对机器学习的兴趣与日俱增。几乎每天都可以在计算机科学程序、行业会议和华尔街日报上看到机器学习的身影。在所有关于机器学习的讨论中，很多都将“机器学习的作用”和“人类希望机器学习能够做什么”这两个观念混为一谈。从根本上说，机器学习是使用算法从原始数据中提取信息，并用某种模型进行表示，然后对于一些我们尚未建模的数据，使用模型来进行推断。 神经网络是机器学习模型的一种，而且已经存在了至少50年了。神经网络的基本单元是节点，源于哺乳动物大脑中的
昨天的logistic回归：从生产到使用【上：使用篇】（在微信公众号“数说工作室”中回复“logit1”查看），有不少数说网友们建议把最后的建模指南图单独发一下。 另外对logistic的拟合原理（涉
我们希望有⼀个算法，能让我们找到权重和偏置，以⾄于⽹络的输出 能够拟合所有的训练输⼊ 。为了量化我们如何实现这个⽬标，我们定义⼀个代价函数：
上一篇 5 TF轻松搞定线性回归，我们知道了模型参数训练的方向是由梯度下降算法指导的，并使用TF的封装tf.train.GradientDescentOptimizer(0.01)（学习率为0.01）
首先我们应该了解一下多元线性回归。相比于单变量线性回归，该函数拥有多个变量值，那么他所拥有的参数就不仅仅是一个或者两个，而是多个。例如下面这个函数：
1.5 使用梯度下降算法进行学习 现在我们有了神经网络的设计，它怎样可以学习识别数字呢?我们需要的第一样东西是一个 用来学习的数据集 —— 称为训练数据集。我们将使用 MNIST 数据集，其包含有数以
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
