BayesFlow: AMORTIZED BAYESIAN WORKFLOWS WITH NEURAL NETWORKS
https://gershmanlab.com/pubs/Dasgupta20.pdf 主要结论自动翻译节选
Zoubin Ghahramani 是英国皇家学会会士，剑桥大学信息工程系教授，Uber 首席科学家，英国国家数据科学研究所图灵研究所剑桥主任。Zoubin Ghahramani 教授曾工作或学习于宾夕法尼亚大学、MIT、多伦多大学、伦敦大学学院盖茨比组、卡耐基梅隆大学。他的研究聚焦于机器学习/人工智能概率方法，在这些主题上已经发表了超过 250 篇论文。他曾是 Geometric Intelligence（被 Uber 收购，成为了 Uber AI Labs）的联合创始人，指导众多人工智能与机器学习公司。2015 年，因其对机器学习的贡献，被选为英国皇家学会会士。
所谓贝叶斯神经网络，简单来说便是将一般神经网络中的权重和偏置由确定的数值变为一个分布。
Google AI 终于发布了 AutoML 的 beta 版，有人说这项服务将彻底改变深度学习的方式。
导读： 从训练到用不同的参数做实验，设计神经网络的过程是劳力密集型的，非常具有挑战性，而且常常很麻烦。但是想象一下，如果能够将这个过程实现自动化呢？将这种想象转变为现实，就是本指南的核心内容。 我们将探索一系列的研究论文，这些论文试图解决具有挑战性的自动化神经网络设计任务。在本指南中，我们假设读者尝试过使用 Keras 或 TensorFlow 等框架从头开始设计神经网络。
机器之心报道 编辑：杜伟、力元 一直以来，贝叶斯深度学习的先验都不够受重视，这样真的好么？苏黎世联邦理工学院计算机科学系的一位博士生 Vincent Fortuin 对贝叶斯深度学习先验进行了重新审视。 众所周知，先验的选择是贝叶斯推断流程中最关键的部分之一，但最近的贝叶斯深度学习模型比较依赖非信息性先验，比如标准的高斯。 在本篇论文中，来自苏黎世联邦理工学院计算机科学系的博士生 Vincent Fortuin 强调了先验选择对贝叶斯深度学习的重要性，概述了针对（深度）高斯过程、变分自编码器、贝叶斯神经网络
机器之心整理 演讲者：朱军 5 月 27-28 日，机器之心在北京 898 创新空间顺利主办了第一届全球机器智能峰会（GMIS 2017）。中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任王飞跃为大会做了开幕式致辞。大会第一天，「LSTM 之父」Jürgen Schmidhuber、Citadel 首席人工智能官邓力、腾讯 AI Lab 副主任俞栋、英特尔 AIPG 数据科学部主任 Yinyin Liu、GE Transportation Digital Solutions CTO Wesly M
2019 年 12 月 22 日 Carles Gelada 发布的推文。推文链接：https://twitter.com/carlesgelada/status/1208618401729568768
【新智元导读】Andreas Stuhlmüller 目前在斯坦福 Noah Goodman 教授 Computation & Cognition lab 当博士后。参加本届 NIPS 后，从最火的对生生成网络（GAN）到深度强化学习，再到 Chatbot 以及会场花絮，Stuhlmüller 写下了他感受最深的 50 件事情，新智元在取得授权后对他发表在 Medium 的文章做了翻译。原文中相关术语及要点都有超链接，欢迎访问他的原文了解更多。 原文地址：https://blog.ought.com/nip
选自arXiv 机器之心编译 参与：蒋思源、李泽南 深度神经网络（DNN）参数中简单而强大的贝叶斯推理（Bayesian inference）技术有可能大大扩展深度学习技术的应用范围。在现实世界的应用中，意外错误可能会造成危险和财产损失，而预料之内的问题则可以让智能体寻求人类的指导（以主动学习的形式），或是采取一些安全的默认行为（如关机）来进行规避。近日，来自蒙特利尔 MILA、Element AI 和麦吉尔大学等机构的学者共同提出了「贝叶斯超网络」，使用新方法提升了 DNN 参数的准确性。 通常情况下，D
看过了各式各样的教程之后，你现在已经了解了神经网络的工作原理，并且也搭建了猫狗识别器。你尝试做了了一个不错的字符级RNN。你离建立终端只差一个pip install tensorflow命令了对吗？大错特错。
选自arXiv 机器之心编译 2017 年 5 月，清华大学朱军教授在机器之心 GMIS 2017 大会现场详解了他们开发的贝叶斯深度学习 GPU 库珠算。近日，清华大学公开了珠算相关论文，机器之心对
机器之心专栏 机器之心编辑部 在领域泛化 (Domain Generalization, DG) 任务中，当领域的分布随环境连续变化时，如何准确地捕捉该变化以及其对模型的影响是非常重要但也极富挑战的问题。为此，来自 Emory 大学的赵亮教授团队，提出了一种基于贝叶斯理论的时间域泛化框架 DRAIN，利用递归网络学习时间维度领域分布的漂移，同时通过动态神经网络以及图生成技术的结合最大化模型的表达能力，实现对未来未知领域上的模型泛化及预测。本工作已入选 ICLR 2023 Oral (Top 5% amon
贝叶斯推断是概率论和统计学机器学习中的重要组成部分。 它是基于由著名统计学家托马斯贝叶斯给出的贝叶斯定理。 在贝叶斯推断中，随着更多证据或信息的出现，假设概率得到更新。
AI 研习社按：今天为大家带来硅谷深度学习网红 Siraj 在人工智能在线大会 AI WITH THE BEST（AIWTB）上的演讲，雷锋字幕组独家译制。本次演讲的主题为 Learning to Learn，主要讲解了深度神经网络中超参数优化的相关内容。视频后面我们还附带了对应的 Github 文档汉化版供读者参考，原地址见文末“阅读原文”。 如今神经网络非常流行，许多问题都可以用神经网络解决，但是，找出最有效和最合适的神经网络却没那么容易。人们习惯于依靠自己的经验，尝试出最佳参数。这个过程需要付出高额的
选自arXiv.org 机器之心编译 参与：蒋思源、吴攀 深度学习是一种高效的非线性高维数据处理方法，它可以更自然地解释为一种工程或算法，而本论文希望从贝叶斯的角度将深度学习看作是一种广义线性模型的
AI领域顶会NeurIPS正在加拿大蒙特利尔举办。本文针对实验室关注的几个研究热点，模型压缩、自动机器学习、机器学习与最优化算法，选取23篇会议上入选的重点论文进行分析解读，与大家分享。Enjoy！
导读：AI领域顶会NeurIPS正在加拿大蒙特利尔举办。本文针对实验室关注的几个研究热点，模型压缩、自动机器学习、机器学习与最优化算法，选取23篇会议上入选的重点论文进行分析解读，与大家分享。Enjoy！ NeurIPS (Conference on Neural Information Processing Systems，神经信息处理系统进展大会)与ICML并称为神经计算和机器学习领域两大顶级学术会议。今年为第32届会议，将于 12月3日至8日在加拿大蒙特利尔举办。腾讯AI Lab第三次参加Ne
近来，大规模神经网络彻底改变了生成式模型，使模型具有前所未有的捕捉许多变量之间复杂关系的能力，例如建立高分辨率图像中所有像素的联合模型。
深度神经网络（DNNs）是通过学习示例来学习执行任务，而无需事先了解任务的连接系统。它们可以轻松扩展到数百万个数据点，并且可以通过随机梯度下降进行优化。
假设您的模型是驾驶一辆汽车，帮助一位医生，甚至只是直接与一个(可能很容易被惹恼的)终端用户交互。在这些情况下，您需要确保在对模型做出的预测采取行动之前，您能够对这些预测充满信心。
A survey on Bayesian deep learning贝叶斯深度学习综述
大数据文摘作品 编译：修竹、笪洁琼、夏雅薇 作者用了一种新奇的方法来训练神经网络。更新权重的分布而不是顺序更新静态权重，得到了更有趣和可靠的结果。贝叶斯方法给了我们一个机会，使得我们可以不手动添加正则项的情况下对神经网络进行正则化，理解模型的不确定性，并尽可能使用更少的数据得到更好的结果。 Hi！又见面啦。去年我推出了几篇基于神经网络的金融预测教程，我认为有些结果还是蛮有趣的，值得应用在实际交易中。 如果你读过那些教程，你一定会注意到，当你试图在“随机”数据上用一些机器学习模型并且希望找到隐藏模式时，你其实
BAYESFLOW: LEARNING COMPLEX STOCHASTIC MODELS WITH INVERTIBLE NEURAL NETWORKS BAYESFLOW：使用可逆神经网络学习复杂随机模型 https://arxiv.org/pdf/2003.06281
http://blog.csdn.net/u011239443/article/details/76360294
本文介绍了贝叶斯深度学习与深度贝叶斯学习的研究背景、现状和未来展望。首先介绍了贝叶斯深度学习和深度贝叶斯学习的基本概念，然后阐述了这些方法在机器学习中的应用。最后，讨论了贝叶斯深度学习与深度贝叶斯学习未来的研究方向和挑战。
今天我会用略微不同的方法拟合之前的算法。从概率角度进行处理，通过数据本身进行正则化，估计预测的确定性，使用较少的数据，将概率依赖引入到模型中。这里主要讲概况，我会更注重于应用问题，而不会特别深入的讲解贝叶斯模型或变分推断技术或数学细节问题。你可以在这里找到代码。
图 1：一些目前提出的 Dropout方法，以及 2012 到 2019 年间 Dropout 方法的理论进展。
导语：高中的时候，班主任让我们每学完一个章节，整理出这个章节的关键词和一份问题列表。现在回想起来，其实是很有用的，这让我们可以从另外一个视角来审视所学习的内容，而不是单纯的填鸭式的记忆；最近在复习机器学习相关内容，也从问题的视角来回顾机器学习知识体系，对于机器学习方向同学可以作为考察，看看里面的内容是否都能回答上来；而对于想学习机器学习的同学来说，应该可以作为一个方向，把这些内容一个个解决了，在各大厂算法岗面试中应该可以横着走了啦啦啦！
吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.htm
大数据文摘作品 编译：新知之路、小饭盆、钱天培 今年8月，吴恩达的深度学习课程正式上线，并即刻吸引了众多深度学习粉丝的“顶礼膜拜”。一如吴恩达此前在Coursera上的机器学习课程，这几门深度学习课程也是好评如潮。 在诸多粉丝中，加拿大国家银行金融市场的首席分析师Ryan J. Shrott从前三门深度学习课程中总结出了21点心得，总结了该系列课程的诸多精华。 今天，文摘菌就带大家一起来读一读这份“学霸“笔记。 首先来看一下Ryan对该课程的总体评价： 吴恩达先生（Andrew Ng）的3门课程都超级有用，
本文介绍了深度学习的21个心得，包括训练和验证数据的划分、选择合适的网络架构、调参、使用预训练模型、使用迁移学习、使用多任务学习、使用端到端学习、使用生成对抗网络、使用自监督学习、使用强化学习、使用对抗样本、使用正则化、使用模型剪枝、使用缓存、使用量化、使用多GPU训练、使用梯度累积、使用学习率调度器、使用Horovod、使用PyTorch和TensorFlow等。
【新智元导读】 深度学习火热的背后，也带来了对神经网络自身能力的质疑，特别是被人诟病的“黑箱”问题。本文介绍了一些通过不同于深度学习的路径实现 AI 的公司，强调贝叶斯理论的重要性，指出非确定性和高斯过程在人工智能的发展中其实扮演着重要角色。在作者的介绍中，Uber 似乎是最痴迷高斯过程的一家高科技企业。 在硅谷，神经网络十分流行，它带来了种类繁多的互联网服务和众多形式的人工智能。但是，神经网络再好，能做的可能也不过是从你的线上相册中识别出猫来。AI 研究者知道，神经网络目前依然有很大的缺陷，并且缺陷如此之
AI 科技评论按：神经信息处理系统大会（NeurIPS）是人工智能领域最知名的学术会议之一，NeurIPS 2018 （https://nips.cc/Conferences/2018）已于去年 12 月 3 日至 8 日在加拿大蒙特利尔市举办。来自 Zighra.com 的首席数据科学家在参加完此次会议之后，撰写了一篇关于贝叶斯研究的参会总结，AI 科技评论编译整理如下。 此次会议支持现场直播，所有讲座的视频内容均可以在 NeurIPS 的 Facebook 主页上找到，除此之外，NeurIPS 主页上还
【新智元导读】普华永道最近推出了一系列机器学习信息图示，很好地将机器学习的发展历史、关键方法以及未来会如何影响社会生活展现了出来。基础概念部分包括机器学习各大学派错综关系的梳理；应用部分则描述了机器学习在社会中作用。作为专业的咨询机构，普华永道绘制的信息图非常专业，是值得珍藏的材料。新智元在此基础上进行了解说。 AI 如何能成为商业的主流？这需要不同研究方法的结合，以及大量人类的智慧。 我们正处在 AI 取得突破性进展的时代：更为复杂的神经网络伴着有效的语音识别训练数据将亚马逊的 Echo 和谷歌的 Hom
机器之心整理 参与：机器之心编辑部 机器学习日益广为人知，越来越多的计算机科学家和工程师投身其中。不幸的是，理论、算法、应用、论文、书籍、视频等信息如此之多，很容易让初学者迷失其中，不清楚如何才能提升技能。本文作者依据自身经验给出了一套快速上手的可行方法及学习资源的分类汇总，机器之心在其基础上做了增益，希望对读者有所帮助。 先决条件 机器学习的基础是数学。数学并非是一个可选可不选的理论方法，而是不可或缺的支柱。如果你是一名计算机工程师，每天使用 UML、ORM、设计模式及其他软件工程工具／技术，那么请闭
本文通过一系列机器学习信息图示，很好地将机器学习的发展历史、关键方法以及未来会如何影响社会生活展现了出来。基础概念部分包括机器学习各大学派错综关系的梳理；应用部分则描述了机器学习在社会中作用。文中的信息图非常专业，是值得珍藏的材料。我们在此基础上进行了解说。希望这篇文章能对你有所帮助，让你在学习和应用AI技术的道路上更进一步！
选自Medium 作者：Alex Honchar 机器之心编译 参与：陈韵竹、李泽南 随着人工智能技术的普及，用机器学习预测市场价格波动的方法最近层出不穷。本文中，Alex Honchar 介绍了利用概率编程和 Pyro 进行价格预测的方法，相较于常规神经网络，新方法对于数据的依赖程度更小，结果更准确。在实验中，作者选择了最近流行的虚拟货币「以太币」作为实例进行价格预测。 去年我曾发表过几篇有关使用神经网络进行金融价格预测的教程，我认为其中有一部分结果至少还挺有意思，并且值得在实际交易中加以应用。如果你阅读
此示例说明如何将贝叶斯优化应用于深度学习，以及如何为卷积神经网络找到最佳网络超参数和训练选项。
深层神经网络参数调优（一）——方差、偏差与正则化 （原创内容，转载请注明来源，谢谢） 一、概述 现在来到ng【深层神经网络参数调优】专题的学习，这部分主要是对深度学习过程中，需要涉及到的参数、超参数的调优的方法与技巧。 二、样本集的使用 1、三个集 在深度学习中，为了检验算法的效果，通常会设置训练集、验证集和测试集。 训练集用来训练分类器，得到最低代价函数情况下，各层网络对应的w、b。 验证集用来调试的，目的是为了获得最优的超参数，如学习速率α、正则化因子λ等。 测试集用来验证训练集得到的结果，确认错
谷歌AI的研究人员日前在arxiv贴出一篇文章，给出了首个神经网络训练相关的理论证明。
神经网络的基本思想是模拟计算机“大脑”中的多个相互关联的细胞，这样它就可以从环境中学习、识别不同的模式，并做出与人类相似的决定。
【导读】12月7日，第31届神经信息处理系统大会（Neural Information Processing Systems，NIPS）邀请牛津大学统计学教授、Deepmind 研究科学家，同时也是和Hinton一起发明深度信念网络（Deep Belief Network，DBN）的Hinton高徒 Yee Whye Teh（郑宇怀）发表了题为《Bayesian Deep Learning and Deep Bayesian Learning》（贝叶斯深度学习与深度贝叶斯学习）的报告。 ▌演讲人介绍 ---
机器学习狭义上是指代统计机器学习，如图 1 所示，统计学习根据任务类型可以分为监督学习、半监督学习、无监督学习、增强学习等。
截止到2017年10月25日，吴恩达在Coursera上目前有3门新的深度学习课程: 1.神经网络和深度学习（Neural Networks and Deep Learning） 2.改善深度神经网络:调优超参数，正则化和优化（Improving Deep Neural Networks: Hyperparamater tuning, Regularization and Optimization） 3.构建机器学习项目（Structuring Machine Learning Projects） 这
从Logistic回归开始，然后尝试Tree Ensembles和/或Neural Networks。 奥卡姆的剃刀原理：使用最简单的算法，可以满足您的需求，并且只有在严格需要的情况下才用更复杂的算法。 根据我自己的经验，只有神经网络和梯度增强决策树（GBDT）正在工业中广泛使用。 我目睹Logistic回归和随机森林被弃用不止一次（这意味着它们是好的开始）。 从来没有人听说有人在公司中讨论SVM。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
