选自Google Research Blog 作者：Chris Olah 机器之心编译 参与：路雪、黄小天 近日，谷歌在 distill 上发文《The Building Blocks of Inte
躺尸接近三个月的OpenAI博客终于有了更新，这次它为AI研究者带来的作品是“OpenAI Microscope”，中文译名OpenAI 显微镜。
做计算机视觉，离不开CNN。可是，卷积、池化、Softmax……究竟长啥样，是怎样相互连接在一起的？
神经网络可视化是指通过图形化的方式展示神经网络的结构、参数、输入、输出、中间结果等信息，可以帮助用户更好地神经网络的内部工作原理和特征提取过程，以优化神经网络模型
选自Medium 机器之心编译 参与：侯韵楚、李泽南 神经网络在图像处理中应用广泛，但经常面临难以调整参数的问题。最近，来自 Merantix 的 Ryan Henderson（博士毕业于康奈尔大学）等人发布了一个免费开源的卷积神经网络可视化工具，让我们可以方便地观察神经网络在图像中的焦点，为模型优化提供了帮助。 Github（运行环境-Python3.5 或以上）：https://github.com/merantix/picasso arXiv-Picasso：https://arxiv.org/abs
“还认为神经网络是黑盒子？再想想吧 :)” 几个小时前，谷歌AI领域的高级研究科学家Greg Corrado在推特上发出这样一句话。随后，谷歌传奇人物Jeff Dean也跟进转发。 之所以说出略带“挑
本文介绍基于TensorBoard工具，对tensorflow库构建的神经网络模型加以可视化，并对其训练过程中的损失函数（Loss）、精度指标（Metric）等的变化情况加以可视化的方法。
本文经AI新媒体量子位（公众号 ID: QbitAI）授权转载，转载请联系出处 本文约1700字，建议阅读9分钟 本文介绍了关于神经网络可视化的3D版本。 做计算机视觉，离不开CNN。 可是，卷积、池化、Softmax……究竟长啥样，是怎样相互连接在一起的？ 对着代码凭空想象，多少让人有点头皮微凉。于是，有人干脆用Unity给它完整3D可视化了出来。 还不光是有个架子，训练过程也都呈现得明明白白。 比如随着epoch（迭代次数）的变化，训练过程中各层出现的实时变化。 为了能更清楚地展示网络细节，用户
夏乙 编译整理 量子位 出品 | 公众号 QbitAI 我们总是听说人工智能在图像识别上超越了人类，刷脸也逐渐成了生活中司空见惯的事儿。这些图像识别技术背后，通常是深度神经网络。 不过，神经网络究竟是
【新智元导读】神经网络模型的可视化是解决其黑箱问题的一个解决方案，但用于神经网络可视化的大多数工具集中在图像数据集上，这激发了 Facebook 和 Georgia Tech 一道开发了一款称为 ActiVis 的开发工具的研究，这是一个用于解释大规模神经网络模型和结果的交互式可视化系统。ActiVis 将用户指定的实例或实例子集如何激活神经元进行可视化，以帮助用户了解模型如何生成其预测。用户可以自由地定义具有原始数据属性、变换特征和输出结果的子集，从多个角度实现模型检查。 关于神经网络的“黑箱”问题已经
最近需要进行神经网络的可视化。查阅多种方法后，看到很多方法都比较麻烦，例如单纯利用graphviz模块，就需要手动用DOT语言进行图片描述，比较花时间；最终，发现利用第三方的ann_visualizer模块，可以实现对已有神经网络的直接可视化，过程较为方便。
几周前，我在AnitaB.org组织的Hopperx1 London上发表了演讲作为伦敦科技周的一部分。
对着代码凭空想象，多少让人有点头皮微凉。于是，有人干脆用Unity给它完整3D可视化了出来。
来源：量子位本文约1700字，建议阅读8分钟做计算机视觉，离不开CNN。 可是，卷积、池化、Softmax……究竟长啥样，是怎样相互连接在一起的？ 对着代码凭空想象，多少让人有点头皮微凉。于是，有人干脆用Unity给它完整3D可视化了出来。 还不光是有个架子，训练过程也都呈现得明明白白。比如随着epoch（迭代次数）的变化，训练过程中各层出现的实时变化。 为了能更清楚地展示网络细节，用户还可以在其中自由地折叠、扩展每个层。 比如将特征图在线性布局和网格布局之间转换。 折叠卷积层的特征图输出。 对全
来源/ Arxiv Insights 翻译/ 龙翔 校对/ 凡江 整理/ 廖颖 喜欢机器学习和人工智能，却发现埋头苦练枯燥乏味还杀时间？油管频道 Arxiv Insights 每周精选，从技术视角出发，带你轻松深度学习。 有人说，机器学习算法就是黑箱模型，算法本身没有可解释性。当我们在训练神经网络时，很难知道它为什么做出了这样的预测。算法没有可解释性这一点，在很多情况下忍忍就过去了，但在自动驾驶、智慧医疗、信息安全等场景却不行。 模型的可解释性在以上场景中非常关键，人们想要知道为什么算法做出了这样的
可解释性是深度学习中最具挑战性的方面之一。理解一个神经网络，它有成千上万的神经元分布在数千个隐藏层中。大多数深层神经网络的互联性和复杂性使其不适合于传统的调试工具。
【导读】近日，Google在distill发表文章“The Building Blocks of Interpretability” 探讨了特征可视化如何与其他神经网络的解释性技术结合起来，从而帮助人们理解神经网络如何做出决策。同时，Google还公布一套基于DeepDream打造的神经网络可视化库——Lucid，用于制作清晰的特征可视化图像。本文对文章细节进行整理和介绍，文末给出了相关博客、视频和GitHub链接。 2015年，谷歌曾尝试去弄清神经网络理解图像的方式，结果产生了迷幻图像（psychedel
您是否曾经想过您的神经网络实际上是如何连接不同的神经元的？如果您可以可视化所设计的模型架构，那不是很好吗？如果您可以将模型架构下载为演示时可以使用的图像，那不是很好吗？如果所有这些都为“是”，那么您来对地方了。 在本文中，我将向你展示一个Ë xciting Python包/模块/库，可用于可视化Keras模型。无论是卷积神经网络还是人工神经网络，该库都将帮助您可视化所创建模型的结构。 Keras Visualizer是一个开源python库，在可视化模型如何逐层连接方面确实很有帮助。因此，让我们开始吧。
AI 科技评论按：原文作者zhwhong，载于作者的个人博客，经授权发布。 TensorBoard:TensorFlow集成可视化工具 GitHub官方项目：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tensorboard TensorBoard 涉及到的运算，通常是在训练庞大的深度神经网络中出现的复杂而又难以理解的运算。 为了更方便 TensorFlow 程序的理解、调试与优化，Google发布了一套叫做 Tenso
TensorBoard:TensorFlow 集成可视化工具 GitHub 官方项目：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tensorboard TensorBoard 涉及到的运算，通常是在训练庞大的深度神经网络中出现的复杂而又难以理解的运算。 为了更方便 TensorFlow 程序的理解、调试与优化，Google 发布了一套叫做 TensorBoard 的可视化工具。你可以用 TensorBoard 来展现你
选自arXiv 作者：张拳石、朱松纯 机器之心编译 参与：乾树、李泽南 在本篇论文中，来自 UCLA 的研究人员就目前有关理解神经网络表征和用可解释/分离式表征学习神经网络的研究进行了一次调查。 本文将研究范围圈定到以下六个研究方向： 网络中间层的 CNN 特征可视化。这些方法主要是合成图像，使预训练的 CNN 中的给定神经元的得分最大化，或者用卷积层的 feature maps 反推出输入图。详细内容请看第二节。 CNN 表征的诊断。相关的研究涉及为不同的物体类别诊断 CNN 的特征空间，或揭露卷积层的潜
AiTechYun 编辑：xiaoshan 在2015年，谷歌曾尝试去想象神经网络如何理解产生了迷幻图像的图像。不久之后，谷歌把其代码开源为“DeepDream”，它发展成为一个小型的艺术运动，产生各
选自Uber 作者：Rui Wang等 机器之心编译 参与：张倩、刘晓坤 近日，Uber 开源了神经进化算法开发的交互式可视化工具 VINE，该工具可以轻松实现神经网络群体的各种特定指标以及适应度分数的可视化和随时间的变化，用户可对其进行实时评估。此外，VINE 还支持默认功能之外的高级选项和自定义可视化。 VINE 项目地址：https://github.com/uber-common/deep-neuroevolution/tree/master/visual_inspector 对于 Uber 的产业
目前已经提出了几种理解和可视化卷积神经网络的方法，作为对于神经网络不可解释性的一种回应。接下来我们将简单介绍一些方法和相关工作。
本文研究了神经网络损失函数的几何结构，并提出了可视化方法。研究结果表明，损失函数的曲面在深度神经网络中会从凸面的、平滑的转变成杂乱的、尖锐的，进而大大降低泛化能力和可训练性。通过使用过滤器归一化方法，可以直观地观察损失函数的曲率，并发现其与网络架构和训练参数的关系。该研究为神经网络实践者提供了对损失函数和训练过程的新见解，有助于改进深度学习技术的应用。
本文探讨了神经网络训练中损失函数可视化方法的局限性，并提出了一种新的过滤器正则化方法来对不同最小值进行并行比较。通过使用过滤器正则化，可以有效地揭示损失函数的局部几何形状，并观察到深度网络中的凸面-混乱转变，以及跳过连接如何促进平面最小化。
【视频】Copula算法原理和R语言股市收益率相依性可视化分析 R语言时间序列GARCH模型分析股市波动率 【视频】量化交易陷阱和R语言改进股票配对交易策略分析中国股市投资组合 使用R语言对S＆P500股票指数进行ARIMA + GARCH交易策略 R语言量化交易RSI策略：使用支持向量机SVM R语言资产配置: 季度战术资产配置策略研究 R语言动量交易策略分析调整后的数据 TMA三均线股票期货高频交易策略的R语言实现 R语言时间序列：ARIMA / GARCH模型的交易策略在外汇市场预测应用 R语言基于Garch波动率预测的区制转移交易策略 r语言多均线股票价格量化策略回测 使用R语言对S＆P500股票指数进行ARIMA + GARCH交易策略 Python基于粒子群优化的投资组合优化研究 R语言Fama-French三因子模型实际应用：优化投资组合 R语言动量和马科维茨Markowitz投资组合(Portfolio)模型实现 Python计算股票投资组合的风险价值（VaR） R语言Markowitz马克维茨投资组合理论分析和可视化 R语言中的广义线性模型（GLM）和广义相加模型（GAM）：多元（平滑）回归分PYTHON用RNN神经网络LSTM优化EMD经验模态分解交易策略分析股票价格MACD R语言深度学习：用keras神经网络回归模型预测时间序列数据 【视频】CNN（卷积神经网络）模型以及R语言实现回归数据分析 Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性 数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子 Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析 Matlab用深度学习长短期记忆（LSTM）神经网络对文本数据进行分类 RNN循环神经网络 、LSTM长短期记忆网络实现时间序列长期利率预测 结合新冠疫情COVID-19股票价格预测：ARIMA，KNN和神经网络时间序列分析 深度学习：Keras使用神经网络进行简单文本分类分析新闻组数据 用PyTorch机器学习神经网络分类预测银行客户流失模型 PYTHON用LSTM长短期记忆神经网络的参数优化方法预测时间序列洗发水销售数据 Python用Keras神经网络序列模型回归拟合预测、准确度检查和结果可视化 Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析 R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告 R语言深度学习：用keras神经网络回归模型预测时间序列数据 Matlab用深度学习长短期记忆（LSTM）神经网络对文本数据进行分类 R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据（MNIST） MATLAB中用BP神经网络预测人体脂肪百分比数据 Python中用PyTorch机器学习神经网络分类预测银行客户流失模型 R语言实现CNN（卷积神经网络）模型进行回归数据分析 SAS使用鸢尾花(iris)数据集训练人工神经网络(ANN)模型 【视频】R语言实现CNN（卷积神经网络）模型进行回归数据分析 Python使用神经网络进行简单文本分类 R语言用神经网络改进Nelson-Siegel模型拟合收益率曲线分析 R语言基于递归神经网络RNN的温度时间序列预测 R语言神经网络模型预测车辆数量时间序列 R语言中的BP神经网络模型分析学生成绩 matlab使用长短期记忆（LSTM）神经网络对序列数据进行分类 R语言实现拟合神经网络预测和结果可视化 用R语言实现神经网络预测股票实例 使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测 python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译 用于NLP的Python：使用Keras的多标签文本LSTM神经网络分类
原文来源：arxiv 作者：Hao Li、Zheng Xu、Gavin Taylor、Tom Goldstein 「雷克世界」编译：嗯~阿童木呀、KABUDA 一般来说，我们对于神经网络的训练，往往依赖于找到高度非凸损失函数的“极好”极小值的能力。众所周知，某些网络体系结构的设计（例如，跳过连接）能够产生更容易进行训练的损失函数，且用精心挑选的参数（批量大小，学习速率，优化器）进行训练则能够产生可以进行更好泛化的最小化值。然而，这些差异之所以产生的原因，以及它们对潜在损失情况（loss landsc
之前向大家介绍了一种基于Python第三方ann_visualizer模块的神经网络可视化方法，大家可以直接点击推文：基于Python的神经网络模型可视化绘图方法查看；这一方法可以对Dense隐藏层以及MaxPooling层、Dropout层、Flatten层等其它类型的隐藏层加以绘制，功能非常强大，但是需要用代码执行，且在执行前需要将神经网络的全部结构与输入数据配置好后才可以绘制，稍微有一些繁琐。
可视化神经网络总是很有趣的。例如，我们通过神经元激活的可视化揭露了令人着迷的内部实现。对于监督学习的设置，神经网络的训练过程可以被认为是将一组输入数据点变换为可由线性分类器分离而表示的函数。所以，这一次，我打算通过利用这些（隐藏的）的表示来产生可视化，从而为这个训练过程带来更多内部细节。这种可视化可以揭示和神经网络性能相关的有趣的内部细节。
深度学习的黑盒问题一直以来都是机器学习领域的一大难题，而直接导致这一难题的便是神经网络中除输入层和输出层以外的隐藏层。
将神经网络可视化是非常有趣的。对于监督学习而言，神经网络的训练过程可以看做是学习如何将一组输入数据点转换为可由线性分类器进行分类的表示。本文我想利用这些（隐藏）表示进行可视化，从而更加直观地了解训练过程。这种可视化可以为神经网络的性能提供有趣的见解。
近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.
本文提出了一种新的、更精确的可视化技术，能够为神经网络实践者面对众多选择时提供见解，包括网络架构、优化器选择和批大小。研究表明，当神经网络很深或没有跳过连接时，损失函数的曲面会从凸面的、平滑的转变成杂乱的、尖锐的，进而大大降低泛化能力和可训练性。论文使用了多种可视化方法探索了神经网络损失函数结构，以及损失函数的形态对泛化能力的影响。
选自arXiv 机器之心编译 参与：黄小天、刘晓坤 在这篇论文中，研究人员提出了「过滤器归一化」方法，用于可视化损失函数的曲率，并对损失函数进行了实验性的并行对比。他们进一步探索了多种因素（网络架构、超参数、优化器等）对损失函数形态的影响，以及损失函数形态对泛化能力的影响。 神经网络的训练需要最小化高维度非凸损失函数——这是一项理论上很难、有时却易于实践的任务。尽管训练一般性神经损失函数（Blum & Rivest, 1989）是 NP-hard，简单的梯度方法却经常能找到全局最小值（global mini
反向传播（back propagation）是深度神经网络的一个必要环节，令人好奇的是：反向传播的张量到底是什么样子呢?我们能从中获得哪些信息，从而更好的理解神经网络？ 今天介绍的论文是《A Theo
AiTechYun 编辑：yuxiangyu 对于优步的规模来说，机器学习的进步可以显著提高更运输方案的技术，使之更为安全可靠。最近优步人工智能实验室发布了一个可以做到这点的进化算法：深度神经进化（deep neuroevolution），与进化策略（ES）和遗传算法（GA）一样，他可以帮助训练深度神经网络去解决困难的强化学习（RL）问题。 最近深度神经进化的越来越得到重视，其中主要贡献来自 OpenAI，DeepMind，Google Brain和Sentient，这增加了对帮助该领域研究人员的工具的
比如一个汽车识别模型（14c: 447），它究竟是怎么认出图片中的汽车的？如果我们可以看到模型内部，我们可以发现14c: 447是由一个轮子探测器（4b: 373）和一个窗口探测器（4b: 237）构成的。
一直以来，深度学习被认为缺乏可解释性和基础理论支撑，往往被人们看做一个“黑匣子”。为了展现神经网络的内部特征并构建相应的理解过程，使神经网络更加可靠，相关的网络可视化研究越来越受人们重视。
本文作者：kurffzhou，腾讯 TEG 安全工程师 最近，Nature发表了一篇关于深度学习系统被欺骗的新闻文章，该文指出了对抗样本存在的广泛性和深度学习的脆弱性，以及几种可能的解决方法。安全平台部基础研究组自2017年来在对抗样本的生成及防守方法进行了深入研究，在这里团队通过在攻击方面的经验，分享我们对于防守对抗样本的一些思考，欢迎共同讨论。 深度学习在现实生活中的应用越来越广，然而越来越多的例子表明，深度学习系统很容易受到对抗样本的欺骗。那么，AI到底是怎么“想”的？为什么这么容易被骗？ 要
作者：杨晓凡、camel、思颖、杨文 AI 科技评论按：神经网络的可解释性一直是所有研究人员心头的一团乌云。传统的尝试进行可解释性研究的方法是通过查看网络中哪个神经元被激发来来理解，但是即使我们知道「第 538 号神经元被激发了一点点」也毫无意义，并不能帮助我们理解神经元在网络中的意义。为了解决这样的问题 Google Brain 的一些研究人员开发了神经网络特征可视化方法。 2015 年上半年的时候，谷歌大脑的人员就尝试将神经网络理解图像并生成图像的过程进行可视化。随后他们开源了他们的代码 DeepDre
| 导语 最近，Nature发表了一篇关于深度学习系统被欺骗的新闻文章，该文指出了对抗样本存在的广泛性和深度学习的脆弱性，以及几种可能的解决方法。腾讯安全平台部基础研究组自2017年来在对抗样本的生成及防守方法进行了深入研究，在这里团队通过在攻击方面的经验，分享对于防守对抗样本的一些思考。 深度学习在现实生活中的应用越来越广，然而越来越多的例子表明，深度学习系统很容易受到对抗样本的欺骗。那么，AI到底是怎么“想”的？为什么这么容易被骗？ 要回答这个问题，我们首先看图片来做个小实验—— 图1 图1左图：
一直以来，深度神经网络的可解释性都被大家诟病，训练一个神经网络被调侃为“炼丹”。所得的模型也像一个“黑盒”一样，给它一个输入，然后得到结果，却不知道模型是如何得出结论的，究竟学习到了什么知识。如果能将其训练或者推理过程可视化，那么可以对其更加深入的理解，目前深度神经网络可视化可以分为：
王小新 编译自 Towards Data Science 量子位 出品 | 公众号 QbitAI 在深度学习中，有许多不同的深度网络结构，包括卷积神经网络(CNN或convnet)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。 在计算机视觉领域，对卷积神经网络(简称为CNN)的研究和应用都取得了显著的成果。CNN网络最初的诞生收到了动物视觉神经机制的启发，目前已成功用于机器视觉等领域中。 技术博客Towards Data Science最近发布了一篇文章，作者Suki Lau。文章讨论了在卷积神经
神经网络的可解释性一直是所有研究人员心头的一团乌云。传统的尝试进行可解释性研究的方法是通过查看网络中哪个神经元被激发来来理解，但是即使我们知道「第 538 号神经元被激发了一点点」也毫无意义，并不能帮助我们理解神经元在网络中的意义。为了解决这样的问题 Google Brain 的一些研究人员开发了神经网络特征可视化方法。 2015 年上半年的时候，谷歌大脑的人员就尝试将神经网络理解图像并生成图像的过程进行可视化。随后他们开源了他们的代码 DeepDream。这个方法出乎他们意料的是，竟然促成了一个小小的艺术
【AI科技大本营导读】深度卷积神经网络是这一波 AI 浪潮背后的大功臣。虽然很多人可能都已经听说过这个名词，但是对于这个领域的相关从业者或者科研学者来说，浅显的了解并不足够。近日，约克大学电气工程与计算机科学系的 Isma Hadji 和 Richard P. Wildes 发表了一篇《我们该如何理解卷积神经网络？》的论文：
AI 科技评论按：这里是，雷锋字幕组编译的 Two minutes paper 专栏，每周带大家用碎片时间阅览前沿技术，了解AI领域的最新研究成果。 原标题：Building Blocks of AI
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
