github地址 使用循环神经网络生成序列文本数据。循环神经网络可以用来生成音乐、图像作品、语音、对话系统对话等等。
word2vec原论文讲得比较简单，几乎没有细节，本文会根据另一篇论文【word2vec Parameter Learning Explained】，来详细介绍两种加速方法。本文使用python+tensorflow2.0来复现word2vec模型，所以模型中的反向梯度计算与参数优化更新，都是使用的tf中的自动求导与优化器实现，也因此本文中只涉及到word2vec的两种结构（CBOW与Skip-gram）及两种加速方式（Huffman树-层次softmax和负采样）从输入到loss的前向计算，完整代码已开源，具体请查看https://github.com/wellinxu/nlp_store。
想要真的了解深度学习，除了看视频，拿数据和算力真枪实弹的练手可能比各种理论知识更重要。
Quick Draw 数据集是一个包含5000万张图画的集合，分成了345个类别，这些图画都来自于Quick, Draw! 游戏的玩家。
Fast Segmentation Convolutional Neural Network (Fast- scnn)是一种针对高分辨率图像数据的实时语义分割模型，适用于低内存嵌入式设备上的高效计算。原论文的作者是：Rudra PK Poudel, Stephan Liwicki and Roberto Cipolla。本文中使用的代码并不是作者的正式实现，而是我对论文中描述的模型的重构的尝试。
上次公众号刚刚讲过使用 python 播放音频与录音的方法，接下来我将介绍一下简单的语音分类处理流程。简单主要是指，第一：数据量比较小，主要是考虑到数据量大，花费的时间太长。作为演示，我只选取了六个单词作为分类目标，大约 350M 的音频。实际上，整个数据集包含 30 个单词的分类目标，大约 2GB 的音频。第二 ：使用的神经网络比较简单，主要是因为分类目标只有 6 个。如果读者有兴趣的话，可以使用更加复杂的神经网络，这样就可以处理更加复杂的分类任务。第三：为了计算机能够更快地处理数据，我并没有选择直接把原始数据‘’喂“给神经网络，而是借助于提取 mfcc 系数的方法，只保留音频的关键信息，减小了运算量，却没有牺牲太大的准确性。
若你是做NLP的，一定对词向量很亲切，若你是做推荐的，对词向量也一定不会陌生，以词向量为代表的序列向量化方法已经成为机器学习中必不可少的实战利器。
随机梯度下降是一种基于梯度的优化算法，用于在训练阶段学习网络参数。梯度通常使用反向传播算法计算。在实践中，人们使用SGD的迷你批处理版本，其中参数更新是基于批处理而不是单个示例执行的，从而提高了计算效率。许多对普通SGD的扩展都存在，包括Momentum、Adagrad、rmsprop、Adadelta或Adam。
刚才边写这个，别跑程序，偏偏没有选择自动保存，因此没得了，一个字也没有给我留下来，消耗了我所有的耐心。
Keras作为深度学习工具，对于 初学者还是蛮友好的，在安装前，我们要知道Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。因此我们安装Keras前，就必须安装相关的依赖包。
使用到的数据集为IMDB电影评论情感分类数据集，该数据集包含 50,000 条电影评论，其中 25,000 条用于训练，25,000 条用于测试。每条评论被标记为正面或负面情感，因此该数据集是一个二分类问题。
深度学习是近年来兴起的一种机器学习方法，它通过模拟人脑神经网络的结构和功能，实现对大规模数据进行高效处理和学习。卷积神经网络（Convolutional Neural Networks，简称CNN）是深度学习中最重要和最常用的算法之一，它在图像识别、计算机视觉和自然语言处理等领域取得了巨大的成功。
DeepAction八期飞跃计划还剩9个名额，联系小编，获取你的专属算法工程师学习计划（联系小编SIGAI_NO1）
LeNet 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展
自然语言处理的常用方法是循环神经网络。所以接下来会从 character RNN 开始（预测句子中出现的下一个角色），继续介绍RNN，这可以让我们生成一些原生文本，在过程中，我们会学习如何在长序列上创建TensorFlow Dataset。先使用的是无状态RNN（每次迭代中学习文本中的随机部分），然后创建一个有状态RNN（保留训练迭代之间的隐藏态，可以从断点继续，用这种方法学习长规律）。然后，我们会搭建一个RNN，来做情感分析（例如，读取影评，提取评价者对电影的感情），这次是将句子当做词的序列来处理。然后会介绍用RNN如何搭建编码器-解码器架构，来做神经网络机器翻译（NMT）。我们会使用TensorFlow Addons项目中的 seq2seq API 。
选自Keras Blog 作者：Francois Chollet 机器之心编译 参与：黄小天、路雪 如何在 Keras 中实现 RNN 序列到序列学习？本文中，作者将尝试对这一问题做出简短解答；本文预设你已有一些循环网络和 Keras 的使用经验。 GitHub：https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py 什么是序列到序列学习？ 序列到序列学习（Seq2Seq）是指训练模型从而把一个域的序列（比如英语语句）转化
作者 | Francois Chollet 编译 | 雁惊寒 seq2seq是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子翻译成法语）的模型训练方法。目前有多种方法可以用来处理这个任务，可以使用RNN，也可以使用一维卷积网络。 很多人问这个问题：如何在Keras中实现RNN序列到序列（seq2seq）学习？本文将对此做一个简单的介绍。 什么是seq2seq学习 序列到序列学习（seq2seq）是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子
Python高级架构模式的整理 📷 1、残差连接是目前常用的组件，解决了大规模深度学习模型梯度消失和瓶颈问题。 通常，在10层以上的模型中追加残差连接可能有帮助。 from keras import layers x = ... y = layers.Conv2D(128, 3, activation='relu', padding='same')(x) y = layers.Conv2D(128, 3, activation='relu', padding='same')(y) y = layer
选自 Medium 机器之心编译 参与：蒋思源、晏奇、黄小天 众所周知，图像就是像素值的集合，而这个观点可以帮助计算机科学家和研究者们构建一个和人类大脑相似并能实现特殊功能的神经网络。有时候，这种神经
利用 Keras 函数式 API，你可以构建类图（graph-like）模型、在不同的输入之间共享某一层，并且还可以像使用 Python 函数一样使用 Keras 模型。Keras 回调函数和 TensorBoard 基于浏览器的可视化工具，让你可以在训练过程中监控模型
生成模型是近年来受到广泛关注的无监督学习中的一类重要模型。可以将它们定义为一类模型，其目标是学习如何生成与训练数据来自同一数据集的新样本。在训练阶段，生成模型试图解决密度估计的核心任务。在密度估计中，我们的模型学习构建一个估计——pmodel(x)——尽可能类似于不可观察的概率密度函数——pdata(x)。需要说明的是，生成模型应该能够从分布中生成新样本，而不仅仅是复制和粘贴现有样本。一旦我们成功地训练了我们的模型，它就可以用于各种各样的应用，从各种形式的重建，如图像填充、着色和超分辨率到生成艺术品。
上一篇文章讲解了如何简易入门Keras，大致给出了一个深度学习模型，但对于模型如何调参就没有太过于深入讲解，今天继续写一篇文章来整理下 Keras 深度学习模型的调参教程，希望可以对大家有所帮助。
AlexNet是深度学习领域中的经典卷积神经网络（CNN）模型之一，由Alex Krizhevsky等人提出，并在2012年的ImageNet图像识别竞赛中取得了重大突破。本文将介绍AlexNet的基本结构和关键特点，帮助读者深入了解这一算法。
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性（图像识别的对象在不同位置有相同的含义）设计的，擅长应用于图像处理等任务。在图像处理中，图像数据具有非常高的维数（高维的RGB矩阵表示），因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。
导语 Keras是Python中以CNTK、Tensorflow或者Theano为计算后台的一个深度学习建模环境。相对于其他深度学习的框架，如Tensorflow、Theano、Caffe等，Keras在实际应用中有一些显著的优点，其中最主要的优点就是Keras已经高度模块化了，支持现有的常见模型（CNN、RNN等），更重要的是建模过程相当方便快速，加快了开发速度。 笔者使用的是基于Tensorflow为计算后台。接下来将介绍一些建模过程的常用层、搭建模型和训练过程，而Keras中的文字、序列和图像数据预处
卷积神经网络（Convolution Neural Networks，CNN）是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性（图像识别的对象在不同位置有相同的含义）设计的，擅长应用于图像处理等任务。在图像处理中，图像数据具有非常高的维数（高维的RGB矩阵表示），因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。
文章目录 1. CNN 卷积神经网络 2. 预训练模型 3. RNN 循环神经网络 学习于：简单粗暴 TensorFlow 2 1. CNN 卷积神经网络 卷积神经网络，卷积后尺寸计算 tf.keras.layers.Conv2D， tf.keras.layers.MaxPool2D # CNN 模型 class myCNN(tf.keras.Model): def __init__(self): super().__init__() self.conv1 = tf
克服过拟合和提高泛化能力的20条技巧和诀窍 你是如何提升深度学习模型的效果？ 这是我经常被问到的一个问题。 有时候也会换一种问法： 我该如何提高模型的准确率呢？ ……或者反过来问： 如果我
今天继续使用MNIST数据。 方法： 这次使用的方法为卷积神经网络（CNN）。卷积神经网络通过卷积层，池化层来做特征的提取，最后再连上全连接网络。
将多个张量在一个维度上合并成一个张量。合并有分为两种：拼接concatenate和堆叠stack。
在基于机器学习的文本分类中，我们介绍了几种常见的文本表示方法：One-hot、Bags of Words、N-gram、TF-IDF。这些方法存在两个共同的问题：一是转换得到的向量维度很高，需要较长的训练实践；二是没有考虑到单词与单词之间的关系，只是进行了统计。
在TensorFlow2.0中，Keras是一个用于构建和训练深度学习模型的高阶 API。因此如果你正在使用TensorFow2.0，那么使用Keras构建深度学习模型是您的不二选择。在Keras API中总共有如下三大块：
深度学习算法中的门控循环单元（Gated Recurrent Units）：原理、应用与未来展望
在这篇文章中，我将讨论用于目标检测任务的 Single Shot Multi-box Detector。该算法属于一次性分类器系列，因此它的速度很快，非常适合嵌入到实时应用程序中。SSD的关键特征之一是它能够预测不同大小的目标，并且为现在很多算法提供了基本的思路。 我们从讨论算法的网络架构开始这篇文章，然后我们将深入研究数据增强、锚框和损失函数。
机器学习模型能够对图像、音乐和故事的统计潜在空间（latent space）进行学习，然后从这个空间中采样（sample），创造出与模型在训练数据中所见到的艺术作品具有相似特征的新作品
本文使用 GRU 单元建立 RNN 网络，使用唐诗三百首进行训练，使用模型生成唐诗。
整体而言，为了吸引用户，TensorFlow 2.0 从简单、强大、可扩展三个层面进行了重新设计。特别是在简单化方面，TensorFlow 2.0 提供更简化的 API、注重 Keras、结合了 Eager execution。
残差网络在《Deep Residual Learning for Image Recognition》中被第一次提出，作者利用它在ILSVRC 2015的ImageNet 分类、检测、定位任务以及COCO 2015的检测、图像分割任务上均拿到第一名，也证明ResNet是比较通用的框架。
在这一个BLOG里，我会跟大家讲一下什么是unet模型，以及如何训练自己的unet模型，其训练与上一篇的segnet模型差距不大，但是结构上有一定的差距。如果想要先有语义分割的基础，可以看我的博文憨批的语义分割2——训练自己的segnet模型（划分斑马线）
Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集了8000万个小尺寸图像数据集，CIFAR-10和CIFAR-100分别是这个数据集的一个子集（http://www.cs.toronto.edu/~kriz/cifar.html）。CIFAR-10数据集由10个类别共60000张彩色图片组成，其中每张图片的大小为32X32，每个类别分别6000张。
虽然，自 TensorFlow 2.0 发布以来，我们总是能够听到「TensorFlow 2.0 就是 keras」、「说的很好，但我用 PyTorch」类似的吐槽。但毋庸置疑，TensorFlow 依然是当前最主流的深度学习框架（感兴趣的读者可查看机器之心文章：2019 年，TensorFlow 被拉下马了吗？）。
我们对Keras应该已经有了一个直观、宏观的认识了。现在，我们来系统的学习一下Keras的一些关于网络层的API，本文的主要内容是围绕卷积展开的，包含以下的内容：
在深度学习领域，模型的大小和计算复杂度常常是一个挑战。知识蒸馏（Knowledge Distillation）和模型压缩（Model Compression）是两种有效的技术，可以在保持模型性能的同时减少模型的大小和计算需求。本文将详细介绍如何使用Python实现这两种技术。
ResNet 是残差网络(Residual Network)的缩写，是一种作为许多计算机视觉任务主干的经典神经网络。这个模型是2015年ImageNet挑战赛的获胜者，ResNet最根本的突破在于它使得我们可以训练成功非常深的神经网路，如150+层的网络。在ResNet之前，由于梯度消失(vanishing gradients)的问题，训练非常深的神经网络是非常困难的。
相信大家经过之前几篇文章的学习，已经对人工智能以及它和Keras的关系有了基本的认识，那么我们即将正式开始对于Keras的学习。
在前系列笔记中已有了关于爱丽丝梦游仙境的例子，一直想进行中文方面的尝试，看看到底在无人干预的情况下，深度学习能够学习到很么程度，本文下载了射雕英雄传前5章，也尝试了一下简单神经网络SimpleRNN和LTSM长短期记忆网络，在完全无干预的情况下，可以做到文本自动输出，也有标点符号，部分内容也比较可观，但距离实用还有很大差距，后续得继续考虑引入分词、词的权重，剔除虚词等来提升文本可读性
周日 2016年4月24日 由弗朗索瓦Chollet 在教程中。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
