【导读】如何对时间序列进行时空建模及特征抽取，是RGB视频预测分类，动作识别，姿态估计等相关领域的研究热点。清华大学、Google AI 和斯坦福大学李飞飞团队提出了一种具有强记忆力的E3D-LSTM网络，用3D卷积代替2D卷积作为LSTM网络的基础计算操作，并加入自注意力机制，使网络能同时兼顾长时和短时信息依赖以及局部时空特征抽取。这为视频预测、动作分类等相关问题提供了新思路，是一项非常具有启发性的工作。
论文题目：An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds
下面创建一个简单的 2 层 RNN，每层有 100 个神经元，输出层是单个神经元的 dense 层：
论文地址： https://arxiv.org/pdf/2007.12392.pdf
你可能很难理解如何为LSTM模型的输入准备序列数据。你可能经常会对如何定义LSTM模型的输入层感到困惑。也可能对如何将数字的1D或2D矩阵序列数据转换为LSTM输入层所需的3D格式存在一些困惑。 在本教程中，你将了解如何定义LSTM模型的输入层，以及如何重新调整LSTM模型加载的输入数据。 完成本教程后，你将知道: 如何定义一个LSTM输入层。 如何对一个LSTM模型的一维序列数据进行重新调整，并定义输入层。 如何为一个LSTM模型重新调整多个并行序列数据，并定义输入层。 让我们开始吧。 教程概述 本教程分
AI科技评论按：虽然CVPR 2017已经落下帷幕，但对精彩论文的解读还在继续。下文是宜远智能的首席科学家刘凯对此次大会收录的《结合序列学习和交叉形态卷积的3D生物医学图像分割》（Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation）一文进行的解读。 3D医学图像的切割的背景 3D医学图像的切割是医学图像处理里一个非常重要的工作，比如脑部MRI数据、肺CT数据和X光数据等等。现在大多数的3D
这是ICLR2019年的一篇paper，来自于清华的王同学与李飞飞实验室的合作paper。
行为识别：行为识别（Action Recognition） 任务是从视频剪辑（2D帧序列）中识别不同的动作，其中动作可以在视频的整个持续时间内执行或不执行。行为识别似乎是图像分类任务到多个帧的扩展，然后聚合来自每帧的预测。尽管图像分类取得了很大的成功，但是视频分类和表示学习依然进展缓慢。
基于图像的预测方法能够如何准确地响应云游戏系统中的用户操作？主要面临三个技术挑战：
使用DL方法解决视频中行为识别/动作识别的问题解决思路有三个分支：分别是two-stream(双流)方法，C3D方法以及CNN-LSTM方法。本文将从算法介绍、算法架构、参数配置、训练集预处理、算法优势及原因、运行结果六个方面对每种算法进行阐释，并对每一个分支的算法集合总结自己的心得。本文暂不区分行为识别(Activity Recognition)与动作识别(Action Recognition)。
论文名称：ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection
原文地址：https://machinelearningmastery.com/timedistributed-layer-for-long-short-term-memory-networks-in-python/
How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python 如何在Python中将TimeDistributed层用于Long Short-Term Memory Networks Long Short-Term Memory Networks或LSTM是一种流行的强大的循环神经网络(即RNN)。 对于任意的序列预测(sequence prediction )问题，配置和应用起来可能会相当困难，即使在P
本文目的是研究使用神经网络对视频帧进行分类的方法，特别是研究将时间信息与视频帧的空间信息一起考虑的体系结构。我们旨在证明，仅将标准卷积神经网络单独应用于视频的每个帧，对于可以捕获视频帧之间的时间模式的模型而言是一种较差的方法。
选自arXiv 作者：吴翼、吴育昕、Georgia Gkioxari、田渊栋 机器之心编译 参与：路雪、李泽南 构建虚拟 3D 环境对于强化学习研究非常重要。近日，UC Bekerley 博士生吴翼、FAIR 研究工程师吴育昕、博士后 Georgia Gkioxari 和研究科学家田渊栋共同提交了一篇论文，提出一种基于 SUNCG 数据集构建的丰富、可扩展的高效环境 House3D。研究者用连续和离散动作空间训练强化学习智能体，改善了它们在新环境中的泛化能力。该论文目前已提交至 ICLR 2018 大会。
4月，是不冷不热的季节，可以肆无忌惮的去游玩，可以敞开心怀去做自己想做的事情，比如科研，灵感来源于大自然，一不小心在樱花树下Get了一个新颖的想法，所以，我们要用乐观的心态去学习、科研和生活。
选自arXiv 作者：Andrea Banino等 机器之心编译 编辑：陈萍、杜伟 来自 DeepMind 的研究者提出了用于强化学习的 CoBERL 智能体，它结合了新的对比损失以及混合 LSTM-transformer 架构，可以提高处理数据效率。实验表明，CoBERL 在整个 Atari 套件、一组控制任务和具有挑战性的 3D 环境中可以不断提高性能。 近些年，多智能体强化学习取得了突破性进展，例如 DeepMind 开发的 AlphaStar 在星际争霸 II 中击败了职业星际玩家，超过了 99.8
上一篇专栏文章我们介绍了基于视频的人脸表情识别的相关概念，了解了目前基于视频的人脸表情识别领域最常用的几个数据集以及经典的实现方法。本文将延续上一篇的内容，分享近几年该领域一些主流的基于深度学习的方法实现。
视频相对于图像多出了一个维度，而3D卷积正好可以用于处理这个维度，因此也非常适合视频分类任务，不过缺点是计算量比较大，下图展示了一个简单的3D模型。
心理负荷量显著影响特定任务中的人员绩效。适当的心理负荷量可以提高工作效率。但是，沉重的脑力劳动会降低人类的记忆力，反应能力和操作能力。由于某些职业的脑力劳动量很大，例如飞行员，士兵，机组人员和外科医生，沉重的脑力劳动会导致严重的后果。因此，心理负荷量评估仍然是一个重要的课题。 近年来，基于脑电图的脑力负荷评估取得了重要成就。但是，出色的结果通常集中于在同一天完成单一心理任务的单个被试。这些方法在实验室外的效果不佳。要达到好的效果，必须克服三个问题，即跨被试，跨日期和跨任务问题。所谓的跨任务问题就是算法可以在不同的实验范式中评估心理负荷量。跨任务的心理负荷量评估，难点在于找到可以推广到各种心理任务的高鲁棒性的EEG特征。特征集通常使用两种方法生成：手工设计特征和通过深度学习提取特征。 最常用的手工设计特征是从5个频段（δ[1-3 Hz]，θ[5-8 Hz]，α[9-12 Hz]，β[14-31 Hz]和γ[33-42 Hz]）和2个扩展频带（γ1 [33-57 Hz]和γ2 [63-99 Hz]）中提取的功率谱密度（PSD）特征。事件相关电位（ERP）和事件相关同步/去同步（ERS/ ERD）也广泛用于对EEG信号进行分类。 但是，这些手工设计的特征对于跨任务问题未取得可使用的结果。原因除了设计的特征不适合之外，各种任务下的心理负荷量级别的定义也可能导致误导分类结果，心理负荷量状况的标签可能被主观地和错误地定义。 近期，来自清华大学精密仪器系精密测量技术与仪器国家重点实验室的研究团队在IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING杂志发表题目为《Learning Spatial–Spectral–Temporal EEG Features With Recurrent 3D Convolutional Neural Networks for Cross-Task Mental Workload Assessment》研究论文，其设计了两种不同类型的心理负荷量实验，通过行为数据验证了实验的有效性，并提出了一个基于深度循环神经网络（RNN）和3D卷积神经网络的级联网络结构（R3DCNN），以在没有先验知识的情况下学习跨任务的脑电特征。
Keras layers API. Aliases: Module tf.compat.v1.keras.layers Classes class AbstractRNNCell: Abstract object representing an RNN cell. class Activation: Applies an activation function to an output. class ActivityRegularization: Layer that applies an update t
3D目标检测在ECCV20的文章中呈现依旧火热的研究趋势，本文对目前笔者看到过的ECCV20和ACM MM20的3D目标检测文章做一个汇总，分类方法按照该方法是否在对应数据集上实验作为分类方法。
视频分类/行为识别是计算机视觉领域中非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息，如何更好的提取出空间-时间特征是问题的关键。本文总结了该领域的技术进展和相关数据集，技术进展从传统特征法到深度学习中的3DCNN，LSTM，Two-Stream等。
1.标题：Lookahead Optimizer: k steps forward, 1 step back
CVPR 2014 Tutorial on Emerging Topics in Human Activity Recognition
深度学习在最近十来年特别火，几乎是带动AI浪潮的最大贡献者。互联网视频在最近几年也特别火，短视频、视频直播等各种新型UGC模式牢牢抓住了用户的消费心里，成为互联网吸金的又一利器。当这两个火碰在一起，会产生什么样的化学反应呢？
BERT还不足以称之为知识库：无监督问答任务中BERT对事实性的知识和基于名称的推理学习能力对比
论文的故事还在继续 相对于 CVPR 2017收录的共783篇论文，即便雷锋网(公众号：雷锋网) AI 科技评论近期挑选报道的获奖论文、业界大公司论文等等是具有一定特色和代表性的，也仍然只是沧海一粟，其余的收录论文中仍有很大的价值等待我们去挖掘，生物医学图像、3D视觉、运动追踪、场景理解、视频分析等方面都有许多新颖的研究成果。 所以我们继续邀请了宜远智能的刘凯博士对生物医学图像方面的多篇论文进行解读，延续之前最佳论文直播讲解活动，此次是第2篇。 刘凯博士是宜远智能的总裁兼联合创始人，有着香港浸会大学的博
分别表示输入门，遗忘门、输出门， 是sigmoid 函数， 表示bias ， 是在t时刻的输入、激活状态、隐藏状态。W表示权重矩阵。比如 控制遗忘门怎么从隐藏状态获取值。
上周分享了本文上篇，现有分词、机器学习、深度学习库Keras技术知识，下篇将详细介绍达观数据使用深度学习的分词尝试。 基于深度学习方式的分词尝试 基于上面的知识，可以考虑使用深度学习的方法进行中文分词。分词的基础思想还是使用序列标注问题，将一个句子中的每个字标记成BEMS四种label。模型整的输入是字符序列，输出是一个标注序列，因此这是一个标准的sequence to sequence问题。因为一个句子中每个字的上下文对这个字的label类型影响很大，因此考虑使用RNN模型来解决。 环境介绍 测试硬件
【新智元导读】在用强化学习玩游戏的路上越走越远的 DeepMind，今天发表在 arxiv上的最新论文《分层强化学习的 FeUdal 网络》引起热议。简称 FuN 的这个模型完善了 Dayan 和 Hinton 有关分层强化学习的理论，通过将任务分解为子任务来学习复杂行为或学习达成目标，在 ATARI 的多个游戏上的实验显示，该模型比 LSTM 基线表现更优。论文最后称，这类问题的解决方案或是具有通用智能的智能体的重要的敲门砖。 论文题目：分层强化学习的 FeUdal 网络（FeUdal Networks
[1].Generative Sparse Detection Networks for 3D Single-shot Object Detection
今年 5 月，美图公司联合中国模式识别与计算机视觉学术会议（PRCV2018）共同举办的 PRCV2018「美图短视频实时分类挑战赛」正式开赛。来自中科院自动化所、中科院自动化所南京人工智能芯片创研院的史磊、程科在张一帆副研究员的指导下获得了 PRCV2018「美图短视频实时分类挑战赛」冠军。不同于以往只关注分类精度的比赛，本竞赛综合考察「算法准确率」和「实时分类」两个方面，将运行时间作为重要指标参与评估，将促进视频分类算法在工业界的应用。以下是冠军团队对本次挑战赛的技术分享总结：
最近看到一篇博客，是时间预测问题，数据和代码的原地址在这里， https://www.jianshu.com/p/5d6d5aac4dbd
选自Medium 作者：Piotr Tempczyk 机器之心编译 参与：陈韵竹、刘晓坤 在卷积神经网络领域中有许多可视化方面的研究，但是对于 LSTM 却没有足够的类似工具。LSTM 网络的可视化能带来很有意思的结果，由于其包含时间相关性，我们除了可以在可视化图像的空间维度上探索数据之间的关联，还可以在时间维度上探索关联的稳健性。 GitHub 地址：https://github.com/asap-report/lstm-visualisation 数据集地址https://archive.ics.uci
时隔半年多，毕设男孩终于重操旧业，回到了 LSTM进行时间序列预测和异常检测的路上。
从单一的人脸图像生成其对应的视频是一个有趣的问题，研究者们通常利用人脸图像的稀疏特征点(landmarks)结合生成对抗网络(Generative Adversarial Networks, GANs)来进行人脸视频的生成。然而，由稀疏人脸特征点生成的人脸图像通常会遭受质量损失、图像失真、身份改变，以及表情不匹配等问题。
毕设临近截止，故写一篇心得以供新手学习，理论在知乎上有很多介绍的不错的文章，这里强烈推荐微信公众号：AI蜗牛车，这位东南老哥写了时空预测系列文章，能够帮助了解时空领域模型的演变，同时也向他请教了一些训练技巧。 我的本科毕设大概是这样的：先计算某个区域的风险，计算得到一段时间的风险矩阵，这里用的是自己的模型去计算的，数据如何生成，本文不做赘述，主要讲解如果通过每个时刻下的矩阵数据去预测未来的矩阵。
LSTM模型的一个常见用途是对长时间序列数据进行学习预测，例如得到了某商品前一年的日销量数据，我们可以用LSTM模型来预测未来一段时间内该商品的销量。但对于不熟悉神经网络或者对没有了解过RNN模型的人来说，想要看懂LSTM模型的原理是非常困难的，但有些时候我们不得不快速上手搭建一个LSTM模型来完成预测任务。下面我将对一个真实的时间序列数据集进行LSTM模型的搭建，不加入很多复杂的功能，快速的完成数据预测功能。
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 本文对最近被 TPAMI 接收的一篇综述文章 Human Action Recognition from Various Data Modalities: A Review（基于不同数据模态的人类动作识别综述）进行解读。 原综述文章地址：https:arxiv.org/pdf/2012.11866.pdf 1 概述 人类动作识别（Human Action Recognition, HAR）旨在理解人类的行为，并为每个行为分配一个标签。多
机器之心专栏 作者：侯文轩 本文对最近被 TPAMI 接收的一篇综述文章 Human Action Recognition from Various Data Modalities: A Review（基于不同数据模态的人类动作识别综述）进行解读。 原综述文章地址：https:arxiv.org/pdf/2012.11866.pdf 1 概述 人类动作识别（Human Action Recognition, HAR）旨在理解人类的行为，并为每个行为分配一个标签。多种不同的数据形态都可以用来表示人类的动作和
论文地址： http://arxiv.org/pdf/2007.10872v1.pdf
2017 年 6 月谷歌发布论文《Attention is All You Need》时，我们或许都没有意识到它提出的 Transformer 架构将带来多少惊喜。
编者按：本文介绍了如何使用LSTM模型进行时间序列预测。股票市场的数据由于格式规整和非常容易获得，是作为研究的很好选择。但不要把本文的结论当作理财或交易建议。
从有一些有趣的用例看，我们似乎完全可以将 CNN 和 RNN/LSTM 结合使用。许多研究者目前正致力于此项研究。但是，CNN 的最新研究进展趋势可能会令这一想法不合时宜。
卷积神经网络最初是用来处理多维数组数据，比如，一张由三个2D数组组成、包含三个彩色通道像素强度的彩色图像。大量的数据模式都是多个数组形式：1D用来表示信号和序列信号包括人类语言；2D用来表示图片或声音；3D代表视频或有声音的图像。卷积神经网络利用自然信号特征的核心理念是：局部连接（local connections），权重共享，池化(pooling）和多网络层的使用。
在本教程中，我们将构建一个Python深度学习模型，用于预测股票价格的未来行为。我们假设读者熟悉Python中的深度学习概念，特别是LSTM。
人脸视频的生成通常会利用人脸图像的稀疏特征点（landmarks）结合生成对抗网络（GAN）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
