动物，包括人类在内，在空间认知和行动规划方面具有非凡的能力，与其对应的导航行为也在心理学和神经科学中得到广泛研究．1948年， Tolman提出“认知地图(cognitivemap)”概念用于说明物理环境的内在表达，自此，认知地图的存在和形式一直饱受争议．近年来，通过将电极放置在啮齿类动物脑中及研究其电生理记录，位置细胞(placecells)，网格细胞(gridcells)和头朝向细胞(Head-Directioncells,HDcells)等多种有关环境编码的细胞得以被人们熟知．在空间认知过程中，每种细胞有其特定功能，它们相互合作完成对状态空间的表达，各类细胞连接如图１所示。此外，还有证据表明海马体内嗅皮层脑区不仅参与空间记忆， 在规划路径中也具有重要作用。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说深度强化学习——从DQN到DDPG,希望能够帮助大家进步!!!
本文介绍了强化学习中的马尔科夫决策过程、模型相关的强化学习、模型无关的策略评价、模型无关的策略学习和价值函数近似等概念。作者通过举例来说明这些概念在强化学习中的应用，并提出了针对这些概念的相关算法。最后，作者对强化学习未来的研究方向进行了展望，包括深度强化学习和策略搜索算法等。
近日，为了让工业界能更好地使用前沿强化学习算法，Tensorlayer 强化学习团队发布了专门面向工业界的整套强化学习基线算法库---RLzoo。(TensorLayer 是基于 TensorFlow 的延伸库，用于对基本的神经网络构建和多样的神经网络应用进行更好的支持，未来将支持更多底层计算引擎。)
强化学习(reinforcement learning)，又称再励学习，评价学习，是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。本文将介绍强化学习的相关概念、算法及其应用实例。
本文完整展示了一个将强化学习用于股票投资的案例，呈现了大量算法细节和实验分析，非常值得收藏深研。
九三智给大家推荐一篇苏州大学刘全老师等人综述的深度强化学习方向发展情况，虽然是在2017年发表，没有覆盖到DeepMind打星际，OpenAI打DOTA等方面最新的进展，但也把DRL这个方向的主要发展脉络梳理的蛮清晰的，而且是中文版哟，28页的综述奉上~
深度强化学习是学术界研制游戏 AI 的主流算法。这篇文章我们将用深度强化学习早期代表算法 DQN 算法探索棋牌 AI。
火星，作为人类探索太空的下一个重要目标，一直吸引着科学家们的眼球。火星探测器作为探索这一未知世界的先锋，承担着巨大的任务和挑战。在这一任务中，强化学习（Reinforcement Learning, RL）作为一种智能学习方法，为火星探测器的自主决策提供了新的可能性。
随着城市化进程的加快和自动技术的最新发展，交通研究逐渐向智能化方向发展，称为智能交通系统（ITS）。人工智能（AI）试图用最少的人工干预来控制系统。智能交通系统与人工智能的结合为21世纪的交通研究提供了有效的解决方案。ITS 的主要目标是为参与者提供安全、有效和可靠的交通系统。为此，优化交通信号控制（TSC）、自主车辆控制、交通流控制等是研究的重点。
随着城市化进程的加快和自动技术的最新发展，交通研究逐渐向智能化方向发展，称为智能交通系统（ITS）。人工智能（AI）试图用最少的人工干预来控制系统。智能交通系统与人工智能的结合为21世纪的交通研究提供了有效的解决方案。ITS 的主要目标是为参与者提供安全、有效和可靠的交通系统。为此，优化交通信号控制（TSC）、自动车辆控制、交通流控制等是研究的重点。
【磐创AI导读】：本篇文章是深度强化学习专栏的第三篇，讲了第四节无模型的强化学习方法，希望对大家有所帮助。查看上篇关于本专栏的介绍：深度强化学习（DRL）专栏开篇。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
好了，回到正题！我们都知道，深度Q网络(Deep-Q-Network)最初是应用在让机器人打游戏，状态的输入常常是前几个画面的截图，但是有时候仅仅靠前面画面的图片是无法描述整个状态的，这就导致饿了部分观测的马尔可夫决策过程(Partially-Observable Markov Decision Process,POMDP)的情况出现。不过我们不慌，学者们将循环神经网络和DQN融合，提出了Deep Recurrent Q Network(DRQN)，来解决部分可观测的问题。本文，我们来一探DRQN的究竟。
【新智元导读】深度强化学习将有助于革新AI领域，它是朝向构建对视觉世界拥有更高级理解的自主系统迈出的一步。本文将涵盖深度强化学习的核心算法，包括深度Q网络、置信区域策略优化和异步优势actor-critic算法（A3C）。同时，重点介绍深度强化学习领域的几个研究方向。 本文预计在IEEE信号处理杂志“图像理解深度学习”专刊发表。作者Kai Arulkumaran是伦敦帝国理工大学的博士生，Marc Peter Deisenroth是伦敦帝国理工大学的讲师，Miles Brundage是亚利桑那州立大学博士
TEG数据平台部联合AiLab、Ai平台部，结合语音合成、语音识别、机器人问答、大数据能力等前沿性、高复用性的功能模块构建腾讯小知智能机器人产品，支持问答、业务办理、营销推广、回访调研、通知提醒等应用场景，降低人工服务成本、提升服务质量和转化效率，目前已在多个领域落地，如公安、零售、教育和地产等。
TEG数据平台部联合AiLab、Ai平台部，结合语音合成、语音识别、机器人问答、大数据能力等前沿性、高复用性的功能模块构建腾讯小知智能语音机器人产品，支持问答、业务办理、营销推广、回访调研、通知提醒等应用场景，降低人工服务成本、提升服务质量和转化效率，目前已在多个领域落地，如公安、零售、教育和地产等。
↑开局一张图，故事全靠编。我常常会扪心自问，一个连本行工作都干不好的人，还有时间去捣鼓别的领域，去“学习”别的领域的新知识？然鹅，自诩为“Copy攻城狮”的我，膨胀到像 学一波AI，不求结果，为了兴趣愿意去尝试，哪怕到头来竹篮打水一场空。于是，机缘巧合通过齐老师了解到Baidu的AIStuio以及此次飞浆的实战入门课。国际惯例，免费的午餐实际上并非真正的面试，如同HuaweiCloud的AI训练营推广ModelArts，这次的课也是为了推广飞浆。当然，对于AI小白来说，这些 都是非常不错的工具，里面的学习资源也非常丰富，废话不多说，马上开启Copy之路！
即使你不喜欢玩游戏，深度强化学习也很重要。只用看当前使用深度强化学习进行研究的各种功能就知道了：
本地服务（黄页）微聊代运营模式是指人工客服代替58平台上的商家与C端用户IM沟通聊天以获取商机（如用户联系方式、细粒度需求信息等），再将商机转交给商家，促进商家成单。我们基于58AI Lab自研的灵犀智能语音语义平台构建了智能客服商家版，将其应用在微聊代运营场景下，通过人机协作模式提高商机获取效率，打造了黄页商家智能聊天助手。这里的人机协作模式先后经历了三个阶段：在早期机器人效果较一般时，机器人和人工客服分时工作，即人工客服不上班时才由机器人接待用户咨询。在经过优化机器人效果较优时，先机器人再人工，即当用户来咨询商家时，白天先由机器人接待，若机器人能够聊出商机则结束会话，若不能再转接人工客服，晚上使用纯机器人接待。在机器人效果和人工很接近甚至超过人工时，使用纯机器人接待，人工客服去从事其他更复杂的工作。2021年年初，黄页商家智能聊天助手被商业化，以“微聊管家”命名随会员套餐一起打包售卖给商家，全年共计服务了数万个商家，为公司创造收入超过五千万元。当前，机器人的商机转化率（聊出商机的会话数/总会话数）已达到了人工客服的98%水平，我们实现了纯机器人接待，节省了数十名客服人力。
「异策略学习的潜力依然很诱人，但实现它的最佳方式依然是个谜。」—Sutton & Barto（两人为《强化学习导论》一书的作者）
强化学习不需要监督信号，可以在模型未知的环境中平衡探索和利用，其主要算法有蒙特卡罗强化学习，时间差分（temporal difference：TD）学习，策略梯度等。典型的深度强化学习算法特点及性能比较如下图所示。
深度强化学习已经在许多领域取得了瞩目的成就，并且仍是各大领域受热捧的方向之一。本文推荐一个包含了 17 种深度强化学习算法实现的 PyTorch 代码库。
DQN算法是一种深度强化学习算法（Deep Reinforcement Learning，DRL），DQN算法是深度学习（Deep Learning）与强化学习（Reinforcement learning）结合的产物，利用深度学习的感知能力与强化学习的决策能力，实现了从感知到动作的端到端（End to End）的革命性算法。DQN算法由谷歌的DeepMind团队在NIPS 2013上首次发表，并在Nature 2015上提出由两个网络组成的Nature DQN。
人工智能中的很多应用问题需要算法在每个时刻做出决策并执行动作。对于围棋，每一步需要决定在棋盘的哪个位置放置棋子，以最大可能的战胜对手；对于自动驾驶算法，需要根据路况来确定当前的行驶策略以保证安全的行驶到目的地；对于机械手，要驱动手臂运动以抓取到设定的目标物体。这类问题有一个共同的特点：要根据当前的条件作出决策和动作，以达到某一预期目标。解决这类问题的机器学习算法称为强化学习（reinforcement learning，RL）。虽然传统的强化学习理论在过去几十年中得到了不断的完善，但还是难以解决现实世界中的复杂问题。
机器之心原创 作者：Duke Lee 参与：马亚雄、吴攀、吴沁桐、Arac Wu 强化学习在与之相关的研究者中变得越来越流行，尤其是在 DeepMind 被 Google 收购以及 DeepMind 团队在之后的 AlphaGo 上大获成功之后。在本文中，我要回顾一下 David Silver 的演讲。David Silver 目前任职于 Google DeepMind 团队。他的演讲可以帮助我们获得对强化学习（RL）和深度强化学习（Deep RL）的基本理解，这不是一件特别难的事。 David Silve
选自OpenAI 机器之心编译 参与：黄小天、路雪、李泽南 OpenAI 的研究人员发现，改善强化学习算法参数中的自适应噪声性能可以提升性能。这种探索方式易于实现，同时很少降低系统表现，因此值得一试。
是否你也有这样的感觉，成熟 ML 工具的源码很难懂，各种继承与处理关系需要花很多时间一点点理清。在清华大学开源的「天授」项目中，它以极简的代码实现了很多极速的强化学习算法。重点是，天授框架的源码很容易懂，不会有太复杂的逻辑关系。
AI 科技评论按：强化学习的研究如此火热，但强化学习的研究中又有如此之多的实践上的困难。「工欲善其事，必先利其器」，谷歌就推出了一个强化学习研究专用的框架帮自己减负、加速。 AI 科技评论把谷歌的介绍博客编译如下。
OpenAI Gym 是一个用于开发和比较强化学习算法的工具包，提供了多个环境，包括经典的控制问题和 Atari 游戏。本篇博客将深入介绍 OpenAI Gym 中的强化学习算法，包括深度 Q 网络（Deep Q Network, DQN）和深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）。
选自towardsdatascience 作者：Steeve Huang 机器之心编译 参与：Edison Ke、路雪 本文简要介绍了强化学习及其重要概念和术语，并着重介绍了 Q-Learning 算法、SARSA、DQN 和 DDPG 算法。 📷 强化学习（RL）指的是一种机器学习方法，其中智能体在下一个时间步中收到延迟的奖励（对前一步动作的评估）。这种方法主要用于雅达利（Atari）、马里奥（Mario）等游戏中，表现与人类相当，甚至超过人类。最近，随着与神经网络的结合，这种算法不断发展，已经能够解决更
选自towardsdatascience 作者：Steeve Huang 机器之心编译 参与：Edison Ke、路雪 本文简要介绍了强化学习及其重要概念和术语，并着重介绍了 Q-Learning 算
我觉得，深度强化学习最让人喜欢的一点是它确实实在难以有效，这一点不同于监督学习。用神经网络来解决一个计算机视觉问题可能能达到 80% 的效果；而如果用神经网络来处理强化学习问题，你可能就只能眼睁睁地看着它失败——而且你每次尝试时遭受的失败都各不相同。
很久没有更新文章，从现在开始我将逐步恢复更新。在接下来的日子，我将系统更新强化学习文章，在期间，也会插播一些读博做科研的一些日常总结。
自动驾驶技术的崛起为未来的交通系统带来了革命性的变化。强化学习作为一种以试错学习为基础的智能算法，在自动驾驶中发挥着越来越重要的作用。本文将深入研究强化学习在自动驾驶中的应用，包括理论基础、数据处理、模型训练、部署过程等方面。通过结合实例演示，我们将详细探讨如何使用强化学习实现自动驾驶，并提供相关代码的解释。
去年在 B 站看到大佬 UP The CW[1] 的视频：用AI在手游中作弊！内藏干货：神经网络、深度/强化学习讲解[2]，当时觉得很有趣；但代码部分没有开源，于是我便想着复现一下这位 UP 的作品，仅作为学习之用。
来源：https://zhuanlan.zhihu.com/p/267524544
之前接触的强化学习算法都是单个智能体的强化学习算法，但是也有很多重要的应用场景牵涉到多个智能体之间的交互，比如说，多个机器人的控制，语言的交流，多玩家的游戏等等。本文，就带你简单了解一下Open-AI的MADDPG(Multi-Agent Deep Deterministic Policy Gradient)算法，来共同体验一下多智能体强化学习的魅力。
强化学习逐渐引起公众的注意要归功于谷歌的DeepMind公司。DeepMind公司最初是由Demis Hassabis, Shane Legg和Mustafa Suleyman于2010年创立的。创始人Hassabis有三重身份：游戏开发者，神经科学家以及人工智能创业者。Hassabis游戏开发者的身份使人不难理解DeepMind在Nature上发表的第一篇论文是以雅达利（atari）游戏为背景的。同时，Hassabis又是国际象棋高手，他在挑战完简单的雅达利游戏后再挑战深奥的围棋游戏也就不难理解了。这就有了AlphaGo和李世石的2016之战，以及他在Nature发表的第二篇论文。一战成名之后，深度强化学习再次博得世人的眼球。当然，DeepMind的成功离不开近几年取得突破进展的深度学习技术。本节主要讲解DQN，也就是DeepMind发表在Nature上的第一篇论文，名字是Human-level Control throughDeep Reinforcement Learning。
近年来，AutoML在自动化机器学习的设计方面已经取得了巨大的成功，例如设计神经网络体系结构和模型更新规则。
强化学习是一种非常重要 AI 技术，它能使用奖励（或惩罚）来驱动智能体（agents）朝着特定目标前进，比如它训练的 AI 系统 AlphaGo 击败了顶尖围棋选手，它也是 DeepMind 的深度 Q 网络（DQN）的核心部分，它可以在多个 workers 之间分步学习，例如，在 Atari 2600 游戏中实现“超人”性能。
原文：小白系列（6）| Q-Learning vs. Deep Q-Learning vs. Deep Q-Network
强化学习（Reinforcement Learning，RL）近年来受到了广泛关注，因为它在多个领域取得了成功的应用，包括博弈论、运筹学、组合优化、信息论、基于模拟的优化、控制理论和统计学。
最近 OpenAI 在 Dota 2 上的表现，让强化学习又大大地火了一把，但是 OpenAI 的强化学习训练环境 OpenAI Gym 却一直遭到不少抱怨，比如不太稳定、更新没有及时……
强化学习，作为一种被认为通用人工智能的学习方式而被广泛研究，但主要也由业界领先组织，诸如DeepMind，OpenAI, 伯克利等，OpenAI 作为领先者，在强化学习方面率先推出自己的框架，其中baseline更是开源了很多强化学习算法用于测试Atria, 物理引擎等，但是 OpenAI 的强化学习训练环境也一直遭到不少抱怨，比如不太稳定、更新没有及时等而被吐槽。
【新智元导读】迄今为止，多数对于对抗样本的研究是关于对抗样本对监督式学习算法影响的。一个最新的技术报告研究了对抗性攻击干扰代理训练，使其无法学到任何有意义的事情的设想情况。这篇最新的论文则首次研究了测
这是arxiv上最新发表的一篇前沿交叉综述报告。主要讨论了如何使用深度强化学习方法解决智能交通系统问题，特别是智能信号灯控制问题。本公众号将分4次发布本综述报告的翻译，仅供大家参考学习。获取英文原论文请在本公众号回复关键词"强化学习智能交通"。
所有的实现都能够快速解决 Cart Pole (离散动作)、 Mountain Car (连续动作)、 Bit Flipping(动态目标的离散动作) 或 Fetch Reach (动态目标的连续动作) 等任务。本 repo 还会添加更多的分层 RL 算法。
李林 编译整理 量子位 报道 | QbitAI 出品 今天，马斯克和YC总裁Altman等创办的人工智能非营利组织OpenAI，发布了DQN及其三个变体的TensorFlow实现，以及根据复现过程总结的强化学习模型最佳实现方法。 以下是OpenAI博客文章的主要内容，量子位编译： 我们宣布开源OpenAI Baselines，这是我们内部对发表论文的复现，结果能与论文所公布的相媲美。今天要发布的，包括DQN和它的三个变体。接下来的几个月里，我们将继续发布这些算法。 复现强化学习的结果并非易事：模型的性能有很
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
