他表示，这对该联盟来说是一个艰难的决定，因为Kubernetes逐渐成为容器化的标准，而在另一方面确实有一种感觉，它并不是Cloud Foundry生态系统的真正组成部分。...而VMware公司拥有大量用户，可以在其产品中添加Cloud Foundry的专业知识。这种集成见证了Tanzu品牌的出现，这是将Kubernetes添加到VMware产品组合的一种手段。...而很多新软件在推出时大肆宣传和炒作，得到用户的关注，但在不久后就很快在人们的视线中消失。...Cloud Foundry基金会拥有所有适合的要素，但必须告知用户知道它在哪里，并且必须知道如何处理。现在看来，Cloud Foundry基金会正在朝着正确的方向前进。”
拜登呼吁俄罗斯对上述勒索组织采取行动，以确保美国的关键基础设施和私营企业免受网络攻击。...而Colonial Pipeline 则向DarkSide勒索集团支付了440万美元赎金（美国司法部后来查获了一个 DarkSide 加密货币钱包，追回了大部分赎金）。...据上述媒体报道，白宫新闻秘书珍·普萨基表示，“总统明确强调普京总统需要采取行动来瓦解这些勒索软件团伙。...总统也明确表态，美国将采取任何必要的行动来保护人民和关键基础设施。”...7月6日，珍·普萨基还在关于拜登政府政策议程的简报中补充说，如果“俄罗斯政府不采取行动” ，美国将对在俄罗斯境内活动的勒索软件组织采取行动。
所以，接下来FTC打算利用其全部法律权力追究未能采取合理措施保护消费者数据免遭Log4j2或未来类似已知漏洞发生泄漏的公司。...对于FTC警告企业尽快修复Log4j漏洞，不然就要采取法律措施的操作，你怎么看呢？你所在的公司是否已经修好Log4j漏洞呢？留言区说说呗～ 版权申明：本文系公众号「程序猿DD」原创。
左上方的图片是通过改变元素top/left进行动画的帧率，而右上方则是调用translate函数的帧率。...而通过调用translate，会启动硬件加速，即在GPU层对该元素进行渲染。这样，CPU就会相对解放出来进行其他的计算，GPU对样式的计算相对较快，且保证较大的帧率。...总结 最后，总结下对元素进行动画的一些要点： 1，尽量使用keyframes和transform进行动画，这样浏览器会自身分配每帧的长度，并作出优化 2，如果非要使用...js来进行动画，使用requestAnimateFrame 3，使用2d transform而不是改变top/left的值，这样会有更短的repaint时间和更圆滑的动画效果
超50家来自AI、云计算、大数据、架构等领域，具备前瞻视野和实践经验的讲师、专家，共同探究新技术如何帮助企业实现数字化能力的飞跃和提升。
在此基础上，本文探讨互联网+公司如何应对数据泄露的风险，如何在战略和具体方案上采取行动。 数据泄露已然成为信息社会的全球性问题 我们进入信息时代已然很多年，但并没有找到充分保护数据的方式。...相比之下，巴西和法国最容易发生数据泄露，而加拿大和德国的几率最小。 ...只有47%的公司会在员工离职后仍使用原公司数据的情况下采取行动，而68%的公司没有任何限制措施。 面对数据泄露风险该怎么办？ 数据泄露问题如此猖獗，一定程度上与业界对风险的理解不足和控制不利有关。...随着社会数据化程度的加深，互联网+公司的生存发展取决于公司C级高层的态度转变：数据泄露不是一个遥远的概念，也不是一个纯粹的技术问题，而成为了一项重要的商业风险。...数据显示，公司采取行动识别和应对数据泄露的时间与最终的泄露成本存在着直接的因果关系。2015年平均公司确认出现数据泄露所需的时间为206天，有效阻止数据泄露所需的时间为69天。
就像人类一样，AI 主体从其行为的后果中汲取灵感，而不是明确地教导。 ? 图5深层强化学习的示意图 在深度强化学习中，主体由神经网络表示。 神经网络直接与环境相互作用。...它观察当前的环境状况，并根据目前的状态和过去的经验决定采取哪些行动（例如左，右等）。 基于所采取的行动，AI主体收到奖励。 奖励决定了解决给定问题所采取行动的质量（例如学习如何行走）。...对于强化学习，这意味着AI主体的下一个状态仅取决于最后一个状态而不是之前的所有先前状态。 ? 等式1 Markov 属性 马尔可夫过程是一个随机过程。...值函数v（s）是在状态 s（等式16）中采取动作a的概率加权的可能q（s，a）的总和（其不是策略 π 除外）。 ? 等式16 状态-价值函数作为行动-价值的加权和 ?...此外，主体可以决定必须采取哪种行动的质量。 让我们定义q *的意思。 最佳的动作值函数是遵循最大化动作值的策略的功能： ?
与人类一样，AI 从其行为的后果中学习，而不是从明确的教导中学习。 ? 图4 在深度强化学习中，代理由神经网络表示，神经网络直接与环境相互作用。...它根据当前所处的环境，并根据对当前的状态和过去的经验，决定其行动（如移动左，右等）。然后，根据其所采取的行动，收到奖励。奖励金额决定了解决给定问题所采取行动的质量（例如学习如何行走）。...对于强化学习，这意味着AI代理的下一个状态仅取决于最后一个状态而不是之前的所有先前状态。 ? 式1 马尔可夫过程是一个随机过程。...式10 3.3 政策 在这一点上，我们将讨论代理如何决定在特定状态下必须采取哪些行动。这由所谓的政策π（式11）决定。从数学角度讲，政策是对给定的所有行动的分配。...此外，代理商可以决定必须采取哪种行动的质量。让我们定义q*的意思。最佳的动作值功能是遵循最大化动作值的策略的功能： ? 式19 为了找到最好的策略，我们必须在q（s，a）上最大化。
考虑到论文的年代以及重复不会影响论文的结论，根据Cell 编辑部目前掌握的信息，认为没有必要采取进一步的行动。...考虑到论文的年代以及重复不会影响论文的结论，根据我们目前掌握的信息，我们认为没有必要采取进一步的行动。
这里的Q-table就是AI的游戏攻略，存储着每个状态采取不同行动的估计收益。学习的目标就是随着尝试游戏不断更新让这个攻略达到最大收益。 ?...然后就会进入第二层循环，这个循环是针对游戏种的每一次移动：先根据目前状态，从攻略中获得下一步行动(action)，将这个行动传输到游戏环境中，游戏会反馈这个行动导致的新状态，奖励以及是否结束本次游戏。...而贪心率是我们在采取动作的时候，不总是按照当前攻略中的最大收益来，我们希望可以有10%的概率随机尝试，相当于采取冒险举动，这个好处是可以避免攻略陷入一个不好的循环当中出不来。 选择行动： ?...这里是攻略的行动部分，就是告诉你当前状态下如何采取行动。注意到我们有10%的贪心去选走乱走，而90%概率按照正常的最佳收益去走。 更新攻略： ? 这里第一步是检查状态，看下一步是否会导致游戏结束。...如果是则更新只会加上当前奖励；如果不是，那么更新就会加上当前奖励以及下一步最大行动收益乘以收益衰减率。 检查状态： ?
而深度学习方面成就最为突出的就是深度强化学习——从谷歌Alpha Go击败世界顶级棋手，到DeepMind的AI智能体自学走路、跑步以及躲避障碍物，如下图所示： 图2：AI智能体学习如何跑步、躲避跨越障碍物...就像人类一样，人工智能代理人从其行为的结果中学习，而不是从明确的教导中学习。 在深度强化学习中，智能体是由神经网络表示的。神经网络直接与环境相互作用。...奖励的数量决定了在解决给定问题时采取的行动的质量(例如学习如何走路)。智能体的目标是学习在任何特定的情况下采取行动，使累积的奖励随时间最大化。...对于强化学习，这意味着AI智能体的下一个状态只依赖于最后一个状态，而不是之前的所有状态。 公式1：马尔可夫性质 马尔可夫过程是一个随机过程。...公式10：期望奖励取决于状态s中的行为 策略 在这一点上，我们将讨论智能体如何决定在特定状态下必须采取哪些行动。 这由所谓的策略π（公式11）决定。
我们使用这个信息来采取某「动作」。 3. 我们会得到某种「奖励」。 4. 重复以上过程。 一遍又一遍地重复以上过程：观察状态、采取行动、获得奖励、观察新的状态、采取另一个行动、获得另一个奖励等。...RL 如何用于德扑游戏呢？在任何决策点上，玩家知道他的 2 张底牌和他的位置，这就是状态。然后他可以采取行动：要么弃牌，要么 GII。...所以，我们会让玩家在一小段时间ε内随机地采取行动，使用他们（当前估计的）最佳策略。首先，我们应该积极探索选择的可能性，频繁地随机选择。随着时间的推移，我们将更多地利用我们获得的知识。...事实上，这个数字更接近 9 而不是 10.5，这与 SB 更倾向于 GII 而不是相一致。 有一个更一般的方法来思考每个 θ 输入。...无模型：agent 通过采取行动和观察奖励来学习。它不需要任何关于如何产生这些奖励的先验知识（例如关于诸如范围、权益、甚至游戏规则），也没有试图匆忙地学习这些东西。
它不是一个分类的任务，不是金融反欺诈场景中如何分辨欺诈客户和正常客户。强化学习主要是指导训练对象每一步如何决策，采用什么样的行动可以完成特定的目的或者使收益最大化。...但是强化学习中并不是这样，当前状态以及采取的行动，将会影响下一步接收到的状态。数据与数据之间存在一定的关联性。...接下来我们使用强化学习来指导Agent如何行动了。 2.3 强化学习算法归类 我们选择什么样的算法来指导Agent行动？...( 1 ) - Value Based - 说明： 基于每个State下可以采取的所有Action，这些Action对应的Value, 来选择当前State如何行动。...容易陷入局部最优： 部分场景中Agent采取的行动可能是当前局部最优，而不是全局最优。
在关于深度强化学习的多系列的第二部分中，我将向你介绍 AI 主体如何学习在具有离散动作空间的环境中表示的有效方法。 ?...作为提醒，动作价值函数被定义为 AI 主体通过从状态 s 开始，采取动作 a 然后遵循策略 π 而获得的预期回报。 注意：直观地说，策略 π 可以被描述为主体根据当前状态选择某些动作的策略。 ?...图2 状态 s 中的主体知道每个可能的Q（s，a） 采取动作之后： 根据这些知识，主体决定采取动作 a_1。 采取此行动后，主体处于下一个状态 s'。 为了采取行动 a_1，他收到了直接奖励 R。...关于采取哪些行动的决策涉及一个基本选择： 开发：根据当前信息做出最佳决策 探索：收集更多信息，探索可能的新途径 在利用方面，主体根据行为策略 μ 采取最佳行动。...减少ε意味着在培训开始时我们尝试探索更多的替代路径，而最终，我们让策略决定采取哪些行动。 ?
比如说，玩《超级马里奥》某一关时，最佳的行动可能是在第一帧跳跃，但如果奖励一直在关卡的最后阶段，要怎么才能知道这个行动的价值？...在Q-learning中，智能体通过与环境互动和更新采取的（状态，行动）的Q值来学习Q-函数估计价值。在采取一个行动之后，用环境中新状态的Q值来更新所有Q值。...如果对Q值的高估在各个状态都是一致的，那这就不是一个问题。如果所有的Q值都有类似的变化，那么我们选择的行动也会是一样的。...但从经验上看，实际运行通常不是这样的，也就意味着由近似的Q值产生的策略（policy）不一定会收敛到最佳策略。...目标网络通常是网络的一个旧版本，用来寻找具有后续状态的最大Q值的行动，而原始网络用来评估这个后续行动的Q值。通过将用于行动选择和行动评估的Q值解耦，就不太可能选择到高估的值了。
《增长黑客》 好不容易吸引来潜在用户后，接下来如何让他们真正使用你的产品？事实上，98%的网站访问量都未能引发激活，而大部分移动App都在三天内损失近80%的用户。...游戏设计者借鉴的心理学 1、一旦人们采取行动，只要不是太难，人们就会更倾向于未来继续采取行动（王者荣耀的新手教程） 2、通过奖励可以训练人们条件反射的做出某种行为（签到及领奖） 3、人们处在心流状态时感到巨大的满足感...触发物的力量来源于： 1、它们能在多大程度上激发用户采取你希望她们采取的行动 2、用户收到触发物后付诸行动的难度 ?...——人们可能因为礼尚往来而做一些事情 ·承诺和一致性——已经采取行动的人更可能再次采取行动 ·社会认同——不确定时先看别人怎么做 ·权威——参考权威人士的做法 ·好感——愿意和自己喜欢的公司／人做生意...·稀缺——担心错失良机而采取行动
指导性的反馈告诉你如何达到目标，而评估性的反馈则告诉你将会把目标完成到什么程度。监督学习以指导性的反馈为基础来解决问题，而强化学习则是基于评估性反馈来解决问题的。...现在我们的MDP已经完全成型，我们可以开始思考如何采取行动去获取能获得的最高奖励。 由于这个MDP是十分简单的，我们很容易发现待在一个更高奖励的区域的方式，即当我们饥饿的时候就吃。...当γ等于1时，我们就回到了第一个等式，我们关心的是所有的回报，而不是考虑到未来有多远。另一方面，当γ等于0时，我们关心的是当前的回报，而不考虑之后的任何回报。这将导致我们的算法缺乏长远性。...我们的策略应该描述如何在每个状态下采取行动。因此，一个等概率的随机策略就该像这样子： 其中E代表吃的行动， 代表不吃的行动。这意味着，如果你处于饥饿状态，你在选择吃或者不吃的概率是相同的。...每一个最佳状态都有一个最佳行动。有时这被写成 Π*(s)=a，这是一个从状态到这些状态下最优决策行动的一个映射。 价值函数 我们利用价值函数来得到学习的最优策略。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
