Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >谷歌用AI研发「乒乓球机器人」,4分钟对拉300多次,还能指哪打哪!

谷歌用AI研发「乒乓球机器人」,4分钟对拉300多次,还能指哪打哪!

作者头像
大数据文摘
发布于 2023-04-10 09:21:47
发布于 2023-04-10 09:21:47
4120
举报
文章被收录于专栏:大数据文摘大数据文摘

大数据文摘转载自机器人大讲堂

一个人怎么练习乒乓球?或许这事你可以问问谷歌。

最近,谷歌又玩新花样,这回是乒乓球机器人AI 项目,号称和人类对战时能够连续接球340次?!

要知道,让解说员激动到破音的「乒乓球史上最疯狂一球」——许昕和朱霖峰超级对拉名场面也就止步于 42 板。

裁判:你不要过来啊啊啊。。。

在乒乓球比赛中,首要的就是速度和精度,这对学习算法提出了很高的要求。同时,这项运动具有高度结构化(具有固定的、可预测的环境)和多智能体协作(机器人可以与人类或其他机器人一起对打)两大特点,使其成为研究人机交互强化学习问题的理想实验平台。

谷歌的机器人团队就建了这样一个平台来研究机器人在多人、动态和互动环境中学习所产生的问题,分别是Iterative-Sim2Real(简称i-S2R)和GoalsEye。

利用模拟器与人类合作进行游戏

i-S2R作为一种打造 AI 的方式,目的在于打造一套可应对人类快速且不可预测行为的机器人系统,借助虚拟或模拟的环境,来训练机器学习模型,再从模型运用知识到真实世界中,这样可以大幅缩短训练时间。

人与机器人对打 4 分钟,来回多达 340 次

虽然这握拍姿势略显僵硬,但接球可是稳得一批,你来我往配合的还挺有模有样~

其实在此之前就已经有乒乓球机器人的身影,比如和邓亚萍老师对阵的“庞伯特”,面对邓亚萍老师的高速球、弧圈球,它都能够及时调整自己的策略,灵活变化的同时它还能找到一些致胜点,引来邓亚萍老师赞叹连连。

那么谷歌这次推出的“乒乓球机器人”是如何精准学习人类行为的呢?

学习人类行为模型:破解“先有鸡还是先有蛋”

让机器人精准学习人类行为模型可没那么容易。

首先,想要让机器人学会与人类互动,就需要有人类的行为模型;然而,想建立人类的行为模型,就需要人类先与机器人进行互动。

为了搞清楚这个“蛋鸡难题”,i-S2R 使用人类行为的简单模型作为近似起点,并在模拟训练和现实世界部署之间交替进行。在每次迭代中,人类行为模型和策略都会被细化。

虽然一开始AI的学习情况并不咋地,但随着人机对战次数和AI收集到的数据成正比增加,其准确性也自然随之upup↑↑↑

i-S2R 方法论

为了评估 i-S2R谷歌搞了个实验,他们把玩家类型进行了细分:初学者(占 40% 的玩家)、中级(占 40% 的玩家)和高级(占 20% 的玩家)。

按玩家类型划分的 i-S2R 结果

实验结果显示,对于初学者和中级玩家(占 80% 的玩家),i-S2R 的表现都明显优于 S2R+FT(sim-to-real plus fine-tuning)。

除了i-Sim2Real这种模拟与现实交替进行的方法,谷歌还公布了只使用现实的数据学习的方法,即GoalsEye项目。

GoalsEye目标:“指哪打哪”

GoalsEye结合了行为克隆技术(behavior cloning techniques)来学习精确的目标定位策略。

GoalsEye 策略将球返回到不同位置

粗暴地来说就是:打准就完了。

研发团队为实现机器人精准的效果,他们还采用了 LFP(Learning from Play)、GCSL(Goal-Conditioned Supervised Learning)。

瞄准直径为 20 厘米的球门(左)的GoalsEye 策略/瞄准同一目标的人类玩家(右)

在最初的 2480 次演示中,谷歌的训练策略仅在 9% 的时间内准确地击中半径为 30 厘米的圆形目标。在经过了大约 13500 次演示后,小球达到目标的准确率上升到 43%(右下图)。

看到这里,俺只想期待一下子让这个机器人和咱们的乒乓男团一决高下。

不过很遗憾,谷歌表示,“乒乓球机器人”只是为了AI与人类的“合作”,并非为了击败人类。

不过,谷歌还是留下了一丝悬念,他们补充道,“以AI成长的速度来看,它将很快成为专业选手。”

话不多说,关于这两个项目的更多介绍,请小伙伴们自行采摘:

Iterative-Sim2Real 主页:https://sites.google.com/view/is2r

GoalsEye 主页:https://sites.google.com/view/goals-eye

点「在看」的人都变好看了哦!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-11-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据文摘 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Sentinel 隔离和降级
在前边,我们已经学习了三层的限流的各种用法,我们知道限流啊,可以降低服务的负载,从而避免服务,因为过高并发而出现故障。
叫我阿杰好了
2023/10/17
4700
Sentinel 隔离和降级
微服务保护--Sentinel
解释:微服务调用链路中的某个服务故障,引起整个链路中的所有微服务都不可用,这就是雪崩。(一个服务器的Tomcat资源耗尽,导致依赖的服务全部故障)
忆愿
2024/07/27
1670
微服务保护--Sentinel
Sentinel 实现熔断与限流
随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。
用户9615083
2022/12/25
1.6K0
Sentinel 实现熔断与限流
【Sentinel】隔离和降级
限流是一种预防措施,虽然限流可以尽量避免因高并发而引起的服务故障,但服务还会因为其它原因而故障。
陶然同学
2023/02/24
1.9K0
【Sentinel】隔离和降级
SpringCloud-高级篇
微服务中,服务间调用关系错综复杂,一个微服务往往依赖于多个其它微服务。如果微服务调用链路中的某个服务故障,引起整个链路中的所有微服务都不可用,则称为雪崩。
小简
2023/01/30
1.2K0
Sentinel 的熔断和限流
在分布式系统里,服务之间牵一发而动全身,一个接口雪崩,可能带崩整个应用链路。要想系统抗住流量洪峰,顶住突发异常,就得在稳定性上下功夫。今天我就来说说稳定性保障里的老将——Sentinel,看看它是怎么凭借限流熔断,在服务治理的江湖里占得一席之地。
FunTester
2025/04/22
5390
Sentinel 的熔断和限流
Spring Cloud Alibaba:将 Sentinel 熔断限流规则持久化到 Nacos 配置中心
服务容错的必要性与Spring Cloud Alibaba Sentinel 限流配置实战
行百里er
2022/11/22
1.9K1
Spring Cloud Alibaba:将 Sentinel 熔断限流规则持久化到 Nacos 配置中心
【Sentinel】流控模式
雪崩问题虽然有四种方案,但是限流是避免服务因突发的流量而发生故障,是对微服务雪崩问题的
陶然同学
2023/02/24
8700
【Sentinel】流控模式
SpringCloud05 Gateway--限流、熔断
4 通过浏览器访问localhost:8080 进入控制台 ( 默认用户名密码是 sentinel/sentinel )
天蝎座的程序媛
2023/10/17
6870
SpringCloud05 Gateway--限流、熔断
【微服务~Sentinel】Sentinel降级、限流、熔断
👀专栏介绍 【微服务~Sentinel】 目前主要更新微服务,一起学习一起进步。 👀本期介绍 本期主要介绍Sentinel 文章目录 微服务常见概念 服务雪崩 服务熔断 服务降级 熔断和降级的区别 Sentinel介绍 core降级 现象1 现象2 降级操作 微服务常见概念 官网:quick-start 服务雪崩 服务雪崩:在整条链路的服务中,一个服务失败,导致整条链路的服务都失败的情形。 存在整条链路服务(Service A、Service B、Service C) Service A
陶然同学
2023/02/27
7310
【微服务~Sentinel】Sentinel降级、限流、熔断
Sentinel
官网:https://github.com/alibaba/Sentinel、https://sentinelguard.io/zh-cn/
收心
2022/08/24
6390
Sentinel
【愚公系列】2023年12月 Java教学课程 219-微服务保护(Sentinel的隔离和降级)
微服务保护是指在微服务架构中为了确保服务的稳定性和安全性而采取的一系列保护措施。这些保护措施包括:
愚公搬代码
2025/06/02
1000
【愚公系列】2023年12月 Java教学课程 219-微服务保护(Sentinel的隔离和降级)
如何集成Sentinel实现流控、降级、热点规则、授权规则总结
Sentinel是一款开源的分布式系统流量防卫兵,通过流控、降级、热点规则、授权规则等功能,提供了对系统稳定性和性能的强大保障。下面我们将介绍如何在项目中集成Sentinel,并使用其强大的功能来保障系统的稳定性和可用性。
GeekLiHua
2025/01/21
2010
【愚公系列】2023年12月 Java教学课程 218-微服务保护(Sentinel的流量控制)
微服务保护是指在微服务架构中为了确保服务的稳定性和安全性而采取的一系列保护措施。这些保护措施包括:
愚公搬代码
2025/06/02
880
【愚公系列】2023年12月 Java教学课程 218-微服务保护(Sentinel的流量控制)
如何使用Sentinel做限流、熔断和降级
资源 是Sentinel中的核心概念之一。在java中的资源一般是接口方法。例如,把需要控制流量的代码用 Sentinel API SphU.entry("HelloWorld") 和 entry.exit() 包围起来即可。在下面的例子中,我们将 System.out.println("hello world"); 作为资源(被保护的逻辑),用 API 包装起来。参考代码如下:
山行AI
2019/06/28
10K0
微服务(十五)——Sentinel 高可用流量管理框架
随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。
不愿意做鱼的小鲸鱼
2022/09/27
1.2K0
微服务(十五)——Sentinel 高可用流量管理框架
SpringCloud微服务:Sentinel哨兵组件,管理服务限流和降级
Sentinel 以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。包括核心的独立类库,监控台,丰富的使用场景验证。(这似乎是阿里开源组件的一贯作风,极其有特点,且特点很规律)
知了一笑
2020/03/26
1.2K0
SpringCloud微服务:Sentinel哨兵组件,管理服务限流和降级
06-Sentinel限流熔断应用实践[通俗易懂]
大家好,我是架构君,一个会写代码吟诗的架构师。今天说一说06-Sentinel限流熔断应用实践[通俗易懂],希望能够帮助大家进步!!!
Java架构师必看
2022/04/17
8000
06-Sentinel限流熔断应用实践[通俗易懂]
Java学习笔记-微服务(8)-流量治理Sentinel
Sentinel 实现了从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助保障微服务稳定性。
咸鱼程序员
2025/03/09
3150
Java学习笔记-微服务(8)-流量治理Sentinel
微服务的终极杀器SpringCloudAlibaba组件精讲
    In short, the microservice architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, often an HTTP resource API. These services are built around business capabilities and independently deployable by fully automated deployment machinery. There is a bare minimum of centralized management of these services, which may be written in different programming languages and use different data storage technologies. -----[摘自官网]    简而言之,微服务架构风格是一种将单个应用程序开发为“一套小型服务”的方法,每个服务“运行在自己的进程中”,并通过轻量级机制(通常是HTTP资源API)进行通信。这些服务“围绕业务功能构建”,并通过全自动部署机制“独立部署”。“这些服务只有最低限度的集中管理”,可能是用不同的编程语言编写的,并使用不同的数据存储技术。
上分如喝水
2021/08/16
1.7K0
微服务的终极杀器SpringCloudAlibaba组件精讲
推荐阅读
相关推荐
Sentinel 隔离和降级
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档