谷歌用AI研发乒乓球机器人,4分钟对拉300多次
一个人怎么练习乒乓球?或许这事你可以问问谷歌。
最近,谷歌又玩新花样,这回是乒乓球机器人AI 项目, 号称和人类对战时能够连续接球340次?!
要知道,让解说员激动到破音的「乒乓球史上最疯狂一球」 ——许昕和朱霖峰超级对拉名场面也就止步于 42 板。
裁判:你不要过来啊啊啊…
在乒乓球比赛中,首要的就是速度和精度, 这对学习算法 提出了很高的要求。同时,这项运动具有高度结构化 (具有固定的、可预测的环境)和多智能体协作 (机器人可以与人类或其他机器人一起对打)两大特点,使其成为研究人机交互和强化学习问题的理想实验平台。
谷歌的机器人团队就建了这样一个平台来研究机器人在多人、动态和互动环境中 学习所产生的问题,分别是Iterative-Sim2Real(简称i-S2R) 和GoalsEye。
▍利用模拟器与人类合作进行游戏
i-S2R作为一种打造 AI 的方式,目的在于打造一套可应对人类快速且不可预测行为的机器人系统, 借助虚拟或模拟的环境,来训练机器学习模型,再从模型运用知识到真实世界中,这样可以大幅缩短训练时间。
人与机器人对打 4 分钟,来回多达 340 次
虽然这握拍姿势略显僵硬,但接球可是稳得一批,你来我往配合的还挺有模有样~
其实在此之前就已经有乒乓球机器人的身影,比如和邓亚萍老师对阵的"庞伯特" ,面对邓亚萍老师的高速球、弧圈球,它都能够及时调整自己的策略,灵活变化的同时它还能找到一些致胜点,引来邓亚萍老师赞叹连连。
那么谷歌这次推出的"乒乓球机器人"是如何精准学习人类行为的呢?
▍学习人类行为模型:破解"先有鸡还是先有蛋"
让机器人精准学习人类行为模型可没那么容易。
首先,想要让机器人学会与人类互动,就需要有人类的行为模型; 然而,想建立人类的行为模型,就需要人类先与机器人进行互动。
为了搞清楚这个"蛋鸡难题" ,i-S2R 使用人类行为的简单模型作为近似起点,并在模拟训练和现实世界部署之间交替进行。 在每次迭代中,人类行为模型和策略都会被细化。
虽然一开始AI的学习情况并不咋地,但随着人机对战次数和AI收集到的数据成正比增加,其准确性也自然随之upup↑↑↑
i-S2R 方法论
为了评估 i-S2R谷歌搞了个实验,他们把玩家类型进行了细分:初学者(占 40% 的玩家)、中级(占 40% 的玩家)和高级(占 20% 的玩家)。
按玩家类型划分的 i-S2R 结果
实验结果显示,对于初学者和中级玩家(占 80% 的玩家),i-S2R 的表现都明显优于 S2R+FT(sim-to-real plus fine-tuning)。
除了i-Sim2Real这种模拟与现实交替进行的方法,谷歌还公布了只使用现实的数据学习的方法,即GoalsEye项目。
▍GoalsEye目标:"指哪打哪"
GoalsEye 结合了行为克隆技术 (behavior cloning techniques)来学习精确的目标定位策略。
GoalsEye 策略将球返回到不同位置
粗暴地来说就是:打准就完了。
研发团队为实现机器人精准的效果,他们还采用了 LFP(Learning from Play)、GCSL(Goal-Conditioned Supervised Learning)。
瞄准直径为 20 厘米的球门(左)的GoalsEye 策略/瞄准同一目标的人类玩家(右)
在最初的 2480 次演示中,谷歌的训练策略仅在 9% 的时间内准确地击中半径为 30 厘米的圆形目标。在经过了大约 13500 次演示后,小球达到目标的准确率上升到 43% (右下图)。
看到这里,俺只想期待一下子让这个机器人和咱们的乒乓男团一决高下。
不过很遗憾,谷歌表示,"乒乓球机器人"只是为了AI与人类的"合作",并非为了击败人类。
不过,谷歌还是留下了一丝悬念,他们补充道,"以AI成长的速度来看,它将很快成为专业选手。"
话不多说,关于这两个项目的更多介绍,请小伙伴们自行采摘:
Iterative-Sim2Real 主页:https://sites.google.com/view/is2r
GoalsEye 主页:https://sites.google.com/view/goals-eye
孩子们,努力长成你能长成的样子就好人生路,牵着手,一起走今天翻看相册,无意中看到了一张照片。那是今年4月份,儿子学校组织成人礼活动,我给他写的一封信。A4纸,手写的,很没有仪式感,我有点儿抱歉。近段时间,西安疫情,
家长们最期待的爆笑论语动画110集,孩子一看就上瘾论语全书不算长,总共也就一万六千字,里面包含了一百多个常用成语俗语,像是见义勇为无为而治不耻下问都出自论语。咱们也知道论语的重要地位,它一直都是被中国思想家历史学家文学家甚至是诗词
冻僵的王子父母对孩子的爱怎样才是孩子真正需要的在童话世界里,国王和王后生活在一起,会不会是一个幸福的结局?还真不一定,尤其是当他们有了一个孩子,却依然不相爱的时候。麻烦就开始了在这个冻僵的王子的故事里,有着一番让人惊讶的景象。
孩子学习力的动态汲取一个奶爸陪伴孩子成长的8年当一个孩子从呱呱坠地的那一刻起,夫妻的人生角色就完成了时空上的转换,家庭的生命力也将迎来熠熠生辉的新启程,孩子也成为了家庭生命力中最闪耀的星光。怎么托举起孩子美好的未来是每个父母的
打骂对孩子影响有多大?看了10秒监控录像后,我彻底崩溃了这个家庭,给我留下最深的印象就是尖叫,没有停止的尖叫。如果妈妈再不改变,我相信她在这个家会众叛亲离。这是超级育儿师中,育儿师兰海对一个家庭观察之后的评价。这个家庭之所以向栏目组求助
03岁妈妈必看!!坚持这7点狠狠甩开同龄孩子大家好,我是vc麻麻,一个专注绘本教育事业的全职妈妈习惯真是一种顽强而巨大的力量,它可以主宰人的一生,因此,人从幼年起就应该通过教育培养一种良好的习惯一培根孩子的成长每一天都让我惊
和孩子在一起的精彩瞬间2022育儿季我家有两个儿子,大儿子4岁半,小儿子22个月。正如大多数家庭一样,老二吃的比老大壮很多。老二很早就开始叫爸爸妈妈了,但是至今会说的还不是特别多。老二在数数字时总是说1
心中承载着不同季节的镌刻,愿每一个季节所遇都温暖,所念都美好原创李宝平一转身看到下一个季节前面一季收藏起来镌刻在生命年轮里成了一个故事记载丰盈了所有回忆我眷恋这样时刻在宁静轻松中筹一点准备迎接崭新的季节到来心中承载着不同季节的镌刻在茂盛里妖
觉察情绪,随时调整心向光明,让心灵自由呼吸修炼路上默默蜕变不要让一些习惯性的郁闷情绪荒芜了当下珍贵的时间,要随时敏锐的觉察,但凡有一丝觉察到那样的萌芽,立即警醒自己,顷刻间从那种情绪中走出来,一定要让自己活在现实中,精神抖擞的做好眼下该做
动了真心的情,永远都是那么美,想你,余生都是你岁月流转,时光一去不复返,又是一年叶落枝枯时,眼前的一片片荒芜,就像思念之人的心境,唯思念之情依旧如故!滚滚红尘里,有太多的爱情,有了开始却折在了路上,说过相依相伴的话,许诺一辈子
当事业感成为信仰,人生就会开挂事业感成为信仰,人生就会开挂有的人为某一门科学而生,一旦热爱一门事业或学科,从事并沉浸于其中,运用其个性即个人独特的才能加上兴趣终其一生来实现的目标。如果做到了这些,他的人生不需要