谷歌开发乒乓球机器人：一回合可接球340次，探索动态高速人机互动

机器人学习在现实世界中得到了广泛的应用，它可以在手和脚上进行精确的运动。然而，在动态、快速的人机交互中，机器人学习并不常见。谷歌选择开发乒乓球机器人，正是为了探索人工智能在这种情况下的潜力。借助i-Sim2Real，您可以在数分钟或数小时内在模拟环境中完成数年的实时训练。谷歌i-Sim2Real项目乒乓球机器人和人类训练。在谷歌存在的所有桌面运动中，人工智能似乎是无敌的。在乒乓球比赛中，谷歌AI也很难遇到敌人。10月18日，谷歌宣布正在开发一个“乒乓球机器人”项目，该项目可以在一轮比赛中接球340次。目前，谷歌强调，这是人类与AI的“合作”，不会打败人类，但以AI的增长速度，很快就会成为专业人士。机器人学习在现实世界中得到了广泛的应用，它可以在手和脚上进行精确的运动。然而，在动态、快速的人机交互中，机器人学习并不常见。谷歌选择开发乒乓球机器人，正是为了探索人工智能在这种情况下的潜力。在这个名为i-Sim2Real的项目中，谷歌的乒乓球机器人在模拟环境中学习，并将其学习结果应用到现实世界中，最终可以在与人类的乒乓球接收回合中捕捉到300多次。你也可以把球放回另一个区域。虽然从数字上看，它并不准确，但它足够精确，让机器人规划策略来控制乒乓球的最终目的地。乒乓球机器人在一轮中可以接球300多次。谷歌之所以选择乒乓球，是因为机器人可以与快节奏、不可预测的人类行为进行交互，而且与篮球、板球等运动相比，乒乓球的规则更简单、更直接。当机器人完成乒乓球动作时，对速度和精度都有要求，这对学习算法提出了很高的要求。与此同时，这种运动具有固定的、可预测的环境，使其成为研究人机交互和强化学习问题的理想试验台。这些功能促使Google开发了i-Sim2Real项目。i-Sim2Real不仅仅是乒乓球机器人。这是人工智能创建流程的一种方式，其目标是学习机器学习模型在虚拟环境和模拟中的作用，并应用这些知识来尽可能长时间地与人类进行一轮无错误的接收。在现实世界中直接与人类玩家进行训练既繁琐又耗时，但如果你需要花费数年的时间来构建一个有效的模型，那么i-Sim2Real将非常有效。在模拟环境中，数年的实时训练可以在几分钟或几小时内完成。这听起来简单而高效，但模拟并没有显示机器人是万能的。人类活动是不可预测的，不容易模拟，人类行为模型是必要的。人类行为模型需要与机器人进行交互。这就陷入了“先吃鸡还是先吃蛋”的死亡循环。为了解决这个鸡和蛋的问题，i-Sim2Real通过使用一个简单的人类行为模型作为近似起点，并让机器人在模拟和现实生活中交替学习来解决这个问题。在每一次迭代中，人类行为模型和策略都会得到完善。在机器人接近人类行为的过程中，机器人才刚刚开始学习，所以在早期并不理想。在那之后，每场比赛都会收集更多真实的人类数据，提高准确性，让人工智能学习更多。I-2Real的训练方法GoalsEye：除了i-Sim2Real（在大师练习中的自我监督模拟和现实之间交替）之外，研究人员还在探索仅使用真实数据进行学习的方法，即GoalsEye项目。最初，模仿学习（IL）为研究人员提供了一个简单而稳定的想法，但演示需要人类的行为，而且机器人的技术从未超过演示者的水平。同时，能够在高速环境下准确接球的演示者很难收集数据，而且一开始效率很低。因此，研究人员尝试了一种方法，重复最近的行为，从一个小型的结构化非目标数据集开始，并学习一种准确识别目标的策略。这种方法使得机器人在训练过程中的自主学习能力变得非常重要。研究人员设置了一个以精确度为重点的乒乓球任务，要求机器人将球返回到桌子上的任何目标位置。机器人可以通过自我监督自主练习。例如，机器人可以通过设定随机目标，如“击中左后角”或“从右到右”，并尝试使用他们目前掌握的策略来实现目标，从而不断改进。所有尝试都被记录并添加到不断扩展的数据集中。这种自主练习是反复进行的，机器人不断地设定随机目标并进行实验，扩展学习数据并调整策略。目标眼策略瞄准直径20厘米的目标（左）人类玩家瞄准相同的目标（右）目标眼训练方法在最初的2，480次人类行为演示后，只有9%的机器人能够精确地达到目标30厘米以内的目标。但是，当机器人再自主练习13500次后，目标完成率上升到43%。同时，演示数量的增加也提高了后续自我实践的效率，表明在计算了时间、成本等因素之后，演示可以适当地代替自我实践，更有效地进行训练。在使用机器人乒乓球研究平台的两个互补项目中，i-Sim2Real可以在模拟和现实生活中交替学习策略，而GoalsEye证明，从真实世界的非结构化数据中学习和自我学习可以有效地学习具有精确和动态要求的目标条件策略。（来源：Big News）