腾讯机器人最新动态学会像真狗一样跑跳

 

大家好，我叫Max，你们还记得我吗？

腾讯自主研发的多模态四足机器人。 （你也可以叫我机器狗Max）

这是我第三次见到你。

原因都是一样的，我想你了（不）我又升级了。

上次我走过梅花堆。

这次我向一只真正的狗学习。

用实验室的专业术语来说：将预训练和强化学习技术应用于机器人控制领域。

为了翻译，我对常见的动物行为数据集进行表征学习，并将学习到的潜在表达存储在深度神经网络中，以便我的动作和行为接近动物的动作和行为。

这是以前的我↓↓↓

这就是现在的我↓↓↓

再次翻译一下，我学习了真狗的动作（走、跑、跳、站立等），然后灵活运用这些姿势解决新的障碍任务（爬行、跑跨栏、跨障碍物跑等）跑酷空间之间穿梭等）。

我们来对比一下现实中狗狗的动作↓↓↓

这样看来，你觉得我学习得好吗？

我知道你想知道我是如何做到的。

因为它↓↓↓

一、收集动作数据

我们聘请了专业的“动作捕捉演员”，在主持人的全程陪伴和指导下完成动作数据的采集。

（狗上标有用于动作捕捉的标记点）

腾讯游戏的动作捕捉技术用于采集一定量的动物狗在平地上的常规运动姿势数据，包括行走、跑步、跳跃、站立等数据。 游戏开发制作过程中积累的多样化动作捕捉素材也为此提供了帮助。 。

利用重定向技术，这些数据可以准确高效地映射到仿真引擎中的机器人本体。

（通过动作捕捉绑定机器狗的骨骼）

然后，学习动作数据

使用这些数据，我在模拟器中构建了一个模仿学习任务，以学习这些数据中的信息并将其表达到我的神经网络上。 （就像大脑里植入了一本“武功秘籍”）

然后，在模拟世界中进行受控训练

在沉浸式世界中，你可以感受关节的状态，并按照随机指令练习和适应你在地面上的动作。 （在脑海中练习武术动作）

游戏技术和数据对于基于物理模拟的智能体训练和现实世界机器人策略的部署也起到一定的支撑作用。

然后，添加外部环境训练

在模拟世界中，添加了复杂的环境因素。

训练我对动作数据的熟练程度，感知外部环境，并用学到的动作来应对外部环境造成的各种障碍。 （加入假想敌并不间断地与他们战斗。）

最后，这就是大家看到的我。

是的，整个过程都是在虚拟世界中训练的，不需要真机训练和调整。

接下来，我派出两个我的实体分身来玩追逐游戏，向大家展示我的学习成果。

游戏规则说明：我和分身分别扮演追踪和躲避的角色。 双方触碰旗帜后，身份立即发生变化。 谁先抓住对方，谁就获胜。

好啦，比赛开始了！ ！

↑↑↑追逐—切换—追逐（双方互相追逐，交换身份）

↑↑↑当追踪器在触及旗帜之前意识到自己无法再追上逃避者时，追踪器将放弃追踪，转而远离逃避者，以等待下一次重置旗帜。 出现。

↑↑↑由于最后一个旗帜出现的距离太远，所以躲避者判断该旗帜的位置被追踪器挡住了。 躲避者判断不可能绕过躲避者去触碰旗帜，所以它会进入角落并尽力避开旗帜。 延缓自己输掉比赛。

↑↑↑添加障碍后，我们可以顺利通过它们并完成游戏。

当追踪器即将抓住逃避者时，它会跳起来，向逃避者做出“猛扑”的动作，这与动物捕捉猎物时的行为非常相似。

“你不觉得机器狗会玩游戏很神奇吗？”

我之所以能像动物一样玩游戏，是因为我还专门学习了策略层面的网络参数知识。 这个参数让我学会了游戏规则，懂得了思考，懂得了判断。

最后你一定要问，机器狗变得越来越像狗有什么意义？

事实上，当我刚出生时，我可以用相对机械和僵硬的动作来完成很多任务。

但随着我长大，我会发现，如果不借用任何动物或生物体的特征，用如此僵化的动作来处理复杂的任务是非常困难的。

就像生物一样，它们会逐渐进化成最合理的形态，以适应复杂的生存环境。

未来，我想完成更艰巨的任务，比如搜救等紧急工作。

我必须不断进化和适应，变得更加灵活，跳得更高，独立完成更困难的任务。

当然，相比于冰冷的机器，大家肯定会更喜欢并接受更逼真的可爱小机器狗~

对了，如果想看更多技术细节，可以点击文字查看~

好了，今天就到这里，我还要继续训练。

我的名字是 Max，我期待着下一次的发展并再次见到你们。