最难的机器人Demo,“机器人含量”为0量子位
今年5月,英伟达机器人负责人Jim Fan在一场公开演讲中宣告:VLA、遥操已死。
当时,绝大多数人听到的第一反应都是:从来不缺暴论的AI圈,又多了一条新暴论。
但没想到,几个月后,这句当时听起来有点夸张的话,居然真的开始照进现实。
刚刚,自变量发布全新灵巧操作系统TwinDex。在后训练阶段真机遥操数据为0的情况下,机器人连续完成了化学实验场景中,旋拧瓶盖、注射器推注等多项精细操作。
要知道,以往想让机器人学会这类精细操作,还真少不了真机遥操数据来“手把手”教学。
但TwinDex这次,直接把这部分数据需求给砍没了,取而代之的是区区几百条无本体数据,机器人含量几乎为0~
这是怎么做到的?
遥操,可能真的危险了
俗话说,好的Demo,值得细细品鉴。
TwinDEX这次放出的Demo里,最完整的一段,是一套一镜到底的化学实验:
从开瓶取样、滴管与试管操作,到玻璃棒引流、摇匀观察,全程由策略自主执行。
整个实验包含24个子动作,跨越三种工具,涉及多次双手协调与工具切换,每一步都要求毫米级定位与稳定力控。
而拆开来看,TwinDEX这三根手指,实际上集中展示了几类过去灵巧操作里最难啃的能力。
首先,是对精度要求极高的精细操作。
在打开工具箱时,机器人需要让左右两根食指同时对准两个狭窄卡扣,准确插入后向下拨开,再用食指和拇指捏住提手,把箱盖打开。
这里的难度在于,机器人的手能不能准确进入一个容差很小的空间,从而完成操作。
同理,注射器推注也是类似。
食指和中指固定筒身,拇指对准推杆向前发力,既要保证位置不跑,又要精确控制推注方向和力度。
随着具身智能逐步走进实验室、工厂和家庭,这类小容差、高精度、强接触的操作,也会越来越接近机器人的基本功。
第二,是三指协作。
比如在扫帚和簸箕任务中,三根手指围绕手柄形成包络,让不同手指共同承担支撑和控制。
相比只有两根手指,第三根手指多提供了一个接触点,也多了一种稳定物体的方式。
尤其是在工具使用、长条物体抓持这类任务里,这个额外的支撑点相当关键。
第三类,则是更接近人手的柔性操作和掌内调整。
在拧开瓶盖时,TwinDEX用食指和拇指捏住瓶盖,再靠手指自身的侧摆完成旋转,几乎不用大幅转动手腕。
而在翻书中,机器人的拇指则先把最上层书本搓出来,再完成捏取、双手交接、放置和翻页。
我个人看完这一圈,一个很直观的感受就是:
以往在处理这类动作时,大家往往会下意识想到结构更复杂的五指灵巧手,以及庞大的真机遥操作数据。
但上面的Demo恰恰说明了一件事:很多过去被认为需要五指完成的精细操作,三根手指其实已经够用了。
而且某种程度上,这三根手指头,已经比不少五指灵巧手玩得还溜。
不过,前面这些其实只是TwinDEX站在台前、作为机器人执行器的一面。
而在机器人真正上手干活之前,它还有另一重身份,一套与执行端匹配的可穿戴无本体数据采集系统。
相比很多在数据采集和机器人执行阶段使用两套不同硬件的方案,TwinDEX直接采用了数采与执行同构的设计。
说人话就是,这三根手指不光负责干活,采数据也用的是同一套结构,也就是所谓的“所采即所得”。
采集员在采集端做出的动作,可以更直接地映射到机器人执行端,中间不用再跨一套完全不同的硬件去做复杂的数据迁移。
也正因为如此,前面那些对指尖位置和力度都要求极高的精细操作,才能更稳定地被机器人做出来。
与此同时,相比直接遥操一台笨重的机器人,采集员可以更自然、更快速地完成动作,数据也更好采,也更省钱。
实验结果也确实验证了这两点。
在采集效率方面。TwinDEX单位时间能够产出的有效轨迹,约为传统真机遥操的5.3倍。
同样一个采集员、同样一段时间,TwinDEX能够更快地攒出一批真正可用于训练的数据。
而在数据利用效率方面,自变量则发现:
随着数据量增加,无本体数据和真机遥操作数据训练出的策略,会以相同的速率持续提升,并最终收敛到接近的表现。
换句话说,在这组实验中,训练模型时,无本体数据近乎可以100%替代真机遥操作数据。
所以,作为数据采集器,TwinDEX解决的并不只是“怎么把数据采得更快”。
更关键的是,它在提高采集效率的同时,也尽可能减少了这些数据真正迁移到机器人身上时的精度损失。
而这两件事,最后都指向了同一个问题:
怎么让无本体数据真正变成机器人能用的数据。
TwinDEX:让具身数据提前对齐
严格来说,TwinDEX其实并不只是一套三指灵巧手。
它更像是一套由数据采集硬件、机器人末端执行器、数据处理管线和模型训练流程共同组成的灵巧操作系统。
而且,并不是简单让数据采集端和机器人执行端长得一样,就能自然完成数据迁移。
TwinDEX真正关键的地方,是从只依赖无本体数据完成后训练、去掉真机遥操作数据这个目标出发,再反过来设计整套系统。
从灵巧手的构型、采集设备的运动方式,到视觉观测、时间同步、数据处理,再到最终的模型训练,实际上都在围绕同一个问题展开:
怎样让采集出来的数据,从一开始就尽可能接近机器人真正需要的数据。
理解了这一点,我们接下来看TwinDEX最直观的硬件部分。
从实际Demo里的功能分工来看,拇指和食指承担了大量对掌、捏取、旋拧和精细操作,第三根手指则能够进一步提供包络、支撑和稳定。
整套TwinDEX的设计,可以概括成三个特性:灵巧性、一致性和可扩展性。


