李飞飞：机器人会盲摸麻将了量子位

嚯！这阵容，谁组的局？

李飞飞，ImageNet奠基人，美国三院院士；

Trevor Darrell，伯克利BAIR联合创始人，他的Caffe深度学习框架曾是计算机视觉领域最广泛使用的平台之一；

Jitendra Malik，R-CNN的核心贡献者之一，深刻影响了计算机视觉的发展轨迹，同样美国三院院士；

Pieter Abbeel，深度强化学习先驱，伯克利机器人学习实验室主任、BAIR实验室联合主任。ACM计算奖得主；

Ken Goldberg，机器人学泰斗，30年前就深耕机器人抓取和自动化，IEEE会士；

Jim Fan，英伟达GEAR实验室掌舵者，具身智能领域最受瞩目的年轻学者之一。

具身智能学术圈，可能是第一次迎来如此全明星阵营。

有模型的、算力的、本体的、数据的等等…..在各自细分赛道上如雷贯耳的big name们，齐聚具身智能，但关注点嘛~一下就让人好奇起来：

不是当下大热的机器人通用大脑，而是——灵巧手。

T-Rex从何而起，要解决什么问题？

自动驾驶靠纯视觉，是有可能解决问题的，但机器人，尤其是灵巧手却很难。

这是一个直观且浅显的事实：

手指、手掌进行精密复杂操作时，很难只用摄像头记录运动数据。

360°无死角的视频数据量有多庞大暂且不说，首先机位就没法布置。不同任务类别，很难像自动驾驶那样形成标准化数据集——模型泛化性受限。

自然而然，给模型加入触觉这个数据模态，就成了一石三鸟的方法：感知精度更高、操作更精准细腻，以及可以形成较为标准的数据集。

但反常识的事情出现了：

同样的灵巧手、同样的任务，T-Rex团队把触觉力信号直接拼接到一个预训练好的VLA模型里，想给它“加点手感”——结果任务成功率从17%掉到了6%。

触觉不是想加就能加的，论文把原因拆成了三层。

第一层，数据太贵。

现有的大规模机器人数据集主要面向平行夹爪——两根手指一捏一放，遥操作门槛低。但灵巧手有22个自由度，操作员要戴数据手套，每一个手势都要精确映射到机械手上，还要保证视觉、触觉、关节状态严格对齐，目前灵巧手遥操作成本是平行夹爪的5到10倍。

第二层，频率对不上。视觉模型处理一帧图像动辄几百毫秒，只能跑到5到10Hz。但触觉反应需要毫秒级，20Hz以上才能捕捉到“正在滑”和“已经滑了”的临界点。

两种信号塞进同一个低频Transformer，视觉来不及看，触觉来不及反应。

第三层，表征太浅。很多方法把触觉当成一个静态的数字——“当前压力5牛顿”。但触觉本质是时序信号：滑动、插入、按压、搓动，每种接触状态都有力随时间变化的独特模式。

好，问题在这里，先看看T-Rex团队解决的怎么样。

在12项真实世界的灵巧操作任务上，T-Rex平均成功率达到65%，比最强纯视觉基线的35%高出了30个百分点。

翻书页96%对68%，开锁70%对0%——纯视觉方案在这个任务上完全被碾压。

消融实验更直接：把T-Rex的触觉输入全部拿掉，成功率从65%掉到42%，降了23个百分点——12项任务里超过三分之一的有效操作纯靠“手感”撑着。

数据效率也很惊人：仅给10条微调演示时，经过中期训练的T-Rex能达到约40%成功率，没经过中期训练的模型直接归零。

这说明模型不是“背下了”数据，而是真正理解了“搓”“捏”“拧”这些动作的通用手感。

一句话总结：视觉数据对灵巧手来说，本质上是不够用的——触觉不是锦上添花，而是必选项。

谁先解决“触觉怎么加”的架构问题，谁就可能在灵巧手这个赛道上卡住位置。

怎么做到的？

T-Rex的核心思路并不复杂——给触觉单独开一条高速通路，而不是让它和视觉挤在同一条慢车道上。

整体架构叫Mixture-of-Transformer-Experts，三个专家分工明确。

Latent Expert处理视觉和语言，预测未来的视觉表征，相当于给模型提供一个“接下来会发生什么”的大局感。

Action Expert做低频动作规划，参数量1.41B，是三个专家里最大的那个，跑一次管一个动作块。

Tactile Expert做高频触觉精修，参数量只有0.62B，轻量到可以频繁触发。

关键机制是Cascaded Flow Matching：

扩散去噪通常需要10步才能从一团随机噪声变成一个干净的动作轨迹，而T-Rex在第4步处一切两半：

前6步由Action Expert完成，生成一个“大方向对了但缺乏手感细节”的半成品；后4步由Tactile Expert接手，注入实时触觉数据完成精修。

为什么是第4步？作者团队通过实验对比发现太早切，Action Expert去噪步数太少，继承不了大规模人类视频预训练获得的先验知识；太晚切，动作分布已经定型，触觉信号进来也来不及修正了。

第4步刚好处在“该有的形状都有了，但细节还能改”的黄金位置。

这就像写文章：主编（Action Expert）定好大框架后就去忙别的了，四个编辑（Tactile Expert）在不同的节点上轮番检查细节，不需要主编每次都回来重看一遍全文。

触觉信号怎么编码是另一个关键设计。

触觉传感器有零点漂移和高频噪声，直接拿原始电压值喂给模型，模型很可能把传感器噪声当成接触特征学进去。

T-Rex用VQ-VAE把过去16帧（约0.5秒）的力历史压缩成64个离散码字。不同接触状态——按压、插入、滑动——会被自动聚类到不同的码字上。

这样一来，传感器漂移被过滤掉了，触觉信号还变得可解释——你能看到模型“理解”了什么类型的接触。

两个工程细节，第一个：让码本“活起来”。 VQ-VAE码本，理训练时经常出现“码本坍塌”——大部分抽屉空着，少数几个塞满各种杂乱状态。T-Rex的做法是定期检查哪些抽屉闲置，主动塞点数据进去“激活”它，确保所有码字都被利用起来。