立昆团队JEPA首登无人机:纯仿真、零样本深蓝AI

7/1/2026

图灵奖得主杨立昆提出的 JEPA 世界模型理论,终于在敏捷无人机机载高频控制场景完成工程落地了。

伯克利、纽约大学、布朗大学联合发布 SkyJEPA,由杨立昆作为核心作者参与,是业内首套适配四旋翼闭环控制的 JEPA 完整框架。

整套方案避开传统自回归动力学固有的长时序误差漂移问题,搭配物理映射探针与全域随机仿真数据集,仅依靠仿真数据就能直接在室外实机完成复杂轨迹跟踪;更换桨、加装载荷等硬件失配场景下,轨迹跟踪误差较主流神经网络基线降低 30% 以上,补齐无人机世界模型长时序稳定、物理可解释、机载实时、零样本泛化四大核心短板,为低成本、低风险无人机自主飞行提供全新技术路线。

图 | 三类主流自监督学习架构对比示意图(最后一个为 JEPA)

行业固有技术路线的三重先天缺陷

想要看懂 SkyJEPA 的创新价值,先要理清目前主流无人机动力学建模三条路线各自的短板,这也是论文全部设计的出发点。

第一性物理解析模型

依靠刚体、空气阻力、电机力矩方程搭建理论模型,计算速度快、完全可解释,但现实容错极低。更换螺旋桨、加装货物、电机老化、阵风扰动都会改变动力学参数,每次硬件改动都要重新系统辨识、人工调参,高机动飞行下气动力、桨机耦合等非线性效应无法精准建模,长距离飞行轨迹偏移严重,仅能支撑低速悬停场景。

自回归神经网络动力学(当前行业主流)

离线采集飞行轨迹训练网络,单步预测表现尚可,但底层逻辑存在致命缺陷:每一步预测结果循环作为下一帧输入,微小误差会持续累积。论文实验数据显示,传统自回归模型推演 60 步后复合误差比值达到 2.4,姿态误差突破 50 度,轨迹彻底违背物理规律。即便叠加物理正则、在线微调,也只能小幅缓解漂移,无法根除迭代带来的误差放大问题,且模型绑定训练时的无人机硬件,改装后精度断崖下跌。

早期 JEPA 机器人方案(机械臂 / 地面导航)

图 | 四旋翼世界模型四大核心性能需求示意图

三类方案各有局限,且无法同时解决 “长时序推演不漂移、无需大量高危实机试飞、硬件改装不用重新训练、边缘板卡实时运行” 四大工程诉求,SkyJEPA 正是杨立昆团队将 JEPA 理论适配机载控制场景的针对性解法。

潜态预测 + 物理探针 + 仿真数据流水线

整套系统由 JEPA 潜态动力学、物理启发探针、自动化域随机仿真管线三大模块组成,配套轻量化 MPPI 控制器,网络总参数量仅 9K,可流畅运行在 Jetson Orin NX 这类低成本机载嵌入式设备。

图 | SkyJEPA 完整框架总览图

2.1 JEPA 潜态动力学模型:从根源切断误差累积链路

图 | 模型两阶段训练流程图

图 | 时序拉直指标

时序平滑、复合误差仅代表离线无校正纯推演效果,真实飞行中控制器会持续修正偏差,离线误差差距不会完全复刻,但能大幅削减控制器修正幅度,减少电机频繁满负荷运转。

2.2 物理启发探针(PI Prober):JEPA 落地机载控制关键桥梁

图 | 多模型开环推演误差对比曲线

2.3 域随机自动仿真数据集:摆脱高危实机采集依赖

无人机野外高机动试飞成本高、炸机风险大,SkyJEPA 搭建全自动仿真数据生成管线,整套训练数据完全在虚拟环境生成,无需人工操控实机采集样本。

图 | 仿真数据集所用域随机化参数表

Scroll for more