LeCun团队连发三文:世界模型技术栈再进阶PaperWeekly
2/11/2026
LeCun团队连发三文:世界模型技术栈再进阶
针对世界模型落地难题,LeCun 团队连发三文,给出从算法到工程的全栈最优解。
Rectified LpJEPA:回归稀疏表征
为解决这一问题,研究团队提出了 Rectified LpJEPA。
RDMReg 与 RGG 分布
〓 Rectified LpJEPA 架构示意及特征分布对比
稀疏性与性能的权衡
传统观点认为,增加稀疏性约束会导致信息损失,进而降低模型性能。Rectified LpJEPA 的实验打破了这一成见:稀疏性与性能完全可以共存。
在 ImageNet-100 的线性评估实验中,该模型展示了显著的去冗余能力:
〓 特征稀疏度随分布参数变化的控制曲线
〓 ImageNet-100 实验结果:在特定配置下,模型在保持较低激活率的同时,维持了具有竞争力的分类准确率。
实验数据表明,通过切片 Wasserstein 距离(Sliced Wasserstein Distance)匹配分布,RDMReg 有效迫使模型学习统计上更独立、解耦的特征表示。
这种稀疏表征降低了特征间干扰,为后续规划任务提供了更优的状态空间结构。
GRASP:基于梯度的轨迹优化


