69岁强化学习之父创业：20瓦人脑级智能体量子位
69岁正是“创”的年纪！
强化学习奠基人、2024年图灵奖得主Richard Sutton宣布，自己已和学生Khurram Javed离开John Carmack创办的Keen Technologies，另起炉灶成立Oak Lab。
Richard Sutton称得上现代强化学习的开山之人：
他本科在斯坦福攻读心理学，博士师从强化学习先驱Andrew Barto，早年先后在GTE Labs、AT&T Labs从事研究工作。
他提出了时序差分算法，和导师Andrew Barto合著的《Reinforcement Learning: An Introduction》（《强化学习导论》）是该领域全球通用教材；
2003年起，Sutton长期担任阿尔伯塔大学全职教授，创办本校强化学习实验室RLAI；
2017‑2023年任职DeepMind 杰出研究科学家，牵头建立DeepMind Edmonton研究团队
同时，在四十多年里Sutton培育出一大批AI行业顶尖人才。
其中包括AlphaGo核心设计者David Silver、DeepMind蒙特利尔负责人Doina Precup、博弈AI专家Michael Bowling，以及此次共同创业的Khurram Javed。
从推文来看，Sutton这次单干的原因很直接：
他认为当前的深度学习方法薄弱、低效，需要的不是修修补补，而是全新的基础思想与彻底重构。
也就是说，Sutton觉得现有AI路线很难进一步往更高阶的通用智能迈进。
而Oak Lab的终极目标是：
搭建万亿参数规模，可以实时学习、实时规划，整机功耗仅20瓦的智能体。
20瓦，刚好和人脑的耗能水平持平。
当整个AI行业还在堆GPU、扩数据中心的时候，强化学习的祖师爷准备重新定义什么是智能。
要理解Sutton为什么要走，得先说清楚他是从哪儿走的。
Keen Technologies的创始人John Carmack，是《毁灭战士》和《雷神之锤》的缔造者、Oculus前CTO，程序员圈子里的传奇“卡神”。
2022年他从Meta离职后全力投入AI创业，方向也是强化学习。
2023年9月Sutton选择加入Keen，起因是谷歌DeepMind关闭了他在加拿大与Edmonton共建的实验室。
当时两人联手也算是梦幻组合了：
一个是底层系统工程的传奇人物，一个是强化学习理论的奠基者，计划在2030年前打造出具备“AGI生命迹象”的原型系统。
现在，合作不到三年，Sutton选择抽身离开。
但他在推文里特意把第一句话留给了Carmack：
关于John Carmack和Keen Technologies，我怎么夸都不为过。
言下之意就是：走不是因为Carmack不好，是因为大家对怎么走到终点这件事产生了分歧。
在Sutton眼中，当下深度学习整套发展路线行不通。
模型不需要无休止迭代微调，整个行业亟需完成范式层面的颠覆重建。
Oak Lab要做什么
Sutton这次创业押注的核心可以概括为一句话：
智能来自运行时持续产生的经验。
现在主流大模型的工作模式基本是耗费数月时间，投入巨额成本，依托海量文本数据完成离线预训练；
训练结束之后模型参数基本固定，随后上线使用。
但即便每天和亿万用户对话，绝大部分交流内容也没办法转化为自身全新能力。
模型只能复用训练阶段学到的知识，或是在对话上下文里短暂记住信息，却没法像人类和动物一样，在持续感知外界的过程里更新自我。
但Oak Lab要打造的智能体不一样。
它要一边感知周遭环境、做出对应行动，再依据结果调整自身行为；
只要产生全新经历，学习过程就同步进行，不用间隔很久再集中开展新一轮训练。
就像Sutton自己说的：
AI运行的每时每刻，都应当是学习的过程。
目前，Oak Lab已经公布了自己的核心研究路线，围绕一套名叫OaK的架构展开。
OaK代表Options and Knowledge，也就是技能与知识。
这套架构的目的是让智能体从自身经验中发现具有时间跨度的抽象结构，并将其转化为可以验证、可以规划、可以反复调用的技能。
举个例子，机器人第一次去厨房接水，整套流程包含辨认房间、躲避障碍物、拿起水杯、打开水龙头等一连串动作。
传统AI会把全部步骤当作单次决策任务；
OaK架构则会让智能体从实操里拆解出“走到厨房”“拿起杯子”“接水”等高层级技能。
后续遇到相似目标时，智能体直接调取已有技能，再结合当下环境灵活调整方案。
这种沿着时间维度精简过往经历的方式叫作时间抽象，让AI效仿人类，把一连串零散动作沉淀成成熟技能，依靠技能组合完成更复杂任务。
除此之外，Oak架构还有一个和当下深度学习截然不同的设计目标：
学习阶段既不储存历史数据，也不会回放过往经验。
当前的深度强化学习往往会把大量历史经验放进缓冲区，反复抽样训练。
