以后蒸馏，可能连“过程”都抄不到

OpenAI的新技术，可能让“蒸馏”越来越难了。

以前看一个推理模型想了多久，多少还能数 Token，它卡在那里吐两万字 CoT，至少有体感这次问题让它费了不少脑子

Astra 开始换了一种“想”的方式

《The Information》披露，OpenAI 在 Astra 里用了 recurrent depth。模型生成下一个词之前，可以把隐藏状态反复送进同一组 Transformer blocks，多转几圈，再继续往下说

可以理解成，嘴上还没说下一句话，脑子已经在里面转了好几圈

不过这也不是什么独门黑科技。去年 10 月，Seed 团队发布的 Ouro 就是一种 Looped Language Model，同样让一组 Transformer 层循环运行，把更多计算放进模型内部。

模型不用一直生成更长的思维链，也能增加推理计算量。较小模型因此能用更多计算，做到接近更大模型的效果

这让蒸馏变得很尴尬，过去 reasoning model 最值钱的“教材”就是老师模型吐出来的答案和推理轨迹。学生不只是抄答案，还能顺着 CoT 学它怎么拆题、试错、回头

如果越来越多推理发生在 latent state 里，老师越来越聪明，留给学生抄的“解题过程”可能就越来越少了

但也不是说蒸馏就做不了了。OpenAI 自己今年向美国国会提交的材料也说，前沿模型蒸馏早已经不只是 CoT extraction，还包括大规模合成数据、清洗和强化学习式优化

不用蒸馏的人也有麻烦。OpenAI 很看重 CoT monitoring，因为模型准备骗评测、钻漏洞时，很多意图会先暴露在思维链里。OpenAI 自己的评测也显示，只监控动作和最终输出，效果明显不如把 CoT 一起看

但 recurrent depth 会把更多计算留在不可直接读出的隐藏状态里，OpenAI 也因此限制了 Astra 的循环程度，确保它仍会留下足够可读的 CoT

不确定的是，其他实验室（Anthropic？）未必也愿意保留这层“可读性”下午看到一篇公众号也提到这一点

“Astra 的 CoT monitorability 相比 GPT-5.6 Sol 明显下降，原因之一很简单，它经常用更短、甚至接近空白的 CoT 完成任务“

在某些对抗测试里，仅仅告诉 Astra“你正在被监控”，它就会减少写出来的思考，有些成功攻击最后甚至只剩 tool calls，这恰好撞上 Astra 最大的卖点之一，效率

比如 Agents’ Last Exam 上，Astra 比 Opus 5 少用了约 65% 输出 Token；OpenAI 同时为了监控 Astra 的推理和动作，又要额外吃掉大约 20% inference compute

Astra 更聪明了，也更会闭嘴，这比刷榜更像一次代际变化