Claude Fable 5,名存实亡新智元
Fable 5刑满归来,但跑分却断崖暴跌。翻进官方文档才发现:你付着Fable的钱,跑的可能一直是Opus。
别高兴得太早!
你眼前的Fable 5,大概率只是一具空壳。
当它带着万众期待宣告回归,现实却极其惨烈。
就在模型恢复上线的第一时间,BridgeMind火速重跑了BridgeBench基准测试。
结果不仅是翻车,而是彻头彻尾的崩盘——
▪︎调试能力从86.2直线坠落至25.9,狂跌百分之七十。
▪︎重构能力从73.6暴跌至38.4,直接腰斩。
▪︎连最基础的幻觉指标,也从75.9狼狈滑落到61.7。
一夜之间,开发者社区彻底炸锅。
「Fable 5被物理阉割」的怒骂声,震耳欲聋。
花着Fable的钱,跑的却是Opus
开发者kaize满怀期待,把个人项目交给Fable 5去做安全审计。
结果,迎面撞上的却是一堵冰冷的墙:违反规则,拒绝执行。
有人只是做个普通的教育工具,就莫名其妙触发了安全标记,直接被系统一脚踢出Fable。
还有人发现,只要你的项目敢沾一点AuthN或AuthZ认证模块,几乎百分之百会触发护栏。
绝望的网友甚至建议,Fable 5干脆改名叫Feeble 5(虚弱5)算了。
把数据拆开后,BridgeMind发现,测试的12道题里,只有可怜的3道真正跑在了Fable 5上。
剩下9道全被安全分类器半路拦截,悄无声息地上演了一出狸猫换太子,强行切成了上一代的Opus 4.8。
按照BridgeBench的计分规则,凡是被护栏强制降级的题目,直接记零分。
那9道题,就这么硬生生吃了鸭蛋。
对此,BridgeMind的分析是:「只要任务能跑通,Fable 5和6月12日被禁前那个版本一模一样强。问题出在护栏上。」
换句话说,模型没有变蠢,只是在绝大部分时间里,你根本就没在用它。
Anthropic:就是故意的
如果只是护栏太严,调松一点就完了。
但令人绝望的是,这不是bug,是Anthropic深思熟虑、甚至引以为傲的顶层设计。
官方博文上白纸黑字写得清清楚楚:「我们刻意将安全分类器设置为,会对一组我们知道大概率无害的请求触发拦截。」
意思就是,他们明知道你的请求大概率没问题,却还是选择把大门死死焊上。
更让人后怕的是审查范围。


