字节Seed单设安全部,风险评估提上台前

华尔街日报 · 经八阕原文

字节跳动Seed的安全工作,正在从一个既有团队变成独立的组织单元。 10月13日,字节跳动Seed宣布成立“Seed Model-Alignment & Preparedness”部门,由严林负责,向Seed负责人吴永辉汇报。原Responsible AI团队及部分Chat团队成员转入新部门。 部门负责模型规范、安全评估、对齐训练、防护系统和风险监控。“Alignment”指模型行为与人类意图和安全约束保持一致;“Preparedness”则指为模型能力继续提升后可能出现的风险做准备。 字节在部门目标中写入提升智能体模型安全能力,以及防范化学、生物、放射、核等前沿能力风险。安全评估将承担什么职责,评估结果能否影响模型和功能的开放,成为这次调整留下的核心问题。 原有安全团队,为何要重新编组 Seed此前已有Responsible AI团队。此次调整将原团队与部分Chat团队成员归入同一架构,两类人员的具体比例和分工尚未公开。 从新部门覆盖的职责看,字节试图把模型训练、评估与部署后的风险处置放到同一组织框架下; 模型规范和对齐训练属于研发环节,安全评估用于测试能力边界,防护系统和风险监控面向部署后的攻击、偏离与异常行为。 Seed近来的产品进展,为这种整合提供了现实场景。 今年6月,Seed发布Seed2.1,重点强调跨工具、跨环境的任务交付能力。 按照Seed官方介绍,该模型可处理文件、调用工具、完成代码实现和运行环境搭建等多步骤任务,并已在豆包、TRAE上线,通过火山方舟提供API。 模型只生成答案时,风险主要集中在回答内容。进入任务执行环节后,模型还要理解目标、选择工具、读取数据,并在外部系统中完成操作,风险也会随权限延伸。 模型可能误解用户意图,也可能受到网页、文档、邮件中恶意指令的干扰。工具权限设置过宽、上下文遭到投毒,都可能让一次模型偏差变成实际操作。 OWASP去年底发布的智能体应用十大安全风险,将目标劫持、工具滥用、身份与权限滥用、记忆与上下文投毒列为重点。这类风险发生在模型调用工具和访问外部系统的过程中,通常还需要权限控制、运行监测等机制配合。 字节将模型侧团队与部分Chat团队成员放入同一架构,或意在缩短测试、训练与产品上线之间的反馈链路,新部门能否参与模型发布评审,是否有权要求补充测试或暂停功能开放,公开资料尚未披露。 独立部门提供了稳定的负责人和汇报线; 它能在多大程度上影响模型发布节奏,仍取决于评估流程、资源配置和处置权限。 大规模应用前,厂商需要证明什么 QuestMobile数据显示,今年6月,豆包活跃用户规模达到3.82亿。活跃用户不等同于智能体用户,却显示出字节拥有较大的AI应用入口。 Seed模型正在通过豆包、TRAE和火山方舟进入消费者、开发者和企业场景。模型能力向更多用户和更多工具开放后,安全问题会从研发问题进入产品和运营环节。 用户愿意让模型生成一段文本,未必愿意让它处理文件、接入企业内部系统或完成关键操作。后几类任务需要明确授权范围、操作记录和异常处置机制,企业客户尤其看重这些环节。 自动化程度越高,模型能够创造的价值越大;授权范围越广,发生错误后的代价也越高。安全能力会影响智能体能否进入高价值工作流。 监管要求已经落到具体操作。 今年5月,国家网信办等部门发布《智能体规范应用与创新发展实施意见》,要求用户对智能体自主决策享有知情权和最终决策权,智能体执行操作不得超出授权范围; 文件还提出行为围栏、攻击检测、权限管理、供应链安全和第三方评测等要求。 Seed新部门的职责与上述要求存在交集; 模型规范涉及行为边界,安全评估对应上线前测试,防护系统和风险监控面向运行时处置,监管并不能单独解释字节的组织调整,但智能体加速落地,正在把安全工作推向研发和产品的前端。 海外实验室已经开始把安全要求嵌入模型研发。 Anthropic的Responsible Scaling Policy将能力阈值与相应安全措施配对:当模型达到预设能力等级后,需升级部署与安全防护。它提供了一种可供参照的路径,模型能力提升后,安全要求也要同步升级。 对Seed而言,接下来需要公开的并非更多原则,而是更具体的机制:安全评估覆盖哪些模型和产品,第三方测试如何进入发布流程,发现高风险能力或异常行为后,评估结果如何影响上线决定。 字节已经把安全与对齐提到独立部门层级。安全评估能否进入模型发布链条,将决定这次调整最终的分量。

来源:华尔街日报(经八阕转载) · 查看原文
Scroll for more