字节跳动 Seed 通过内部邮件官宣,组建独立的模型对齐与风险准备部门 Seed Model-Alignment&Preparedness,为国内前沿 AI 实验室里首个单独设置的大模型安全对齐专职部门。
新部门由严林主管,直接向 Seed 负责人吴永辉汇报。原有负责任人工智能团队连同部分对话模型研发人员划入该部门,专项承接模型安全与对齐相关工作。
模型对齐,是调整模型输出逻辑,匹配人类意图与安全边界。部门核心工作围绕智能体模型安全强化,针对化学、生物、放射、核相关的高危技术风险建立防控方案。
国内多数大模型团队,安全对齐相关任务挂靠在企业整体安全合规体系内。模型能力持续变强,智能体自主执行任务带来新的风险类型,安全对齐工作需要独立团队持续深耕。
部门业务覆盖模型行为规范制定、安全评测体系搭建、对齐训练迭代、防护系统开发与全周期风险监测。团队计划和外部科研机构、第三方评测主体开展协作,把模型运行限制在授权框架内,削减模型越界、滥用带来的隐患,搭建应对未知风险的防护体系。

© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...



