微软对外披露对前沿 AI 智能体的风险判断,企业内部部署的 AI 智能体具备自主执行能力,这类系统可以访问内部敏感数据,调用业务工具,产生类似内部人员带来的安全隐患。
相关观点发布于微软官方安全博客。微软安全团队提到,前沿大模型输出行为存在不确定性。模型的训练目标聚焦任务完成,不会主动贴合企业内部规范,即便模型厂商给出安全承诺,也无法消除潜在风险。企业需要搭建独立管控体系,将模型能力供给与权限管控拆分开。
Guardian Agents 归属 Project Perception 项目体系。这套方案以额外的监控智能体,持续观测企业内各类 AI 智能体的运行动作,实时评估操作对应的风险等级。系统采集身份、数据访问、终端、网络、运行时多维度信号,识别企业环境中所有正在运行的 AI 智能体,分配独立身份与权限边界。

风险等级上升时,Guardian Agents 会执行干预动作,阻断高风险操作。整套机制面向具备自主调用工具能力的 Agent,覆盖外部第三方模型与企业自研智能体。
Project Perception 项目早期聚焦抵御外部 AI 驱动攻击,包含红队、蓝队、绿队三类安全智能体。本次迭代扩展防护边界,应对来自企业内部、由自身部署 AI 智能体引发的安全事件。
企业环境中,AI 智能体拿到业务权限后,一旦被提示注入干扰指令,或是模型自主产生偏离预期的操作,会引发数据外泄、系统配置改动等事故。Guardian Agents 为这类场景提供运行时监控与动态权限约束。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...



