OpenAI开发AI自动终止功能，应对智能体失控风险

知情人士透露，OpenAI 正在内部研发一套 AI 自动终止机制，用于在智能体行为偏离预期时主动中断其运行。该功能目前处于测试阶段，尚未确定上线时间。

为什么需要“紧急刹车”

随着 AI 智能体被赋予更多自主执行权限——从编写代码、操作浏览器到调用外部 API——单一指令触发连锁反应的风险正在上升。现有安全策略多依赖事前提示词约束和事后人工审查，缺乏运行过程中的实时干预手段。一旦智能体进入错误循环或产生未授权操作，等待人工发现往往为时已晚。

自动终止如何工作

这套机制的核心是一个独立于主模型的监控模块，持续评估智能体的行为序列是否偏离预设边界。当检测到异常模式（如重复失败调用、访问敏感资源、输出内容与任务目标显著背离）时，系统会自动暂停执行并记录上下文日志，供开发者回溯分析。触发阈值可由用户自定义，避免过度干预正常流程。

行业背景

近期多起公开案例显示，AI 智能体在自动化工作流中出现“幻觉驱动”的越权操作，包括误删文件、发送未经确认的邮件、陷入无限重试死循环等。Anthropic、Google DeepMind 等机构也在探索类似的安全护栏技术，但大多仍停留在研究论文层面。OpenAI 若率先将此类功能产品化，可能成为智能体安全标准的事实起点。

落地挑战

自动终止本身也可能被滥用或误触发。过于敏感的阈值会打断合法长任务，过于宽松则失去防护意义。如何在保障安全与维持可用性之间取得平衡，是该功能能否真正投入生产环境的关键考验。