ComAct – 面向专业软件操作的全新AI智能体交互范式

ComAct是面向专业软件操作的全新AI智能体交互范式，核心提出「COM-as-Action」理念，将组件对象模型(COM)作为统一可执行抽象，把专业软件交互从传统的顺序视觉控制重构为确定性程序合成任务。该方案针对性解决了GUI类智能体视觉定位脆弱、长时序误差累积，以及API类方案协议异构、商业接口不可获取的行业痛点，可稳定实现工业CAD、设计软件、办公软件等各类专业桌面软件的自动化操作，同时配套了专业评测基准、规模化训练平台与自研智能体，形成完整的技术闭环。

ComAct核心特点

统一跨软件交互范式

以 COM 作为通用语义编程接口，打通 SolidWorks、AutoCAD、Inventor 等工业软件，以及 Photoshop、Office 系列等设计办公软件，一套脚本即可完成跨应用的专业工作流编排，无需针对不同软件适配异构协议。

长时序任务高稳定性

区别于 GUI 视觉操作随步骤增加持续累积误差的缺陷，程序合成式的操作具备确定性，在多步骤、长周期的复杂流水线任务中性能衰减极低，可稳定完成跨环节的连续工作流。

全量软件功能访问

直接对接软件原生 COM 接口，可调用软件全部原生功能，不受开放 API 的功能范围限制，完整覆盖从 2D 草图绘制、3D 建模、部件装配到工程图导出、质量属性计算的全流程操作。

渐进式能力成长体系

采用三阶段渐进训练框架，从基础代码生成到错误自校正，再到强化学习优化，逐层提升智能体的操作精度与复杂任务处理能力，适配不同难度的专业场景。

高可扩展训练底座

配套的 ComForge 训练平台基于 Windows 容器构建，支持上千个真实软件环境并行运行，且可扩展适配任意桌面端专业软件，具备极强的场景延伸能力。

ComAct技术原理

COM-as-Action 核心交互范式

组件对象模型(COM)是 Windows 平台软件通用的二进制交互标准，ComAct 将智能体的动作空间从视觉点击、界面识别，转换为 COM 接口的程序代码生成。智能体通过生成调用 win32com 的 Python 脚本，直接操控软件内核执行操作，将软件交互问题转化为确定性的程序合成问题，从根源规避视觉定位偏差与步骤误差累积。

三阶段渐进训练机制

第一阶段：文本转代码监督微调。基于公开 CAD 数据集构建经过验证的指令 – 代码配对数据，让模型掌握基础的 COM 调用语法与软件操作逻辑。
第二阶段：智能体式监督微调。引入「思考 – 决策 – 执行」的自校正流程，模型根据终端返回的执行报错与结果反馈，自主诊断问题并修正代码，培养错误排查与修复能力。
第三阶段：基于连续几何奖励的 GRPO 强化学习。以几何参数匹配度、任务完成度作为连续奖励信号，通过多候选采样迭代优化，进一步提升长时序复杂任务的执行效果。

ComForge 并行环境架构

基于 Windows 11 虚拟机与 Docker 容器构建可扩展的基础设施，每个容器内置完整的专业软件与服务守护进程，提供终端交互、截图、代码执行等统一接口。通过异步调度器实现上千个环境并行运行，支撑大规模模型训练与评测，且可快速适配新的桌面软件。

自校正闭环执行机制

智能体采用「思考 – 决策 – 执行 – 反馈」的循环执行逻辑，生成并执行 COM 代码后，读取终端返回的运行结果与报错信息，自主诊断问题、调整代码，直至完整达成任务目标后标记完成，实现长流程任务的自主闭环处理。