MemGUI-Agent – 浙大联合快手一起研发的长程移动GUI智能体

MemGUI-Agent是由浙江大学与快手联合研发的端到端长程移动GUI智能体，专为解决现有GUI Agent在跨应用、多步骤复杂任务中关键信息遗忘的问题而设计。通过主动上下文管理机制替代传统被动累积历史记录的方式，使Agent在执行长任务（如30+步骤、跨多个App）时能精准保留价格、联系人、验证码等关键UI事实，显著提升任务完成率。

MemGUI-Agent核心特点

1. 主动式上下文管理

摒弃被动追加历史记录：传统ReAct风格Agent会无差别累积每步操作截图与文本，导致关键信息被稀释；MemGUI-Agent则主动决策哪些内容需压缩、哪些UI事实需保留，避免上下文冗余。
结构化记忆字段：仅维护三个关键字段：
- 折叠的动作历史：压缩非关键操作，保留核心步骤逻辑。
- 折叠的UI状态：提取界面关键元素（如价格、按钮状态），丢弃冗余视觉细节。
- 近期步骤记录：聚焦当前任务上下文，确保短期目标连贯性。

2. 长任务适应性

在步骤数超过20的长任务中优势显著，任务完成率较传统方法提升近两倍。
对跨应用信息传递（如从电商App复制价格到笔记App）的准确率大幅提高，有效解决“边做边忘”问题。

3. 轻量化与泛化能力

基于8B参数模型（MemGUI-8B-SFT）即可实现高性能，无需依赖超大模型。
在分布外（OOD）基准测试（如MobileWorld）中表现稳定，泛化至未见过的应用场景。

MemGUI-Agent技术原理

1. 上下文即动作（ConAct）机制

将上下文管理视为与UI操作同等重要的策略动作：Agent不仅决定“点击哪里”，还同步决策“如何更新上下文”。
通过结构化动作指令动态调整三个记忆字段，例如：
- 当检测到价格信息时，将关键数值写入“折叠的UI状态”。
- 当步骤数超过阈值时，自动压缩早期动作历史为摘要。

2. MemGUI-3K数据集驱动

构建包含2,956条长程任务轨迹的开源数据集，每条轨迹均标注ConAct操作（如记忆压缩时机、关键事实提取位置）。
通过实体替换、记忆操作增强等策略扩充任务多样性，覆盖购物、社交、办公等26类场景。

3. 动态信息筛选与压缩

视觉-语义联合过滤：仅保留与任务目标强相关的UI元素截图（如商品价格区域），舍弃无关界面组件。
关键事实锚定：对需跨步骤传递的信息（如验证码），采用字面级精确存储而非语义转述，避免信息失真。

MemGUI-Agent核心功能

1. 长程任务可靠执行

支持跨10+应用、50+步骤的复杂工作流（例如：比价购物→记录参数→更新通讯录→生成报告）。
在MemGUI-Bench测试中，任务完成率比传统方法高35%以上，尤其在需多次切换App的场景中优势突出。

2. 关键信息精准传递

价格、联系人、日期等结构化数据的传递错误率降低60%，避免因转述失真导致任务失败。
例如：从电商页面提取“¥299”后，在后续步骤中直接复用原始数值，而非依赖模型生成的模糊描述。

3. 低资源开销部署

通过紧凑上下文设计，将长任务所需的token消耗减少40%，适配移动端有限算力。
提供开源模型（MemGUI-8B-SFT）与训练框架，支持开发者快速集成至自研Agent系统。

MemGUI-Agent项目地址

项目官网：https://memgui-agent.github.io/
HuggingFace模型库：https://huggingface.co/collections/lgy0404/memgui-agent
arXiv技术论文：https://arxiv.org/pdf/2606.19926

MemGUI-Agent同类产品对比

表格

对比维度	MemGUI-Agent	AppAgent
核心定位	面向长时序场景的端到端移动端 GUI 智能体，主打主动式上下文管理，解决长任务的信息遗忘与上下文膨胀问题	通用型移动端 GUI 智能体，基于多模态大模型实现 APP 自主操作，是早期移动端 GUI Agent 的代表性方案
核心技术范式	提出 Context-as-Action（ConAct）机制，将上下文管理作为与 UI 操作同级的策略动作，由模型自主决策信息的保留、压缩与丢弃	采用「探索 – 执行」两阶段框架，探索阶段自主熟悉应用功能与布局，执行阶段逐步完成用户指令
记忆 / 上下文方案	策略级主动管理，分层维护工作上下文、持久关键事实、压缩历史信息，跨步骤、跨应用可稳定留存价格、ID 等核心数据	被动式轨迹累加，按顺序堆叠历史操作截图与步骤文本，无主动筛选与压缩能力
长时序任务表现	针对多步骤、跨应用的长流程任务优化，任务长度增加时性能下降平缓，不易出现关键信息丢失	短中程单应用任务表现稳定，长时序任务易出现上下文过载、历史信息稀释、操作幻觉增多
支持平台	移动端（安卓生态）	安卓移动端
决策架构	单模型端到端决策，同一次推理同时输出 UI 操作与上下文管理动作	分层式架构，规划模块与操作模块分离，依赖外部提示词约束行为逻辑
核心优势	长任务稳定性强，上下文利用率高，推理成本随任务长度增长可控	实现门槛低，无需专项训练，基于通用多模态大模型即可快速部署
典型适用场景	跨应用长流程操作、多步骤信息聚合整理、持续性移动端自动化任务	单应用短任务执行、基础 APP 操作自动化、简单指令式交互场景

最后想说

MemGUI-Agent的核心价值在于将GUI Agent从“短程操作工具”升级为“长程任务协作者”。传统Agent在简单任务（如单App内点击按钮）中表现良好，但面对需记忆中间结果的复杂场景（如整理跨平台信息）时可靠性骤降；而MemGUI-Agent通过主动管理上下文，使AI能像人类一样有选择地记忆关键事实，为自动化办公、智能客服等场景提供实用化基础。目前其代码、数据集及模型已全链路开源，成为长程移动GUI任务研究的重要基准。