WeVisOne‑VL – 微信视觉统一感知多模态模型

WeVisOne‑VL是腾讯微信视觉团队开源的统一视觉感知多模态模型，提供2B、4B两套权重版本，基于Qwen3‑VL底座构建，依靠结构化下一个token预测范式把物体级与像素级感知整合进同一套网络。模型引入特殊标记搭配仅9.6M参数量的轻量像素解码器，输出点、框、分割掩码、alpha抠图多种粒度结果，图像不存在目标物体时直接返回None抑制幻觉。整套训练依托约一亿规模图像数据集，经过三阶段课程式监督微调与多任务强化学习，在三十余项公开评测拿到靠前结果，项目开放权重、代码与在线演示。

WeVisOne‑VL特点

单模型承载多类视觉感知任务，不用切换检测、分割、抠图专用网络。

支持多粒度输出，可输出坐标点、检测框、二值掩码、连续alpha抠图。

图像无对应目标时返回None，降低强行生成结果的幻觉现象。

像素解码器参数量很小，复用主干ViT多层特征，不依赖SAM外部分割网络。

坐标使用<0>至<1000>专用token编码，框、点直接作为token序列生成。

提供2B与4B两种规格，Apache2.0协议，可用于二次开发与商用场景。

WeVisOne‑VL技术原理

主干基于Qwen3‑VL多模态基座，视觉特征适配器抽取四层ViT多尺度特征，构建像素特征金字塔。框引导查询解码器接收标记与傅里叶编码框先验，经过6层可变形交叉注意力得到实例查询向量。实例条件密集预测头执行由粗到细级联推理，输出掩码与高分辨率alpha抠图结果。训练分为三阶段课程式监督微调，依次完成指令对齐、高密度目标召回、像素级任务预热，再执行GRPO多任务强化学习，减少输出偏差与幻觉。配套自迭代数据引擎完成图像采集、标注扩充，模型错误样本回流用于迭代优化。

WeVisOne-VL项目地址

• 项目官网：https://tencent.github.io/WeVisOne-VL/
• GitHub仓库：https://github.com/Tencent/WeVisOne-VL

WeVisOne‑VL功能

目标检测、稠密检测，输出物体边界框坐标。

指代定位，根据文本描述找到图像对应目标，输出点或者框。

目标计数，统计画面内指定物体数量。

图像OCR识别，提取图片内文本内容。

指代分割、多目标分割，输出实例二值掩码。

图像抠图，输出alpha透明通道，获取物体前景素材。

无目标判定，查询物体不存在时返回None标记。

WeVisOne‑VL应用场景

AI智能体视觉模块，完成画面目标定位、实例抠取、计数读取文本。

图像编辑业务，指代抠图、目标框选、局部素材提取。

图片内容审核，定位画面指定实体做后续业务判断。

科研方向，统一感知多模态模型、指代分割、幻觉抑制对照实验。

移动端视觉业务，2B版本适配资源受限设备做轻量化部署。

WeVisOne‑VL如何使用

访问项目网页查阅技术文档、样例演示与项目说明。

前往HuggingFace下载2B或者4B权重文件，确认Apache2.0许可约束。

克隆GitHub项目代码仓库，搭建Python环境，安装transformers、vLLM等依赖。

加载模型权重，输入图片与文本查询指令，模型输出坐标token序列。

遇到标记触发像素解码器，解析得到掩码或者alpha抠图结果。

在线体验场景打开项目live‑demo页面，上传图片输入指令快速查看效果。

科研评测场景，运行配套评测脚本，复现三十余项基准指标。

二次开发场景，调用输出的框、点、掩码、抠图结果接入自有业务流程。

WeVisOne‑VL同类产品对比

表格