Hy4 preview 轻量版 – 混元基于Hy4 preview模型推出的量化压缩版本

Hy4 preview 轻量版是腾讯混元基于Hy4 preview旗舰模型推出的量化压缩版本，面向低硬件资源部署场景打造。原版 Hy4 preview 为 7700 亿总参数的混合专家模型，原版 BF16 权重体积接近 1.5TB，轻量版通过专项量化技术将整体权重压缩至 214GB，模型能力保留度较高。整套权重遵循Apache 2.0协议开源，支持异构设备联合推理，让不同规格的硬件可以协同运行整套模型，降低大参数模型的落地门槛。

Hy4 preview 轻量版特点

权重体积压缩幅度明显，主流任务的表现与原版差距很小。长文理解、多轮长上下文检索基本和原版 BF16 模型持平，数学、代码类任务仅出现小幅回落，日常生产场景完全可以替代原版使用。

支持异构设备联合推理，不同型号、不同显存的显卡可以搭配运行，拆分模型不同层到对应硬件，协同完成完整推理计算。现有闲置硬件可以整合利用，不用统一采购同规

格服务器。

完整保留原版模型的核心能力，百万级上下文窗口、混合专家架构、长链路任务处理能力都完整继承。输出效果和原版保持同一水准，推理速度受量化影响很小。

开源开放，可直接下载权重做本地私有化部署。适配主流推理框架，配套工具链完整，企业可以基于自身业务做二次调整。

Hy4 preview 轻量版技术原理

压缩核心依托两项专项技术。Sherry 稀疏三值量化算法针对路由专家层权重做处理，将平均位宽压缩至 1.25 比特，同时控制权重分布的离散程度，减少量化带来的精度损失。MIX-STQ1_0 混合精度策略会根据校准数据逐层判断敏感度，对模型表现影响大的敏感层保留 2.06 比特的更高精度，对表现影响小的非敏感层采用 1.31 比特的更低位宽，在体积和效果之间找到平衡。

基础架构延续原版的混合专家设计，主干共 78 层，首层为标准全连接层，其余 77 层为混合专家层，每层包含 256 个路由专家和 1 个共享专家，每次推理激活 8 个路由专家加 1 个共享专家。注意力模块采用带门控的深度稀疏注意力，搭配索引缓存跨层复用稀疏索引，支撑百万级上下文的高效计算。残差通路采用恒等超连接，扩充层间信息流动效率。

异构联合推理通过模型分层拆分调度实现，将不同网络层分配到不同硬件设备，层间通过通信链路传递中间结果，整套推理流程对上层透明。配合内存调度优化，即使单卡显存不足，也能通过多卡拼接运行完整模型。

Hy4 preview 轻量版功能

处理百万字级长文本，完整加载代码仓库、技术手册、业务文档，完成内容理解、信息抽取、逻辑梳理。

承接代码相关任务，涵盖代码生成、缺陷排查、仓库重构、测试用例编写、跨文件逻辑梳理。

处理办公与数据事务，整理合同、报表、业务资料，生成分析报告、结构化表格与方案材料。

执行长链路智能体任务，多步调用工具，分步完成复杂目标，过程中自主校验调整。

支持异构硬件协同运行，整合不同规格设备算力，落地大参数模型服务。

支持本地私有化部署，全部推理计算在内网完成，业务数据不流出企业环境。

适配主流推理框架与部署工具，可快速接入现有业务系统。

Hy4 preview 轻量版应用场景

中小团队自建模型服务，用有限的硬件预算运行大参数模型，处理代码、办公、分析类工作。

企业分支与边缘节点部署，本地运行模型处理业务数据，不用回传中心机房，降低延迟与数据风险。

涉密内网环境部署，整套模型完全运行在内部硬件，敏感资料无需上传外部服务。

现有异构硬件复用，整合不同型号、不同代际的服务器设备，共同提供模型推理服务。

科研与二次开发场景，基于开源权重做领域微调、技术验证，不用从零搭建基础模型。

游戏、金融、工程等专业领域，本地部署大模型处理行业专属任务，保障数据安全与响应速度。

Hy4 preview 轻量版同类产品对比

表格