openPangu-2.0补齐开源链路,华为放出预训练、微调与强化学习代码

AI资讯18分钟前更新 文明旁观者
0 00

华为正式发布盘古 openPangu-2.0 全套训练代码,预训练、监督微调 SFT 以及后训练强化学习 RL 代码同步上传开源平台,面向开发者、科研团队开放获取。

本次开源的 openPangu-2.0-Training 作为统一训练框架,承载大规模基础模型从前期数据训练到监督微调的完整流程。框架内置多维分布式并行、高效数据流水线、混合精度训练与自定义算子优化模块,适配百亿至万亿参数规模模型的训练任务,集群运行阶段支持高可用调度。

配套放出的 openPangu-2.0-RL,是面向昇腾硬件打造的强化学习加速框架,基于 VERL 生态搭建昇腾原生训练与部署能力。代码可用于智能体方向的后训练调优,改善模型在复杂任务里的规划与执行表现。

openPangu 系列模型相关资产已分批对外放出。此前 openPangu-2.0-Pro 模型权重、基础推理代码和技术报告已经对外开源。随着本次训练代码发布,openPangu-2.0 完成权重、推理代码、训练代码全链路开源。整套体系围绕昇腾 NPU 软硬件协同设计,适配 512K 长上下文窗口场景。

开源仓库托管于 GitCode 平台,开发者可下载完整代码,基于昇腾硬件复现模型训练流程,调整训练参数开展模型二次迭代。代码仓库持续接收社区提交反馈,相关更新会随版本迭代持续推送。

openPangu-2.0补齐开源链路,华为放出预训练、微调与强化学习代码
© 版权声明
为这篇文章评分
0.0/ 10
0 人评价
点击⭐️进行评分

相关文章

暂无评论

none
暂无评论...