Mellum2.1 – JetBrains开源代码智能体大模型

Mellum2.1 是 JetBrains 推出的开源 MoE 架构大模型，面向代码智能体场景完成迭代升级，总参数规模 12B，单 token 仅激活 2.5B 参数。模型延续前代基础架构，把强化学习作为训练核心环节，补充算法竞赛、数学、工具调用与软件工程类训练素材，在高负载场景下的 token 吞吐能力达到同类模型两倍水平。上下文窗口支持 131072 token，可完整读取大型代码仓库文件，在代码自测、故障定位、代码修改验证环节的表现得到提升，开源协议为 Apache 2.0，支持本地部署与云端私有化部署。

Mellum2.1特点

针对编程智能体场景深度优化，可自主探索代码库，修改文件并校验改动结果。

高并发推理场景维持稳定吞吐，单 GPU 可承载更多并行请求，显存占用控制在较低水平。

长上下文支持完整读取大型项目源码，跨文件关联分析代码逻辑。

权重完全开源，可自行微调，本地部署实现代码数据不出内网。

多 Token 预测模块缩短生成耗时，单次请求输出速度提升，适配 IDE 实时交互。

Mellum2.1技术原理

采用 MoE 混合专家架构，内置 64 个专家模块，路由机制为每个 token 分配 8 个专家参与计算，减少单次前向计算量。

搭配 GQA 分组查询注意力与滑动窗口注意力，大部分层使用 1024token 局部窗口，少量层保留全上下文访问，降低长上下文推理算力开销。

训练阶段以 GRPO 变体强化学习方案，依托海量沙盒环境执行代码任务，用可验证结果作为奖励信号筛选输出，搭配多 Token 预测实现推测解码，压缩推理延迟。

Mellum2.1功能

代码生成与补全，基于项目上下文输出函数、类与完整模块代码。

代码问题诊断，读取报错日志，定位代码缺陷，生成修复代码并做自测。

多文件项目分析，跨文件梳理调用关系，整理项目架构说明。

工具调用编排，完成多步骤任务规划，调用外部工具执行代码验证。

自然语言转代码，把业务需求转化为可运行程序，附带注释说明。

Mellum2.1应用场景

IDE 内置 AI 编码助手，实时代码补全、缺陷提示与重构建议。

代码智能体开发，搭建可自主读库、改代码、跑测试的自动化程序。

企业私有代码库分析，本地部署做源码审计、技术文档生成。

算法竞赛、数学推理任务，处理复杂推导与算法编写需求。

RAG 代码检索系统，结合知识库完成项目资料提炼与问答。

Mellum2.1使用教程

前往 Hugging Face 获取 Mellum2.1 模型权重，核对硬件配置，准备对应 GPU 环境。

部署 vLLM 推理服务，开启多 Token 预测加速模块，配置上下文窗口参数。

在 IDE 插件或自研平台接入推理接口，加载项目代码作为上下文。

输入任务指令，提交代码分析、编写或者缺陷修复类请求。

拿到模型输出代码，执行单元测试，校验修改内容是否符合预期。

按业务需求做领域微调，更新训练数据集，部署至私有化服务器。