FireRedTTS3 – 小红书开源的新一代统一语音生成与编辑模型

FireRedTTS3是小红书智创音频团队FireRed开源的新一代统一语音生成与编辑模型，将多语言零样本音色克隆、自然语言声音设计、局部精准语音编辑三大能力整合到单一模型架构中，无需再为不同需求拼凑多套独立系统，在四大公开评测集上均达到行业领先水平。

FireRedTTS3核心特点

• 多语言多方言覆盖全面：支持24种全球主流语言与21种中文方言的零样本音色克隆，仅需几秒参考音频即可复刻目标音色并朗读对应语种内容，跨语言、跨方言的音色相似度与发音准确率均处于行业头部。
• 自然语言声音设计能力：无需提供参考音频，仅用自然语言描述音色特征，模型即可凭空生成匹配需求的全新声音，实现“描述即生成”的声音定制体验。
• 精准局部语音编辑：可像修改文档一样对已有语音进行精准调整，支持替换指定字词、修改语速、音高、音量等操作，未指定修改的部分完全保持原样，音色不会出现漂移或失真。
• 统一架构轻量高效：不依赖多模块堆砌与多阶段训练，通过底层语义化语音表示从根源上解决了连续自回归模型“越生成越跑偏”的行业痛点，系统复杂度大幅降低。

FireRedTTS3技术原理

• 语义化连续语音表示RedAE：核心创新点在于训练阶段引入语义教师模型，将语义信息直接蒸馏进连续语音表示中，无需额外挂载语义模块或设计复杂的多阶段训练流程，让语音表示同时编码语义与细粒度声学细节，有效抑制自回归生成中的误差累积问题。
• LLM+DiT混合架构：Backbone基于Qwen3-1.7B初始化，继承文本大模型的指令跟随与语义理解能力，先自回归建模文本token与语音latent patch的联合序列，再通过DiT模块做patch级去噪生成最终语音表示，全程保持时间连贯性。
• 双版本差异化设计：Base版本面向多语言、多方言克隆场景，使用CAM++提取说话人嵌入作为条件，强化音色一致性，训练数据覆盖260万小时中英文语音与56万小时多语种方言数据；Instruct版本面向统一的克隆、设计、编辑任务，采用ChatML格式通过不同system prompt区分任务类型，关键设计为“先规划再合成”，声音设计时会将自由描述拆解为12个具体声学属性，语音编辑时会生成目标转录与编辑区域掩码，实现精准控制。

FireRedTTS3项目地址

• GitHub仓库：https://github.com/FireRedTeam/FireRedTTS3

FireRedTTS3核心功能

• 零样本音色克隆：仅需几秒目标说话人的参考音频，无需任何微调即可复刻其音色与说话风格，支持跨语言、跨方言内容生成。
• 自然语言声音设计：输入自然语言描述即可生成全新的、不存在的声音，支持对音色、语速、风格等维度的精准控制。
• 语义级语音编辑：可对已有语音进行插入、删除、替换字词等操作，修改后的内容与原语音的韵律、音色完全融合，无明显拼接痕迹。
• 声学参数编辑：支持调整指定片段的语速、音高、音量等声学参数，未修改部分保持原样不变。
• 多轮对话语音生成：支持多说话人音色稳定切换，韵律自然流畅，适用于播客、对话场景的语音生成。

FireRedTTS3应用场景

• 内容创作与配音：短视频、有声书、动画、广告的配音制作，支持多语言多版本快速适配，可定制专属音色降低配音成本，也可对已有录音进行快速修改，无需重新录制。
• 本地化与教育：多语言学习材料、方言内容制作，适配不同地区用户的语言需求，支持教育场景的个性化语音内容生成。
• 智能交互场景：智能客服、虚拟助手、聊天机器人的语音生成，可生成自然、带情感的对话语音，提升交互体验。
• 个性化语音产品：游戏角色配音、AI伴侣定制音色、播客生成等场景，满足用户对个性化声音的需求。