dots.tts.edit V1.1 – 小红书开源语音编辑模型

配音录完了，人名错一个字;整段语气都对，只有中间某句语速偏快、某处停顿短了半拍。过去这类问题要么回棚重录，要么在剪辑软件里反复剪切拼接。小红书升级发布端到端精确语音编辑模型dots.tts.edit V1.1.面向的正是这种场景：在转录文本上选中词句，写下要改的内容和声音参数，模型重新生成整段语音，只动被指定的部分，其余内容、音色与听感尽量维持原样，多处修改也能一次完成。

dots.tts.edit V1.1特点

用指令说话，不拖波形

模型采用与转录文本对应的半形式化编辑指令，把每一步操作直接绑定到具体词句或词边界上，说清”改哪里、怎么改”。参数既可以是语速倍率、音高变化这类数值，也可以是自由形式的自然语言描述，比如把某句改成”轻松兴奋的语气”。

只改该改的地方

未选中的区域在内容、时长、音高和说话人特征上尽量保持原状，编辑区前后衔接自然，避免出现拼接痕迹。

多项操作一次完成

改词、调情绪、变速、加停顿可以组合进同一条指令，由一次生成输出结果，省去反复来回导出导入的环节。

不需要强制对齐

模型基于自回归架构工作，不要求输入语音与文本的精确时间对齐，也无需单独预测时长，靠结束信号自行判断何时停止生成。所有编辑类型共享同一个模型权重。

配套东西一起开放

论文、模型权重、推理代码、可本地部署的编辑应用、训练数据构造管线、doteBench 评测集与演示页面一并开源，社区可以复现、评测，也能拿数据管线去做自己的研究。

评测成绩靠得住

在自建的 doteBench 上，V1.1 在五类编辑场景的指令执行与局部保持上整体领先，音频质量与参与对比的开源系统相当;逐步组合编辑设置下，整条指令全部完成的成功率为 42.92%，是已有开源模型中最好成绩 18.33% 的两倍以上。第三方评测 SpeechEditBench 中，文本、情感、韵律编辑的联合成功率分别为 94.00%、15.07% 和 91.50%，其中韵律编辑超过了论文里参与比较的闭源系统。主观听测中，指令遵循与局部保留两项的平均偏好评分也高于基线模型。

dots.tts.edit V1.1技术原理

基座是连续自回归架构

dots.tts.edit 沿用 dots.tts 的技术路线，整条链路不使用离散语音 token，模型在 AudioVAE 的连续隐空间中逐块生成语音，再还原为 48kHz 波形，避开离散量化造成的信息损失。生成过程以大语言模型为中枢，配合自回归流匹配头逐步去噪产出下一个声学片段，并由说话人编码器提供的全局音色向量保持音色一致。

编辑被当作条件生成任务

源录音、源转录、编辑指令与推导出的目标转录共同构成上下文，由同一个模型直接输出编辑后的完整语音。文本条件与连续语音潜表示被纳入统一的条件生成框架，模型既理解局部修改目标，也能利用整段录音的上下文信息。

半形式化指令兼顾可靠与灵活

指令结构与转录一一对应，目标明确、可检查，保证操作描述可靠;参数位保留自然语言接口，为后续扩展留出空间。

数据构造管线解决”成对样本难找”

自然录音里几乎不存在”只改一处、其余完全不变”的配对音频;分别合成前后两段容易引入音色与节奏的无关变化，直接拼接局部片段又会衔接生硬。管线围绕明确的编辑操作生成样本，尽量复用周围语音、修复局部衔接，再筛选出编辑准确且听感自然的样本。多类编辑共同训练，并混入语音合成数据，让模型学会编辑的同时保留原有的合成能力。

评测基准同步建立

doteBench 为中英双语，从指令执行、局部保持、音频质量三个维度打分：看目标文本、情绪、语速、音高、停顿是否按要求变化，看未指定区域是否保住，看整体听感与编辑区衔接是否自然。基准还支持逐步编辑评测，每一步以上一步的输出为输入，检验连续多次修改后的稳定性。

dots.tts.edit V1.1项目地址

• GitHub仓库：https://github.com/studio-dots-ai/dots.tts

配音与有声书后期

人名、地名、数字读错，或某句语气不到位，改指令即可，不必召集配音演员重录整段。

播客与视频口播修音

删掉口误、补一个停顿、把某段语速放慢，导出后仍保持同一把声音的连贯感。

广告与营销音频出多版

同一底稿替换产品名、卖点措辞或调整节奏，快速产出多个投放版本。

影视、游戏与动画台词调整

局部改词或改情绪时，角色音色与表演状态不至于被整体重生成打乱。

课程与课件音频维护

知识点更新时只改动相关句子，长音频资产可以持续小步迭代。

语音研究与数据生产

数据构造管线与 doteBench 可用于训练样本制造、编辑能力评测与新方法对比。