Hy-SimulMT – 腾讯混元流式同传翻译模型

Hy-SimulMT出自腾讯混元开源项目，面向同步口译场景构建流式多模态翻译系统，支持语音分片输入并逐段产出译文，区别于等待整句结束再翻译的传统方案。模型支持语音、文本双路输入，内置自适应断句策略，控制输出延迟，适配线上会议、直播转播等实时业务。项目在GitHub开源，配套推理代码、示例配置文件与评测脚本，可在GPU服务器部署，也支持量化后在资源有限的设备运行，处理带口音语音、夹杂专业术语的对话内容时保持译文连贯性。

Hy-SimulMT特点

流式解码逻辑支持增量接收音频分片，持续推送翻译文本，无需等待完整话语结束。

语音与文本两路输入可互补，前置字幕文稿参与推理，降低噪声带来的语义偏差。

内置可控的等待策略，调节译文输出滞后时长，适配不同业务对延迟的要求。

支持多语种方向，中英文互译为核心方向，可扩展其他语言组合。

输出携带时间戳信息，直接对接字幕制作流程。开源代码提供基准实现，可基于项目代码修改断句、对齐规则。

Hy-SimulMT技术原理

模型由语音编码器、源端文本编码器、增量翻译解码器协同组成。

音频信号切分为固定长度的时序分片，编码器提取声学特征，和文本特征做融合表征。

内部维护历史上下文状态，新分片传入时更新表征，保留前文语义，不重复计算全部历史序列。

同步翻译策略库包含多种等待模式，控制解码器触发翻译的时机，在时延和译文完整度之间形成不同档位。

训练数据取自会议对话、演讲录音、直播字幕，完成语音片段、源文本、目标译文的时序对齐标注。

Hy-SimulMT项目地址

• GitHub仓库：https://github.com/Tencent-Hunyuan/Hy-SimulMT

Hy-SimulMT功能

接入实时音频流生成带时间戳的翻译文本。

读取前置文稿或者实时字幕，和语音翻译结果做融合输出。

导出标准字幕格式文件，用于视频后期处理。

批量离线处理音频文件，生成同步双语字幕。

对外提供流式调用接口，接收分片输入，持续返回译文。

自定义断句参数，适配演讲、对话等不同说话节奏。

Hy-SimulMT应用场景

跨国线上会议搭建实时字幕通道。

跨境直播生成同步翻译字幕。

线上学术论坛、行业宣讲的内容转译记录。

课程视频批量制作双语字幕素材。

线上展会、远程商务沟通的文字翻译输出。

技术研究方向开展同传算法对照实验。

Hy-SimulMT如何使用

访问项目 GitHub 仓库，克隆完整代码库至本地设备。

按照文档清单搭建 Python 运行环境，安装音频处理、深度学习框架相关依赖。

下载官方发布的预训练权重，放置到项目指定目录。

修改配置文件，设置源语言、目标语言、音频采样参数、等待策略。

运行推理脚本，选择音频文件离线模式或者麦克风、拉流地址的实时流模式。

查看控制台输出译文与时间戳，执行导出指令生成字幕1文件。

基于代码修改推理链路，封装接口接入直播、会议类业务程序。