R2T2 – 网易有道开源真流式语音识别模型

R2T2 全称 Confucius4‑R2T2，隶属于网易有道子曰 Live 系列，是面向语音智能体场景的开源真流式语音识别模型。传统流式识别会随后续音频不断修改已输出文字，容易造成字幕闪烁、下游模块逻辑异常。R2T2 引入最长稳定前缀机制，确认稳定的文本只做追加输出，不会回溯改写内容。音频分片窗口支持 80 毫秒‑2 秒自定义配置，平均识别延迟维持 200‑600 毫秒，识别精度接近离线转写水平，完整开放代码、权重与网页演示 Demo，支持中英双语，适配云端服务部署和本地硬件量化推理。

R2T2特点

采用 Append‑only 追加输出范式，已经提交的识别文本保持固定，不会被后续音频片段改动。

音频解码分片参数可自由调节，在延迟指标和识别准确度之间灵活取舍。

支持运行时动态注入热词词典，不用重新训练即可提升专有名词识别效果。

同一模型实例同时处理流式实时任务与离线音频批量转写。

社区完成 GGUF 格式量化适配，兼容 audio.cpp、Ollama 等主流本地推理框架。

提供官方在线演示页面，可直接复现中英文样本的同步转写效果。

R2T2技术原理

模型基于端到端语音识别架构，声学编码器将连续音频波形转化为声学特征序列，送入解码器开展 token 解码运算。

训练阶段采用最长稳定前缀学习范式，构建大量带时间对齐标记的流式训练样本，教会模型执行 Commit 提交与 Wait 等待两种决策逻辑。

每接收一段音频分片，模型评估现有解码结果的置信度，置信达到阈值就将文本提交输出；置信不足则继续接收后续音频片段积累证据。

输出层严格约束只允许向后追加 token，禁止修改历史输出序列。推理链路不区分实时与离线两套独立权重，依靠参数配置切换两种工作模式。

R2T2项目官网

• 项目官网：https://r2t2.ai/
• GitHub仓库：https://github.com/netease-youdao/Confucius4-R2T2

R2T2功能

麦克风音频流实时转写，持续接收音频片段输出定稿文本。

中英文语音识别，处理会议、演讲、日常对话等不同类型语音素材。

动态热词加载，优化人名、行业术语、产品名词识别结果。

离线音频文件批量解析，输出完整的转写文稿。

对外暴露流式调用接口，对接上层字幕系统、语音 Agent 业务。

权重支持量化压缩，完成私有化本地部署运行。

提供同步回放工具，查看音频、频谱与定稿转录文本的对应关系。

R2T2应用场景

语音智能体后端服务，为大模型输送稳定文本流，实现用户说话过程中就开展意图解析。

线上会议平台，生成无闪烁的实时会议字幕。直播、线上讲座场景，完成语音内容实时留存归档。

实时同声转译管线，对接 T3PO 流式翻译模型，搭建端到端语音翻译链路。

本地语音工具，电脑端麦克风听写、历史录音文件转写。

企业业务系统，解析客服通话、访谈录音材料。

如何使用教程

访问 r2t2.ai，打开托管演示页面，播放内置中英文样例音频或者上传本地音频快速体验识别效果。前往 GitHub、Hugging Face 或 ModelScope 平台，下载项目源码和预训练权重。

搭建 Python 推理环境，安装音频处理、模型推理相关依赖组件。根据业务设定音频分片窗口参数，加载自定义热词词典。

接入麦克风流或者读取音频文件流，启动推理服务，获取模型输出的定稿文本片段。本地部署场景下载 GGUF 量化权重，在 audio.cpp、Ollama 环境完成加载运行。

业务上线阶段可接入 vLLM 推理后端，配置并发参数，搭建高吞吐流式 ASR 服务。需要搭建语音翻译链路时，直接将 R2T2 输出文本送入 T3PO 模型接口。