VeriSpoof – 面向语音取证的开源音频大语言模型

VeriSpoof是专注语音取证领域的开源音频大语言模型,由墨尔本大学研究团队研发,2026年发布对应技术报告。模型以单套权重覆盖真伪鉴别、生成系统溯源、同源录音判定、信道影响分析与可解释推理五类任务,不需要为单个任务设置专属检测头。在Speech-DF-Arena 14项测试集中取得2.14%的综合等错误率,总榜排名第三、开源权重模型排名第一,对局部拼接伪造的识别能力远超传统单步检测方案,低资源需求的设计也让部署与二次开发门槛更低。

VeriSpoof - 面向语音取证的开源音频大语言模型

VeriSpoof特点

统一架构覆盖多类取证任务。同一个模型可以处理真假判断、来源识别、同源比对、信道分析、理由输出等不同需求,不需要切换多个专项检测工具,使用流程更简洁。

开源权重性能处于第一梯队。公开可用的版本在主流深度伪造检测基准中领先所有同类型开源方案,综合表现接近闭源商用系统,研究与落地都可以直接使用。

可解释的检测输出。模型不会只给出单一分数,还会输出结构化的判断依据,每条结论都可以对应波形测量结果、标注信息等客观数据核验,检测过程透明可追溯。

局部伪造识别能力突出。加入推理流程后,对局部编辑伪造的音频识别准确率从 78.4% 提升至 99.6%,可以精准定位合成片段的时间范围,应对更隐蔽的伪造手段。

训练与部署资源门槛低。整个训练过程仅更新 2970 万参数,占底座模型的很小一部分,单张 24GB 显存的显卡即可完成完整训练。推理阶段对硬件要求不高,适配批量检测的落地场景。

VeriSpoof技术原理

模型整体采用音频编码器加大语言模型的两级架构,整个体系分为感知、读出、推理、忠实性保障四个核心部分,所有任务共享同一套模型权重。

感知层由 Qwen3-ASR 编码器实现,对 8 秒长度的音频窗口做双分辨率编码。25 层特征经过加权融合与 DoRA 微调后,生成两类 token。16 个全局话语 token 对应音频的稳定源特征,用于判断生成系统属性。52 个帧 token 每帧对应 0.16 秒,带时间标记,用于定位伪造片段的具体位置。

读出层基于 MiniCPM5-2B 底座,通过 LoRA 微调适配取证任务。所有任务都没有独立的输出头,检测分数由模型输出答案句子的对数似然度差值计算得出。这种设计可以灵活适配任意阈值的使用需求,也能自然支持开放式的推理输出。

推理输出采用接地设计,每一项结论都对应客观校验标准。观测项匹配波形测量的信噪比、音量、削波等数据,信道状态匹配录音的环境标注,定位结果匹配伪造片段的时间标注,来源画像匹配生成器的元数据。所有理由都不是生成式的自由表述,而是基于音频本身的可验证信息。

忠实性通过反事实训练机制保障。训练中 20% 的样本会反转伪造定位结论,只训练后续的决策逻辑,让模型学会让结论跟随证据变化,而不是生成与音频无关的表述。经过训练后,面对从未见过的编辑形式,模型也能保持很高的决策跟随度。

整个训练过程分为三个阶段推进。第一阶段冻结大语言模型,只训练编码器与 tokenizer,完成感知对齐。第二阶段加入大语言模型的 LoRA 参数,训练各类取证问答任务。第三阶段加入推理输出与反事实样本,完成接地推理能力的调优。

VeriSpoof项目地址

  • 项目官网:https://swagshaw.github.io/verispoof/
  • GitHub仓库:https://github.com/swagshaw/verispoof

VeriSpoof功能

语音真伪检测。输入单段音频即可输出伪造概率分数与最终判定,支持直接调用接口获取结果,适配批量筛查场景。

生成系统溯源。可以识别音频对应的生成器、声学模型、声码器类型,也支持用户自定义候选列表做匹配判断,追溯伪造音频的技术来源。

同源录音比对。输入两段音频即可判断二者是否来自同一个生成系统,即使训练中从未见过该生成架构也能完成比对,适配批量内容的来源聚类需求。

信道环境分析。可检测音频中的噪音、混响、编码压缩等信道影响,判断录音经过的后期处理,辅助评估音频的原始程度。

可解释推理输出。除最终结论外,还能输出完整的结构化理由,包含观测数据、信道状态、伪造定位、来源画像等内容,每条信息都可对应音频特征核验。

局部伪造定位。可以精准标注音频中合成片段的时间范围,输出逐 token 的伪造概率曲线,应对片段拼接、局部修改等隐蔽伪造手段。

VeriSpoof应用场景

司法音频存证核验。辅助鉴定机构核验语音证据的真实性,判断是否经过合成、编辑,结合可解释输出为鉴定流程提供技术参考。

平台内容安全审核。音频、短视频平台可以用它批量筛查深度伪造语音内容,识别 AI 生成的违规音频,降低人工审核的工作量。

媒体内容事实核查。新闻与事实核查机构可借助工具验证语音素材的真伪,追溯可疑音频的生成来源,保障发布内容的真实性。

音频取证学术研究。作为开源基准模型,支撑深度伪造检测、来源溯源、可解释取证等方向的研究,也可作为基线方案对比新算法效果。

企业内部内容风控。企业内部沟通、对外发布的语音内容可做前置检测,防范伪造语音冒充身份、传播虚假信息带来的风险。

VeriSpoof同类产品对比

表格

产品开发方产品类型核心亮点适用场景
VeriSpoof墨尔本大学开源音频取证大模型单模型统一语音深伪检测、生成器溯源、伪造片段定位、声源核验,输出可核验解释,开源权重 EER 表现领先音频鉴伪、语音取证、AI 语音安全研究
AASIST韩国延世大学音频深度伪造检测模型经典轻量音频鉴伪基线模型,推理速度快,社区广泛复用,主打真假二分类实时语音风控、快速音频初筛、学术基线对照
© 版权声明
为这篇文章评分
9.3/ 10
3 人评价
点击⭐️进行评分

相关文章

暂无评论

none
暂无评论...