把人声从噪声里剥出来,剩下的也还你:Inworld 开源 64M 语音降噪模型

把人声从噪声里剥出来,剩下的也还你:Inworld 开源 64M 语音降噪模型

3天前
duguying
3 阅读
来源:HuggingFace

Inworld 以 Apache-2.0 开源人声隔离模型:64M 参数做 48kHz 全频带降噪,实时版仅 63ms 延迟,剔除的背景声还单独还你一轨。

相关标签

#HuggingFace#人工智能#语音降噪#人声分离#开源模型

把人声从噪声里剥出来,剩下的也还你:Inworld 开源 64M 语音降噪模型

在嘈杂咖啡馆里录的采访、地铁上录的播客、开着风扇的远程会议——这些素材的痛点从来不是”听不清”,而是处理它们要靠昂贵的商业降噪服务。游戏 AI 公司 Inworld 最近把自家生产管线里的人声隔离层直接开源了:模型 voice-isolator,权重与代码全部 Apache-2.0,商用无门槛。

它是做什么的

这是一个语音增强(降噪)模型,任务类型是 audio-to-audio:输入一段带噪声的录音或实时音频流,输出两条 48 kHz 的 float32 WAV——一条是干净人声,一条是被剔除的背景声。两条音轨相加可以精确还原原始输入,也就是说模型对音频做的每一步都是可审计的,不会偷偷”发明”内容。它适合谁:要清洗节目音频的播客和视频团队、需要净化训练数据的语音工程团队,以及要在直播和通话里实时降噪的开发者。

模型一次发布两个检查点,同一架构:离线版 voice-isolator-v1 有 64M 参数,每一帧都能看到完整的 8 秒片段,音质优先;实时版 voice-isolator-v1-realtime 有 58.2M 参数,因果流式处理,仅 20ms 前瞻,算法延迟 63ms,可以直接插进直播与通话管线。

架构与训练

架构上是 STFT 频谱切分方案:48 kHz 输入按 10ms 帧做 STFT,每帧频谱切成 46 个频带(低频窄、高频宽),七个双路径块交替精炼——四块用时间注意力加跨带注意力,三块用 Mamba(时间方向 + 跨带方向,state 16),最后逐频带输出有界的复数掩码和逐 bin 残差,加回输入频谱。输入只需单通道 48 kHz,不需要预先分离或合成。

训练数据约 1 万小时独特音频:朗读与对话、富表现力的角色音、耳语、歌声,连说话人的笑声、呼吸、叹气这些非语言声音都在保留目标之内;噪声侧则混入环境声、交通、雨风、音乐、人群、突发声响与竞争说话人,再叠加实测与仿真的房间冲激响应、电话与编解码退化。

行为设计上有一条明确的边界:它只做降噪(去掉人声周围的一切),不做修复——丢失的带宽不会补回来,官方把修复留给了计划中的 v2。两人同时说话时保留较响者,音量相近通常两人都保留。

上手方式

pip install inworld-voice-isolation 之后一条命令即可:voice-isolate sample_14.wav sample_14_clean.wav,人声与背景声两个文件并排落盘。支持 CUDA、Apple Silicon 的 Metal 后端和 CPU;实时版可以按 20ms 一块地推流。GitHub 上还提供了交互 demo(实时麦克风降噪、波形与频谱图联动)和 VIBE 48 kHz 人声隔离基准。

对一个 64M 参数的模型来说,全频带 48 kHz 加实时流式的组合并不多见;而”剔除的部分完整还给你一轨”的设计,对做后期混音的人来说尤其实用。

模型地址:https://huggingface.co/inworld/voice-isolator

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯