听得懂你的语气,还会叹气回话:开源全双工语音模型首音频快到 0.25 秒

听得懂你的语气,还会叹气回话:开源全双工语音模型首音频快到 0.25 秒

1周前
duguying
5 阅读
来源:HuggingFace

Sophon-Realtime 全双工语音家族:全程听你说话、听得出语气、会笑会叹气,VoiceBench 82.8 居开源全双工第一,E2E 构建首音频约 0.25 秒。

相关标签

#HuggingFace#人工智能#语音模型#全双工

听得懂你的语气,还会叹气回话:开源全双工语音模型首音频快到 0.25 秒

和语音助手说话的体验一直像在对讲机:说完、等它处理、它开始念。Adventists AI 刚上榜 HuggingFace 热门榜的 Sophon-Realtime v1 想把它变成打电话——你说的时候它全程在听,你一停它立刻接话,你中途插话它马上闭嘴,而且它听得出你是迟疑、强调还是在反讽,回答时自己也会笑、会叹气、会清嗓子。

它是什么、怎么用

这是一个 Apache-2.0 开源的全双工语音模型家族,主打语音智能体场景:连续语音进、连续语音出。家族三个构建共享同一个 32B 的”大脑”(负责听、裁决什么时候轮到谁说话、写回复),差别只在回复怎么变成声音。部署走 vLLM-Omni 一条命令;没有 GPU 也可以用官方托管 API,OpenAI Realtime 兼容,注册送 3 小时免费语音聊天。

三个构建,按场景选声口

Tag 是推荐款:大脑写出带声音标签的回复,由表现力语音模型”演”出来,副语言基准 NVV-SuperBench 拿到中文 0.86、英文 0.80,首音频约 0.6 秒,适合陪伴、角色扮演这类需要语气传情的场景。Flash 用更轻更快的语音模型,首音频 0.31 秒,单张 80GB GPU 建议并发 40 用户,适合客服、车载这类拼吞吐的场景。E2E 用约 350M 参数的紧凑 talker 直接生成连续语音向量,首音频约 0.25 秒最快,声音仍然会笑和叹气。

基准给得相当完整

模型卡没有只讲体验:VoiceBench 82.8、Big Bench Audio 81.8%,均为开源全双工模型第一,VoiceBench 与 GPT-4o-mini-Audio 持平;副语言理解 48.6 分 overall 第一,高于 Gemini 3.8 Flash 的 46.9 和 Qwen3-Omni 的 44.6——”听得懂语气”这件事第一次有了横向可比的分数。Full-Duplex-Bench v3 工具调用 Pass@1 48%,高于 Grok 的 43%,且响应率 100%,说明它不只是陪聊,还能干活。

话轮裁决由自研并开源的 DuplexJev 完成;Live 模式兼容 OpenAI GPT-Live 接口,可以挂更大的后端模型;每条回复都附带可审计的文字转写。对做语音陪伴、电话客服或车载交互的开发者,这套”一个大脑、三种声口”的架构让换声口不用换模型——Tag 和 Flash 共享同一套 API,后期切换成本很低。

模型地址:https://huggingface.co/adventists-ai/Sophon-Realtime-v1

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯