
800M 参数只动 100M:ZONOS3-Mini 让浏览器直接合成 44.1kHz 语音
Zyphra 开源的语音合成模型总参 800M、每 token 只激活约 100M:支持 43 种语言、参考音频音色克隆与词级情绪控制,能在浏览器 WebGPU 里离线运行,单卡 H100 八并发首音频 80 毫秒。
相关标签
语音合成这条线最贵的一环从来不是模型本身,而是它必须跑在云上:一次朗读要经过编码、推理、解码、回传,才有声音出来。ZONOS3-Mini 想砍掉的正是这一段——它把 800M 参数、每 token 只激活约 100M 的 TTS 模型做成了能在浏览器里直接跑的东西,用户第一次访问时下载权重,之后就缓存在本地,不再经过任何服务器。
先弄清它是什么
输入是文字,输出是 44.1 kHz 的语音波形。用法有两条:
一条是克隆。给一段 60 秒以内的参考录音,模型把音色搬过来,不需要这段录音的文字转写;参考也可以换成单个 192 维的说话人嵌入向量(ownmect_s2),适合只有头像或只有历史音频片段的场景。
另一条是设计。不给参考音频,直接调年龄、口音、音质,捏出一个不存在的角色;音频生成出来之后,响度(LUFS,10 档)、带宽(f_max,10 档)、语速(UTF-8 字节/秒,30 档)三个控制项各自可以单独调,情绪、节奏、停顿能压到词级。
支持 43 种语言,包括中文、日文、韩文、印地语、阿拉伯语、土耳其语、越南语、泰语,以及南亚的孟加拉语、泰米尔语、泰卢固语、马拉地语、古吉拉特语、卡纳达语、马拉雅拉姆语、旁遮普语、奥里亚语、乌尔都语。
800M 里只动 100M 是怎么做到的
主干是 11 层、模型维度 1,024 的 latent MoE:64 个专家、top-2 路由,从一开始就启用。总参数 800M,但每个 token 只走约 100M。序列混合用了 9 层 Gated DeltaNet 加 2 层全局注意力(16 头 × 32 维,4 个 KV 头),上下文 32,768 位置。
音频侧是 15 Hz、44.1 kHz 的双编码码本,10 个 4,096 项码本里 1 个是从 Wav2Vec2-BERT 教师蒸馏出的语义本、9 个是声学本。解码端不是一次性生成长序列再声码器转换,而是因果多分辨率 iSTFT 头——每一帧的最后一个码本一出来,这一帧立刻就渲染成波形,所以流式播放才有意义。单次生成最长 10 分钟。
文本前端做了 NeMo 归一化,覆盖英、中、日、韩、德、西、法、意、葡,其他语言原样通过;分词器是 8,192 项的 SuperBPE。
性能:80 毫秒出声,一秒能合成 457 秒音频
官方给的对比口径比较实在:质量由宏观说话人相似度和宏观 WER 合成,覆盖 ZTTS2-Eval 的 55 个语言子集(35 种语言的 FLEURS-R 朗读 + 20 种语言的 VoxBlink2 野外录音),在同一个坐标系里跟其他系统并列比较。
在单张 H100 80GB 上,8 并发时首音频延迟中位数 80 ms;在各自最佳并发下,峰值吞吐是每秒合成 457 秒音频——也就是一条 H100 能同时撑住近五百路实时流。
怎么跑
三条路都已铺好:
浏览器端走 WebGPU,全程跑在用户自己的 GPU 上,不装任何东西;Zonos Voice Studio 提供完整工作台与精简版(选音色、上传或录音、直接说话)。
服务端走 SGLang-Omni,挂的是 OpenAI 兼容的 /v1/audio/speech:
sgl-omni serve --model-path Zyphra/ZONOS3-Mini --port 8000
请求里加 "references": [{"audio_path": "<参考片段>"}] 就是克隆,加 "stream": true, "response_format": "pcm" 就是边生成边回传 44.1 kHz 音频。
原生运行时在 Zyphra 自己的 GitHub 仓库里,四种后端共用一套 HTTP API:NVIDIA GPU 的 CUDA 服务、Apple Silicon 的 MLX 服务、C++/ggml 服务与命令行(CPU、CUDA、Metal、Vulkan 都支持),以及浏览器里那个 WebGPU 构建。它们加载的是同一个仓库里的 GGUF 权重和 WebGPU 分片;27 个按语言分组的默认音色单独放在 gguf/voices/。
值得注意的地方
一是 100M 激活换来的不只是速度,还有部署形态的松动:语音助手的唤醒词、游戏的实时配音、无障碍朗读,这些场景过去必须联网,现在可以完全离线。二是音色克隆的合规边界——Apache 2.0 的权重意味着任何人都能拿它克隆任何声音,作者把这条责任留给了使用者,接入方需要自己补上授权与鉴权。三是 10 分钟的单次上限和 32K 上下文决定了它更适合片段式生成,整本有声书仍然要自己切章。
对正在把 TTS 从云 API 迁回端侧的团队,这是一个不用改架构就能试的选项:同一套权重,浏览器、CUDA、Mac、甚至纯 CPU 都能起。
更多资讯
想看更多优质内容?
浏览所有资讯