
65 毫秒接上话:4B 模型学会一边听一边说,被打断也不卡壳
4B 参数的全双工语音基础模型:每 133 毫秒同时处理听说两路信号,MacBook M1 Max 端到端延迟约 65 毫秒,4000 万小时真实语音预训练,权重 Apache-2.0。
相关标签
打网络电话时最烦的其实不是延迟,是那种”你说完、它才开口”的节奏感。higurashi.ai 开源的 Haru-4B 想拆掉的就是这一层:它是一个 4B 参数的全双工语音模型,说话的时候还在听,被插话能立刻收声,等你说完再续上。
它是做什么的
任务类型是 audio-to-audio——语音进、语音出。模型每 133 毫秒(7.5 Hz 的帧率)吃进一帧用户音频(24 kHz、3200 个采样点),同时吐出等长的一帧自己的音频加一小段文本。三路信号(用户音频、模型音频、模型文本)的 embedding 直接相加,塞进同一个语言模型的一个位置。
这一点是它和多数开源语音模型的分野。常见做法是把三路流按 token 交织成一条序列,模型得排队处理”听”和”说”;Haru 把三路压在同一位置并行处理,上下文长度降到交织方案的三分之一,文本流也不会被音频打断。所以它不是”更快地轮到你”,而是真的同时在两边。
怎么做到 65 毫秒
音频侧彻底绕开了离散 token。每帧音频是 64 维连续 latent,由一个 4 层 MLP 加 MeanFlow 采样一步生成——没有独立的声学 Transformer,也没有 RVQ 那套多码本索引。推理时每帧只需一次采样步,语音生成退化成”跟着语言模型走”的附属动作。
作者给出的端到端数字是:MacBook M1 Max 上的原生 Swift 应用加定制 Metal 内核,int8 权重约 65.2 ms(输入 5.3 ms、单步推理 34.2 ms、socket 与交接 4.1 ms、输出等待 13.3 ms、输出 8.1 ms),这已包含声学编解码和有线耳机、麦克风的 I/O,但不含音频分帧——分帧本身按 7.5 Hz 计最多再加 133 ms 算法延迟。GPU 侧,B300 上编解码加一步语言模型约 15 ms。服务端门槛也不高:约 12 GB 显存的 NVIDIA 卡就能起服务。
训练数据是它的另一张底牌
Haru-4B 用了超过 4000 万小时真实语音,覆盖 160 多种语言,主力语言九个:英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语、韩语。作者特意写明排除了 LLM 生成的对话和 TTS 合成语音——理由很实在:真实录音里才有自发的打断、犹豫、附和、重叠说话和不规则的话轮边界,而合成对话里这些全被洗干净了。
第二阶段训练用了 1300 万小时分离出来的全双工对话数据,单条最长 60 分钟。这里有个工程难点:真实对话录音大多是单声道混音,没有时间对齐的双通道流。为此团队做了一个联合语音分离与修复模型 FastDialogueSidon(也已开源),把混音拆成时间对齐的全双工流;预处理侧的语音修复用 Sidon,两者都配了 Triton 内核加速。整体预训练跑在 256 张 B200 上约 8 天。
上手方式与边界
代码在 GitHub(higurashi-ai/Haru),含 PyTorch 实现、带网页 demo 的服务端、原生 macOS 的 MLX 应用,以及 vLLM-Omni 插件。跑起来三步:
git clone https://github.com/higurashi-ai/Haru && cd Haru
pip install -e ./haru
python -m haru.server --hf-repo higurashi-ai/Haru-4B
打开 localhost:8998,选角色卡、给一段参考音,就能对话。角色卡是固定版式的文本,定人设;音色靠一段 3 秒到 3 分钟的单人干净录音克隆——模型不内置任何声音,官方也明确要求只用自己有权利使用的声音。想要低延迟,建议全用有线耳机和麦克风,蓝牙设备会平白多出 100 ms 以上。
必须说清楚的限制:Haru-4B 是预训练 base 模型,发布目的是研究。它能自然地聊天,但不是可靠的事实来源,也不像助手那样服从指令。权重 Apache-2.0,基座是 Qwen3.5-4B(32 层、hidden 2560)。作者已经在预训练 100B+ 参数的全双工版本,下一步还要接入实时视频输入,往”能看、能听、能说”的 omni-modal 走。
更多资讯
想看更多优质内容?
浏览所有资讯