1 GB 内存跑 256K 上下文:Liquid AI 的 1.7B 小模型想当手机里的 Agent 大脑

1 GB 内存跑 256K 上下文:Liquid AI 的 1.7B 小模型想当手机里的 Agent 大脑

1周前
duguying
3 阅读
来源:HuggingFace

LiquidAI 开放 LFM3-1.7B:4-bit 约 1 GB 内存、256K token 上下文、原生工具调用,专为本地 agent 与端侧部署而生。

相关标签

#HuggingFace#人工智能#端侧模型#Agent

端侧 Agent 一直卡在一个尴尬的平衡点上:模型太小不会用工具,模型够用又塞不进手机。Liquid AI 刚刚开放的 LFM3-1.7B 给出了一个激进答案——1.73B 参数、4-bit 量化后约 1 GB 内存,却带着 256K token 上下文和原生工具调用,目标就是当手机和笔记本里的 Agent 大脑。

它是做什么的

LFM3-1.7B 是一个面向本地 agent 和垂类应用的对话文本模型,基于 Liquid AI 新的 tri-hybrid(三混合)架构:24 层里混合了 13 层门控短卷积、5 层滑窗注意力和 6 层全局注意力。输入是用户消息和工具 schema,输出是回答、XML 格式的工具调用和结构化数据——也就是说,它从小模型的体量出发,按 agent 的用法去训练,而不是先做聊天再硬凑工具能力。

上下文窗口为 256K token(输入加输出合计),词表 128,000,官方支持中、英、日、韩、法、德等 16 种语言。模型已经针对 Hermes Agent、Pi、OpenClaw 等 agent harness 做过后训练,接上这些框架就能直接干活。

小,但有分寸

官方对能力边界说得毫不含糊:知识密集型任务建议外挂检索;因为体量小,不建议用于 agentic coding 或复杂多步推理。这份自知之明反而让定位很清晰——它抢的不是推理旗舰的活,而是”设备上常驻、响应快、隐私不出本机”的那类任务:调用工具、按格式产出结构化结果、在垂类场景里当一个被微调过的专用助手。

部署侧的选择也铺得很开:transformers 之外,提供 Apple Silicon 4-bit、ONNX Runtime、Intel 4-bit 等多套检查点,CPU 和 GPU 都能跑。采样参数也直接给到——通用任务用 temperature=0.1、top_k=50、重复惩罚 1.1,数学和 STEM 任务切换到 temperature=1.0、top_p=0.95。想让它适配自己的领域和工具格式,单张 GPU 快速微调即可。

为什么值得看

在”小模型能不能当 agent”的争论里,LFM3-1.7B 摆出的数据点很鲜明:1 GB 内存 + 256K 上下文 + 原生工具调用,三者同时成立并不常见。对做端侧 agent、私有化部署或者批量微调专用助手的团队来说,它提供了一个”基座够小、agent 能力不缺位”的起点。它当然替代不了 70B 级模型的推理深度,但在”把 agent 塞进口袋”这条路上,这可能是目前最完整的一块拼图之一。

模型地址:https://huggingface.co/LiquidAI/LFM3-1.7B

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯