
从分词器写到 Agentic RL:MiniMind-3 把 64M 模型的训练链路全摊开
从分词器到预训练、SFT、DPO、RLAIF 再到多轮工具调用的强化学习,MiniMind-3 把 64M 小模型的完整训练链路全部用 PyTorch 原生实现摊开给你看,单卡 3090 就能跑完微调。
相关标签
想搞懂大模型是怎么被训练出来的,通常有两条路:读论文,或者调别人的 API。前者抽象,后者隔着一层。MiniMind 走的是第三条——给你一份从零实现、能在一张 3090 上跑完的完整训练代码,从分词器一路做到 Agentic RL。
这个项目 2024 年 7 月开源,两年多时间攒到 6.6 万 star,今天又出现在榜单上。它的主线版本 minimind-3 于今年 4 月发布,Dense 版约 6400 万参数,MoE 版约 1.98 亿参数、激活 6400 万,结构对齐 Qwen3 / Qwen3-MoE 生态,并且去掉了 shared expert 设计。配置表里写得很清楚:8 层、d_model=768、4 个 KV head 对 8 个 Q head、词表 6400、max_pos 32768、rope_theta 1e6。
“2 小时、3 块钱”指的是哪一段
这两个数字被引用得最多,也最容易被误读。README 里给了限定:2 小时是 SFT 阶段在单张 NVIDIA 3090 上跑完 1 个 epoch 的实测耗时,3 块钱是对应时段的 GPU 租用成本。也就是说,它承诺的不是”两小时训出一个能打的模型”,而是”两小时能亲手走完一遍微调流程”。预训练仍然是必须的一步,只是数据被精简成了 pretrain_t2t_mini.jsonl 这种可以快速复现的规模。
训练链路里,Agentic RL 是这一版的重点
minimind-3 相比上一代改了不少地方,最值得看的是三处。
第一处是新增原生 Agentic RL 训练脚本 train_agent.py,支持多轮 Tool-Use 场景下的 GRPO 与 CISPO。第二处是 Tool Call 能力不再单独训练,而是直接混进 sft_t2t / sft_t2t_mini 主线数据,默认的 full_sft 权重就具备基础工具调用能力,配套的 serve_openai_api.py 和 web_demo.py 也补上了 tool_calls、reasoning_content、open_thinking 三个字段。第三处是 RLAIF 与 Agentic RL 的训练流程做了 rollout engine 解耦,生成后端可以换。
同时,独立的 train_reason.py 被移除,思考能力统一交给 chat_template 里的 <think> 标记和 open_thinking 开关控制。分词器也换成了 BPE + ByteLevel,并预留了 buffer token 方便后续扩展——词表仍然只有 6400,作者的解释是:对小模型来说,词表大小直接决定 embedding 与输出层的参数占比,压缩词表比追求编解码效率更划算。按 README 的实测,中文大约 1.5~1.7 字符/token,英文 4~5 字符/token。
刻意不用高层封装
整个项目的立场很明确:核心算法都用 PyTorch 原生实现,不依赖 transformers / trl / peft 提供的高层抽象。LoRA 是从零实现的,DPO 是从零实现的,PPO / GRPO / CISPO 也是从零实现的,白盒蒸馏同样原生。作者在 README 里把理由写得很直白——十几行代码就能跑完”加载模型、加载数据、推理、强化学习”,效率很高,但也把人和底层实现隔开了。
代价是这份代码不追求工程上的优雅:MoE 用的是 4 experts / top-1 这个”甜点配置”,作者自己也承认,专家数继续加上去之后,原生 PyTorch 训练的 kernel 启停和调度开销会让它比同尺寸 Dense 模型慢很多,只能靠 Triton 自定义 kernel、DeepSpeed-MoE、Megatron-LM 这类方案去优化——而这个项目选择保留原生实现的普适性,所以只做到”比 Dense 慢 50% 左右”。
训完的模型能接进哪些工具
权重同时发在 Hugging Face 与 ModelScope 上,ollama run jingyaogong/minimind-3 一行就能跑,vLLM 也可以直接 serve。训练侧支持单机单卡与单机多卡(DDP、DeepSpeed),可视化从 WandB 换成了对国内更友好的 SwanLab,所有训练脚本都支持 --from_resume 1 断点续训,能跨不同 GPU 数量恢复进度。评测支持 C-Eval、CMMLU、ARC-Easy、PIQA、OpenBookQA、HellaSwag、Social-IQa 等数据集,长文本外推走 YaRN。
此外还有几个衍生项目:视觉版 MiniMind-V、多模态 Omni 版 MiniMind-O、扩散语言模型 MiniMind-dLM、线性注意力版 MiniMind-Linear。对想改结构做实验的人来说,64M 这个量级的好处是单卡改一次结构、跑一轮训练、看一次 loss 曲线,一个下午就能闭环。
把它当榜单项目看没什么意思——6.6 万 star 里绝大多数是来学的,不是来用的。它更像一门用代码写成的课:每一行都能读,每一步都能跑,跑完你就知道 loss.backward() 之前到底发生了什么。
更多资讯
想看更多优质内容?
浏览所有资讯