16 张参考图、1600 万像素原生直出:H3 官方图像底座把生成和编辑合成一个模型

16 张参考图、1600 万像素原生直出:H3 官方图像底座把生成和编辑合成一个模型

1周前
duguying
4 阅读
来源:HuggingFace

MiniMax 放出 H3 家族的官方图像权重:33.1B 扩散 Transformer 一个 checkpoint 同时管文生图和图像编辑,16 MP 原生出图不靠超分,编辑模式最多吃 16 张参考图,6 步无 CFG 即可出片。

相关标签

#HuggingFace#人工智能#MiniMax#文生图#图像编辑

16 张参考图、1600 万像素原生直出:H3 官方图像底座把生成和编辑合成一个模型

MiniMax 把 H3 家族的图像分支做成了开源权重。它想解决的不是”再做一个出图好看的文生图模型”,而是把生成和编辑这两件在工程上长期分属两条流水线的事,压进同一个 checkpoint:同一个 33.1B 的扩散 Transformer,既接受纯文字描述出图,也接受最多 16 张参考图做编辑。

它到底在做什么

任务类型标的是 text-to-image,但标签里还挂着 image-to-image 和 image-editing。翻译成实际用法就两件事:

  • 文生图:给一段详细的英文画面描述,输出一张 PNG。
  • 图像编辑:给一段描述加一到多张参考图,图片按上传顺序在提示词里对应 <Picture 1>、<Picture 2>……,输出编辑后的结果。

尺寸上它刻意避开了”1–4 MP 出图再超分”的常规路径:常用档位从 4096×4096(1:1)到 6272×2688(21:9),有效工作区间 4–20 MP,官方说 16 MP 附近效果最好。这个量级对商业设计、游戏美术、印刷物料是刚需——一张 4096 见方的图能直接进排版,不必再过一道放大。

三个值得注意的工程选择

一是 6 步、无 CFG。 checkpoint 被蒸馏到 6 个采样步(6 NFE),num_inference_steps 只能填 6,guidance_scale 只能填 1,填别的服务端直接返回 HTTP 400;negative prompt 也不支持。参数写死看着不灵活,对跑推理服务的人反而是好事:请求形状固定,批处理与显存规划好算。

二是结构上做减法。 DiT 是 33.1B 的 50 层 dense 单流 Transformer(hidden 5376、56 个注意力头、FFN 14336、3D 多模态 RoPE),本质是把 H3-Omni-Transformer 的音频分支摘掉;文本编码器原样复用 MiniMax-H3 的完整 Qwen3-VL(DiT 读取它第 50 层的隐状态);VAE 是 CNN 编码器加 24 层 2D ViT 解码器,16 倍空间下采样、24 个 latent 通道,DiT 再做 2×2 patch,等于一个 token 覆盖 32×32 像素。

三是权重拆开托管。 仓库 68.65 GB,其中 Transformer 66.28 GB(BF16,embedding / timestep / 输出层为 FP32)、VAE 2.34 GB;66.7 GB 的文本编码器不重复打包,从 MiniMaxAI/MiniMax-H3 的 text_encoder/ 目录加载——已经下过 H3 的人不用再拉一遍。

怎么跑起来

SGLang、vLLM-Omni、diffusers、ComfyUI 四条路都有现成 recipe。单卡起服务一行够用:

sglang serve --model-path MiniMaxAI/MiniMax-H3-Image --host 0.0.0.0 --port 30000 --warmup-mode off

要压延迟就用 Ulysses 序列并行把一次请求拆到多卡(--ulysses-degree 4,vLLM-Omni 里是 --usp 4)。接口对齐 OpenAI 风格:文生图打 /v1/images/generations,编辑打 /v1/images/edits(参考图走 multipart 上传),都从 data[0].b64_json 取 PNG。ComfyUI 用户可以直接用 Comfy-Org/MiniMax-H3-Image 那个重打包的单文件版本,省去自己拆权重。

有一个容易漏掉的前置步骤:模型期望的是一段详细的英文画面描述,不是一句短提示。官方线上会把短句先过 H3-Image-Context-IR 扩写;本地可以部署可选的 MiniMax-H3-Image-PE(NVFP4,17.9 GB)顶替。跳过这步,出图质量会明显掉档。

谁该关心

需要大幅面素材的设计与美术团队;以及正在做图像编辑产品的开发者——尤其是现在用”一个生成模型 + 另一个编辑模型”拼流水线的人。一个权重同时管两件事,意味着少维护一套管线、少对齐一次画面风格。

许可要留神:MiniMax-H3-Image Community License 与原始 H3 协议不同,年营收超过 100 万美元、或对外提供托管服务的,需要单独向 MiniMax 申请书面授权。

模型地址:https://huggingface.co/MiniMaxAI/MiniMax-H3-Image

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯