项目手记 · 06

在 Mac 上把 MOSS 图像模型从八分多钟压到 46 秒

官方方案在 Mac 上出一张图要八分多钟,基本没法日常用。我用 MLX 和蒸馏 LoRA 把它压到了约 46 秒,手部和透视跟官方一样好。

MOSS 图像模型本地推理 · 模型推理优化 · Apple Silicon

为什么做

我想在自己的 Mac 上跑 MOSS 图像模型,但按官方方案,生成一张 1024² 的图要 509 秒,也就是八分多钟,慢到根本没法正常用。所以我决定自己动手优化一轮。

选框架

我先对比了 MLX、PyTorch MPS 和 stable-diffusion.cpp 在 Mac 上的表现,最后选了 Apple 自己的 MLX。

减少步数

官方方案默认是 50 步加 CFG。我接入了一个 8 步的蒸馏 LoRA,把单张图的时间从 509 秒砍到了约 46 秒,而且最容易出问题的手部和透视,效果依然和官方 50 步一样好。

再快一点

接着我往底层又抠了一步,把 LoRA 沿 K 维拼接进基座的矩阵乘法里,单张又快了约 11%。提示词扩写直接复用文本编码器的权重,只多占约 1 GB 内存。

做成能用的东西

光跑通还不够,最后我把它做成了 ComfyUI 节点、网页和 Mac 菜单栏应用,点开就能用。