文章目录1、前言2、先给下载结论2.1 M4 / 16GB选 it-4bit2.2 M1 Pro / 32GB优先 it-8bit稳妥 it-4bit3、Gemma 4 12B 是今天的新模型26B 不是4、模型名称怎么拆4.1 mlx-community 是什么4.2 gemma-4-12B 是什么4.3 it 是什么5、后缀逐个讲清楚5.1 bf16高精度不适合普通 Mac 日常常驻5.2 8bit32GB Mac 的质量优先选择5.3 mxfp8FP8 格式可以试但不是第一选择5.4 6bit / 5bit中间档但不是最常用5.5 4bit本地模型的主力版本5.6 mxfp4新式 FP4先作为实验项5.7 nvfp4也是 FP4但更不要当第一选择5.8 assistant不是主模型是 MTP 辅助模型6、为什么文件大小不等于运行内存7、在 OMLX 里怎么搜7.1 不要只搜 Gemma47.2 推荐搜索关键词7.3 看结果时按这个顺序判断7.4 命令行下载方式8、一套通用选型规则8.1 先看用途聊天就选 it8.2 再看机器16GB 先 4bit32GB 可 8bit8.3 再看上下文长上下文比模型本体更容易吃爆内存8.4 最后看新格式mxfp / nvfp 先当实验项9、结合这次真实选择再做一次判断9.1 第一组主模型高精度和中高精度9.2 第二组主模型低位量化9.3 第三组assistant 辅助模型10、常见坑10.1 下载了 assistant发现不能聊天10.2 下载了不带 it 的版本觉得不好用10.3 16GB 机器下载了 8bit加载后卡住10.4 看到 26B 下载量高就以为是今天新模型10.5 mxfp4 / nvfp4 加载异常10.6 下载成功但加载失败gemma4_unified not supported11、我的最终选择12、后续升级策略13、参考资料作者介绍AI 应用负责人/AI产品架构师阿里云专家博主。专注 LLM 应用开发、Agent 系统设计、具身智能与工业 AI 落地。日常在大模型训练、Coding Agent 工具链、AI 产品商业化等方向持续输出实战内容。个人主页逐梦苍穹GitHub主页https://github.com/XZL-CODE✈ 您的一键三连是我创作的最大动力1、前言今天在 OMLX 里搜 Gemma 4 12B我遇到一个很典型的问题同一个模型为什么列表里会出现bf16、8bit、mxfp8、6bit、5bit、nvfp4、4bit、mxfp4后面还有一堆assistant更麻烦的是我手上有两台 Mac一台M1 Pro32GB 统一内存一台M416GB 统一内存。这两台机器都能跑本地模型但下载选择完全不同。M4 芯片更新算力不弱但 16GB 统一内存是硬边界M1 Pro 芯片老一点却有 32GB 内存反而能尝试更高精度的量化版本。这篇文章不讲空泛的模型排行榜而是把 OMLX / Hugging Face 里常见的模型名称后缀讲透。读完你应该能自己判断哪个是主模型哪个只是辅助模型it、bf16、8bit、4bit分别代表什么mxfp4、nvfp4这种新式后缀要不要碰M4 16GB 和 M1 Pro 32GB 分别该下载哪个版本在 OMLX 里应该怎么搜怎么避开错误模型。先给结论如果你只是想在 Mac 本地跑 Gemma 4 12B优先下载mlx-community/gemma-4-12B-it-4bit或mlx-community/gemma-4-12B-it-8bit。2、先给下载结论先不绕弯子直接按设备给选择。2.1 M4 / 16GB选 it-4bitM4 16GB 这台机器优先下载mlx-community/gemma-4-12B-it-4bit原因很简单16GB 统一内存的瓶颈不是模型文件能不能下载而是加载后还能不能留下足够空间给系统、OMLX 进程、KV Cache、上下文和其它应用。gemma-4-12B-it-4bit的大小约 10.2GB看起来已经不小但它仍然是 16GB 机器上最合理的第一选择。8bit约 11.8GB表面只多 1.6GB但实际运行时还会叠加 KV Cache 和运行时开销16GB 上容易变得紧张。我的建议是项目建议主模型mlx-community/gemma-4-12B-it-4bit上下文先从 4K-8K 开始多模态图片、音频、视频输入先保守测试不建议bf16、8bit、31B、26B-A4B如果你打开浏览器、IDE、微信、飞书、Docker 一堆应用后再跑模型16GB 会明显吃紧。所以 M4 16GB 的策略不是追求最高精度而是先稳定跑起来。2.2 M1 Pro / 32GB优先 it-8bit稳妥 it-4bitM1 Pro 32GB 这台机器优先下载mlx-community/gemma-4-12B-it-8bit如果你希望更省内存、更快加载也可以下载mlx-community/gemma-4-12B-it-4bit32GB 统一内存给了你更大的容错空间。8bit通常会比4bit保留更多模型质量尤其是在代码、推理、长回答、中文表达稳定性上更值得优先尝试。我的建议是项目建议质量优先mlx-community/gemma-4-12B-it-8bit速度/省内存优先mlx-community/gemma-4-12B-it-4bit测试用途可以试mxfp8、6bit不建议日常用bf16bf16的文件大小约 22.3GB32GB 机器不是完全不能试但它不适合日常常驻。加载模型只是第一步真正推理时还要留空间给上下文、缓存和系统内存压力。3、Gemma 4 12B 是今天的新模型26B 不是这点要先厘清否则很容易下错方向。Google 这次新发布的是Gemma 4 12B Unified。官方发布时间是 2026 年 6 月 3 日按北京时间看就是 6 月 4 日。Google 在发布页里明确说它是放在 E4B 和 26B MoE 之间的中等尺寸模型目标是让本地笔记本也能跑多模态和 Agent 工作流。而Gemma 4 26B A4B不是 Gemma 3也不是错的模型它也是 Gemma 4 家族的一员。但它不是这次新增的 12B而是 Gemma 4 家族早前已经出现的版本。它的重点是 MoE 架构总参数 26B但推理时只激活约 4B 参数所以名字里有A4B。简单说模型是否这次新发定位Gemma 4 12B Unified是新增中尺寸、本地多模态、原生音频输入Gemma 4 26B A4B不是这次新增MoE 版本总参数大激活参数小Gemma 4 31B不是这次新增更大的 dense 版本Gemma 4 E2B / E4B不是这次新增更小的端侧版本如果你想体验“今天 Google 新发的 Gemma 4 新模型”目标就应该是12B不是 26B。Google 官方对 12B 的定义有几个关键词Unified统一多模态架构encoder-free不再依赖独立视觉/音频编码器native audio input12B 是中尺寸模型里首次加入原生音频输入local agentic workflows面向本地 Agent 工作流16GB consumer laptops官方定位里明确提到 16GB 级别消费笔记本。这也是为什么 M4 16GB 这台机器可以考虑 12B 4bit而不是被迫只能跑 4B 以下模型。4、模型名称怎么拆以最应该下载的版本为例mlx-community/gemma-4-12B-it-4bit这串名称可以拆成五段发布者 / 模型家族 - 模型尺寸 - 用途版本 - 量化格式展开就是片段含义mlx-communityHugging Face 上的发布者表示这是 MLX 社区转换版gemma-4Google Gemma 4 模型家族12B约 12B 参数级别的模型itinstruction-tuned指令微调版4bit4 位量化版本对 OMLX 用户来说这五段里最关键的是三个发布者是不是 MLX 相关优先mlx-community其次lmstudio-community这类明确 MLX 的转换。有没有it日常聊天、写代码、问答优先带it。最后的量化后缀决定能不能在你的 Mac 上跑得舒服。4.1mlx-community是什么mlx-community是 Hugging Face 上常见的 MLX 转换模型发布者。MLX 是 Apple 开源的机器学习框架专门面向 Apple Silicon 和统一内存架构。OMLX 本质上就是围绕 MLX 生态构建的本地推理服务所以你在 OMLX 里找模型时要优先找 MLX 格式而不是随便下载一个原始 PyTorch 权重或 GGUF 文件。常见发布者可以这样理解发布者建议mlx-communityApple Silicon / OMLX 优先选择lmstudio-community通常也可用注意看是否写了 MLXgoogle官方原始模型适合 Transformers不一定是 OMLX 最省内存格式个人 fork谨慎除非你知道对方做了什么转换截图里出现过dealignai/...CRACK这种名字我不建议作为首选。下载本地模型不是只看“能不能跑”还要看来源可信度、README、许可证、转换方式和社区使用量。4.2gemma-4-12B是什么gemma-4表示 Gemma 4 系列12B表示这是 12B 级别模型。Gemma 4 家族现在可以按尺寸理解版本说明E2B端侧小模型E 表示 effective parametersE4B更强一点的端侧小模型12B Unified这次新增的中尺寸统一多模态模型26B A4BMoE 模型总参数 26B激活参数约 4B31B更大的 dense 模型这里有两个容易误解的点。第一E2B/E4B里的E不是普通的总参数量而是 effective parametersGoogle 用 Per-Layer Embeddings 这类设计让小模型在端侧更高效。第二26B A4B里的A4B是 active parameters意思是推理时大约只激活 4B 参数。它不是“4B 模型”也不是“26B 全部每步都跑”。这就是 MoE 模型的核心优势。4.3it是什么it是instruction-tuned也就是指令微调版。对于大多数人来说带it的模型才是日常应该下载的版本。比如gemma-4-12B-it-4bit它更适合聊天问答写代码总结文章分析图片Agent 工具调用处理自然语言指令。不带it的版本例如gemma-4-12B-4bit通常更接近 base / pre-trained 模型。它不是不能用而是更偏研究、补全、微调、评测场景。你把它当聊天助手用可能会觉得它“不听话”“格式乱”“不像助手”。所以选型口诀是日常使用选 it研究微调再考虑 base。5、后缀逐个讲清楚现在进入最容易混乱的部分bf16、8bit、mxfp8、6bit、5bit、nvfp4、4bit、mxfp4。这些后缀基本都在讲一件事模型权重用什么精度保存。精度越高模型质量越稳但文件更大、内存更吃紧精度越低越省内存、越容易本地跑但模型质量可能有损失。5.1bf16高精度不适合普通 Mac 日常常驻bf16是 bfloat16。你可以把它理解为接近原始高精度推理的版本。mlx-community/gemma-4-12B-it-bf16大小约 22.3GB。优点精度最高最接近原始模型质量适合做对比评测。缺点文件大加载内存压力大KV Cache 和上下文会继续吃内存16GB 机器不现实32GB 机器也不适合日常常驻。我的建议M4 16GB 不要下M1 Pro 32GB 除非做测试否则也不优先下。5.28bit32GB Mac 的质量优先选择8bit是 8 位量化版本。在截图里mlx-community/gemma-4-12B-it-8bit大小约 11.8GB。它是 M1 Pro 32GB 这台机器的首选因为它在质量和资源占用之间比较平衡。相比4bit8bit通常更稳尤其是在这些场景里代码生成数学推理多轮长回答中文表达对格式要求严格的任务需要更少幻觉的问答。但对 M4 16GB 来说8bit不是完全不能尝试而是不适合当第一选择。因为 16GB 机器还要留系统内存稍微开大上下文就可能顶到内存压力。5.3mxfp8FP8 格式可以试但不是第一选择mxfp8是一种 microscaling FP8 格式。MLX 官方文档里列出了mxfp4、mxfp8、nvfp4等量化模式。它的目标是用更低位宽的浮点格式压缩权重同时尽量保留动态范围。但对普通 OMLX 用户来说我不建议一上来就选mxfp8。原因不是它一定差而是普通8bit更直观兼容性预期更清晰新式浮点量化的实际效果更依赖运行时支持你刚开始排错时变量越少越好。所以我的建议是先跑通 8bit 或 4bit再测试 mxfp8。5.46bit/5bit中间档但不是最常用6bit和5bit是中间量化档位。截图里能看到mlx-community/gemma-4-12B-it-6bit mlx-community/gemma-4-12B-it-5bit它们看起来很诱人比 8bit 省内存又可能比 4bit 质量更好。但在实际选择上它们常常不是第一梯队。原因是16GB 机器通常直接需要4bit32GB 机器通常可以直接上8bit中间档适合“8bit 有点紧但 4bit 又不甘心”的用户。如果你是 M1 Pro 32GB发现8bit在大上下文下内存压力高可以试6bit。如果你是 M4 16GB我仍然建议优先4bit不要绕中间档。5.54bit本地模型的主力版本4bit是大多数本地模型用户最常用的量化版本。在截图里mlx-community/gemma-4-12B-it-4bit大小约 10.2GB。它是 M4 16GB 的首选也是 M1 Pro 32GB 的稳妥选择。优点内存压力低下载体积相对可控更容易在 Apple Silicon 上跑起来适合本地聊天、轻量代码、摘要、知识问答。缺点相比 8bit复杂推理和代码稳定性可能下降长文本细节保持能力可能弱一点对格式严格的输出可能更容易犯错。不过对本地模型来说能稳定运行往往比纸面质量更重要。尤其是 16GB 机器4bit是让 12B 级别模型真正可用的关键。5.6mxfp4新式 FP4先作为实验项mxfp4是 microscaling FP4 格式。MLX 文档里说明mx模式按组量化mxfp4使用 FP4 表示和共享 scale。你可以把它理解为它也是 4 位左右的低精度格式但不是普通 affine 4bit 那一路而是更偏新式浮点量化。对用户来说关键不是背格式细节而是判断要不要下载。我的建议如果你第一次下载 Gemma 4 12B不要先选mxfp4如果普通4bit跑通了可以再下载mxfp4做速度和质量对比如果 OMLX 或 MLX 版本不够新遇到加载问题优先退回普通4bit。5.7nvfp4也是 FP4但更不要当第一选择nvfp4也是一种 4 位浮点量化格式。NVIDIA 技术博客里对 NVFP4 的定位是更高效、误差更低的低精度格式。MLX 也把nvfp4列在支持的量化模式里。但注意我们现在是在 Apple Silicon OMLX 上跑模型不是在 NVIDIA Blackwell 上跑训练或推理。所以不要因为名字里有nv就觉得它一定比普通4bit更适合你的 Mac。我的建议普通用户先选 it-4bit想折腾再试 it-nvfp4。5.8assistant不是主模型是 MTP 辅助模型截图第三张里有一堆小模型mlx-community/gemma-4-12B-it-assistant-bf16 mlx-community/gemma-4-12B-it-assistant-8bit mlx-community/gemma-4-12B-it-assistant-4bit mlx-community/gemma-4-12B-it-assistant-mxfp4这些模型很小几百 MB看起来像“轻量版 Gemma 4 12B”。但它们不是主模型不能当普通聊天模型来下载。assistant在这里指的是MTP drafter也就是 Multi-Token Prediction 的辅助草稿模型。它的作用是在 speculative decoding 里提前猜测几个 token再由主模型验证从而降低延迟。通俗讲主模型 真正回答问题的人 assistant 先打草稿、帮主模型提速的人所以下载顺序应该是先下载主模型例如gemma-4-12B-it-4bit确认 OMLX 能正常加载和对话再看 OMLX 是否支持给这个模型配置assistant支持再下载匹配的it-assistant-*。不要一上来只下载assistant然后疑惑为什么不能正常聊天。6、为什么文件大小不等于运行内存截图里有一个现象很容易误导人bf16约 22.3GB8bit约 11.8GB4bit约 10.2GBassistant-4bit只有几百 MB。很多人会问既然 4bit 是 4 位量化为什么还要 10GB12B 模型 4bit 不是应该约 6GB 吗原因是模型文件大小不是简单的“参数量 × bit 数”。实际还会包含embeddingtokenizerconfig多模态投影层非量化层safetensors 元数据某些权重没有完全按同一位宽压缩MLX 转换后的存储结构。更关键的是文件大小也不等于运行内存。模型运行时还要额外占用运行时开销说明KV Cache上下文越长越吃内存激活值推理过程中间张量批处理开销并发请求会增加内存压力OMLX 服务进程服务本身和调度器也需要内存macOS 系统统一内存要和系统、窗口、浏览器共享多模态输入图片、音频、视频会带来额外处理开销这就是为什么 M4 16GB 不能只看“文件 10.2GB好像还能剩 5.8GB”。实际运行时剩下空间很快会被上下文和系统吃掉。对 Apple Silicon 来说还有一个关键点统一内存不是独立显存。它的好处是 CPU/GPU 共享模型不用像传统 PC 那样频繁在内存和显存之间拷贝缺点是系统、应用、模型、缓存都抢同一池内存。内存压力一高macOS 开始压缩和交换推理速度会明显下降。7、在 OMLX 里怎么搜OMLX 的 Admin 控制台可以直接搜 Hugging Face 模型。你可以打开http://localhost:8000/admin进入Models - Downloader然后按下面这个思路搜。7.1 不要只搜Gemma4如果只搜Gemma4结果会非常杂Gemma 4 E2BGemma 4 E4BGemma 4 26BGemma 4 31Bbase 模型instruct 模型assistant 模型GGUFMLX各种个人转换版。这时候你很容易被“热门下载”“大小排序”“看起来参数更大”带偏。7.2 推荐搜索关键词如果目标是今天新发的 12B就搜gemma-4-12B如果你要聊天/写代码/日常问答就继续收窄gemma-4-12B-it如果你明确要 MLX 4bit可以搜gemma-4-12B-it-4bit如果你想找 8bitgemma-4-12B-it-8bit我的推荐搜索顺序是gemma-4-12B-it gemma-4-12B-it-4bit gemma-4-12B-it-8bit同时勾选 OMLX 里的仅 MLX7.3 看结果时按这个顺序判断看到搜索结果后不要先看下载量而是按这个顺序判断名字里有没有mlx-community模型是不是gemma-4-12B有没有it后缀是不是4bit或8bit是不是assistant大小是否符合预期。对这次场景来说最理想的结果是mlx-community/gemma-4-12B-it-4bit mlx-community/gemma-4-12B-it-8bit不是mlx-community/gemma-4-12B-it-assistant-4bit mlx-community/gemma-4-12B-bf16 google/gemma-4-12B-it random-user/gemma-4-12B-xxx7.4 命令行下载方式如果你不用 OMLX 控制台也可以用huggingface-cli下载到 OMLX 模型目录。先创建目录mkdir-p~/.omlx/models下载 M4 16GB 推荐版huggingface-cli download mlx-community/gemma-4-12B-it-4bit\--local-dir ~/.omlx/models/mlx-community/gemma-4-12B-it-4bit下载 M1 Pro 32GB 推荐版huggingface-cli download mlx-community/gemma-4-12B-it-8bit\--local-dir ~/.omlx/models/mlx-community/gemma-4-12B-it-8bitOMLX 的 README 里提到--model-dir可以指向包含 MLX 格式模型子目录的目录并且支持两级组织目录。所以保留mlx-community/模型名这种结构是可以的。如果 Hugging Face 访问慢可以在启动 OMLX 时指定镜像omlx serve --model-dir ~/.omlx/models --hf-endpoint https://hf-mirror.com8、一套通用选型规则这套规则不只适用于 Gemma 4 12B也适用于你以后在 OMLX 里下载 Qwen、Llama、DeepSeek、GLM 等模型。8.1 先看用途聊天就选it如果你要做的是聊天写代码总结翻译AgentRAG 问答多轮任务规划优先找*-it-*不带it的 base 模型不是不能用而是不适合作为普通助手。8.2 再看机器16GB 先 4bit32GB 可 8bit一个简单规则统一内存推荐16GB4bit24GB4bit 或 6bit谨慎 8bit32GB8bit 优先4bit 稳妥64GB可尝试更大模型、更高精度、更长上下文这不是绝对规则但对本地模型新手很实用。8.3 再看上下文长上下文比模型本体更容易吃爆内存很多人只关心模型大小却忽略上下文。本地推理里KV Cache 会随着上下文长度增长。你把上下文从 4K 开到 32K内存压力可能完全不是一个级别。所以 M4 16GB 跑 12B 4bit 时建议先用4K-8K contextM1 Pro 32GB 跑 12B 8bit 时可以逐步试8K - 16K - 32K如果一开长上下文就卡、变慢、OOM先别怀疑模型坏了先把上下文降下来。8.4 最后看新格式mxfp / nvfp 先当实验项mxfp4、mxfp8、nvfp4这些格式值得关注但不要让它们变成你第一次跑模型的变量。我的顺序是先下普通4bit或8bit确认 OMLX 能加载确认对话、代码、图片输入正常再测试mxfp4、mxfp8、nvfp4对比速度、内存、回答质量。这样排错成本最低。9、结合这次真实选择再做一次判断关于oMLX当中搜索到的gemma-4模型可以分为三组。9.1 第一组主模型高精度和中高精度mlx-community/gemma-4-12B-bf16 mlx-community/gemma-4-12B-it-bf16 mlx-community/gemma-4-12B-it-8bit mlx-community/gemma-4-12B-8bit mlx-community/gemma-4-12B-it-mxfp8 mlx-community/gemma-4-12B-mxfp8这里面真正适合日常助手的是mlx-community/gemma-4-12B-it-8bitbf16太大不适合这两台机器做日常常驻不带it的版本不是聊天优先mxfp8可以作为第二轮测试。9.2 第二组主模型低位量化mlx-community/gemma-4-12B-it-6bit mlx-community/gemma-4-12B-6bit mlx-community/gemma-4-12B-it-5bit mlx-community/gemma-4-12B-5bit mlx-community/gemma-4-12B-it-nvfp4 mlx-community/gemma-4-12B-nvfp4 mlx-community/gemma-4-12B-it-4bit mlx-community/gemma-4-12B-it-mxfp4 mlx-community/gemma-4-12B-4bit mlx-community/gemma-4-12B-mxfp4这里面最应该优先下载的是mlx-community/gemma-4-12B-it-4bit它同时满足三个条件MLX 格式指令微调版4bit 低内存量化。对 M4 16GB 来说它就是第一选择。9.3 第三组assistant 辅助模型mlx-community/gemma-4-12B-it-assistant-bf16 mlx-community/gemma-4-12B-it-assistant-8bit mlx-community/gemma-4-12B-it-assistant-mxfp8 mlx-community/gemma-4-12B-it-assistant-6bit mlx-community/gemma-4-12B-it-assistant-5bit mlx-community/gemma-4-12B-it-assistant-nvfp4 mlx-community/gemma-4-12B-it-assistant-4bit mlx-community/gemma-4-12B-it-assistant-mxfp4这组先不要下载。它们不是主模型。如果后续 OMLX 明确支持 Gemma 4 12B 的 MTP / speculative decoding 配置你可以考虑主模型mlx-community/gemma-4-12B-it-4bit 辅助mlx-community/gemma-4-12B-it-assistant-4bit或者主模型mlx-community/gemma-4-12B-it-8bit 辅助mlx-community/gemma-4-12B-it-assistant-8bit但它不是第一步。10、常见坑10.1 下载了assistant发现不能聊天这是正常的因为assistant是 MTP drafter不是主模型。正确做法先下载 gemma-4-12B-it-4bit 或 gemma-4-12B-it-8bit10.2 下载了不带it的版本觉得不好用不带it的 base 模型更偏预训练模型。它不一定会像助手一样遵循你的指令。正确做法日常聊天和 Agent 工作流优先带 it。10.3 16GB 机器下载了 8bit加载后卡住这不一定是 OMLX 的问题而是内存太紧。解决顺序换it-4bit降低上下文长度关闭占内存的应用不要同时加载多个模型暂时不要启用多模态长输入。10.4 看到 26B 下载量高就以为是今天新模型26B-A4B 是 Gemma 4 家族里的重要模型但它不是这次新增的 12B。如果目标是体验最新发布的 Gemma 4 12B就不要被 26B 热门排序带偏。10.5mxfp4/nvfp4加载异常先换普通it-4bit或it-8bit新式格式值得测试但不适合当排错起点。10.6 下载成功但加载失败gemma4_unified not supported这次我真实遇到的最大坑不是模型下错了而是模型太新OMLX 内置依赖还没跟上。具体表现是模型已经出现在 OMLX 的“可用模型”列表里也能看到大小和状态但一点加载就报错VLM load failed: Model type gemma4_unified not supported. Error: No module named mlx_vlm.speculative.drafters.gemma4_unified LLM fallback also failed: Model type gemma4_unified not supported.这类错误的关键词是gemma4_unified not supported No module named mlx_vlm.models.gemma4_unified No module named mlx_vlm.speculative.drafters.gemma4_unified根因是Gemma 4 12B Unified 是新架构Hugging Face 上的模型config.json里写的是model_type: gemma4_unified但当时 OMLX 0.4.0 / 0.4.1 内置的mlx-vlm 0.5.0还没有这个加载器。所以这个问题不是不是模型文件坏了不是 4bit 量化错了不是 OMLX 搜索结果假了也不是 Apple Silicon 不支持。它只是一个很典型的“新模型发布太快前端/后端依赖还没同步”的问题。正确排查顺序是先升级 OMLX 官方包再验证 OMLX 内置mlx-vlm是否支持gemma4_unified如果官方包还没跟上再临时手动升级内置mlx-vlm等 OMLX 官方后续版本合并后再回到纯官方升级路径。一行验证命令如下OMLX_PREFIX$(brew--prefixjundot/omlx/omlx2/dev/null||brew--prefixomlx);PY$OMLX_PREFIX/libexec/bin/python;$PY-cimport sys, numpy, mlx_vlm; import importlib.metadata as md; import mlx_vlm.models.gemma4_unified; print(python:, sys.executable); print(mlx_vlm import:, getattr(mlx_vlm, __version__, unknown)); print(mlx_vlm metadata:, md.version(mlx-vlm)); print(numpy:, numpy.__version__); print(gemma4_unified: OK)如果成功应该看到mlx_vlm import: 0.6.1 mlx_vlm metadata: 0.6.1 numpy: 2.3.5 gemma4_unified: OK如果失败可以临时这样修OMLX_PREFIX$(brew--prefixjundot/omlx/omlx2/dev/null||brew--prefixomlx);PY$OMLX_PREFIX/libexec/bin/python;brew services stop jundot/omlx/omlx||brew services stop omlx$PY-mpipinstall--ignore-installed --no-deps --force-reinstall mlx-vlm0.6.1find$OMLX_PREFIX/libexec/lib-path*site-packages/mlx_vlm-0.5.0.dist-info-execmv{}/tmp/mlx_vlm-0.5.0.dist-info.omlx-backup\;2/dev/null||true$PY-mpipinstallnumpy2.3.5$PY-mpip checkbrew services start jundot/omlx/omlx||brew services start omlx这里有两个细节要注意。第一brew service restart omlx是错的Homebrew 命令是复数brew services restart omlx第二pip install的输出有时会被旧的.dist-info元数据误导。例如它明明安装了 0.6.1却显示Successfully installed mlx-vlm-0.5.0。这时不要只看 pip 最后一行要用上面的 Python 验证命令看真实 import 版本。如果验证结果是mlx_vlm import: 0.6.1 mlx_vlm metadata: 0.6.1 gemma4_unified: OK No broken requirements found就说明修好了。之后再加载gemma-4-12B-it-4bit11、我的最终选择结合这两台机器我会这样下载机器第一选择第二选择暂不下载M4 / 16GBmlx-community/gemma-4-12B-it-4bitit-mxfp4可测试bf16、8bit、assistantM1 Pro / 32GBmlx-community/gemma-4-12B-it-8bitit-4bitbf16、单独assistant如果只想下一个模型在两台机器之间同步使用我会选mlx-community/gemma-4-12B-it-4bit如果 M1 Pro 32GB 是主力本地推理机器我会额外下载mlx-community/gemma-4-12B-it-8bit最后再用一句话总结OMLX 选模型看四件事MLX 来源、12B 本体、it 指令版、4bit/8bit 量化。12、后续升级策略最后说一下后续升级长期看正常跟着 OMLX 官方升级就好。这次手动升级mlx-vlm本质上是一个“新模型首发期”的临时补丁。Gemma 4 12B Unified 刚发布时Hugging Face 模型已经出来了但 OMLX Homebrew 包里固定的mlx-vlm版本还没包含gemma4_unified加载器所以只能临时覆盖内置依赖。但这不应该成为日常维护方式。日常升级优先用brew updatebrew upgrade jundot/omlx/omlx或brew updatebrew upgrade omlx升级后重启服务brew services restart jundot/omlx/omlx||brew services restart omlx然后做一次版本验证OMLX_PREFIX$(brew--prefixjundot/omlx/omlx2/dev/null||brew--prefixomlx);PY$OMLX_PREFIX/libexec/bin/python;$PY-cimport mlx_vlm; import importlib.metadata as md; import mlx_vlm.models.gemma4_unified; print(getattr(mlx_vlm, __version__, unknown)); print(md.version(mlx-vlm)); print(gemma4_unified: OK)这里有一个关键区别升级方式适合场景风险brew upgrade omlx日常稳定使用最稳依赖由 OMLX 官方锁定手动pip install mlx-vlm0.6.1新模型刚发、官方包暂未跟上可能被下次 Homebrew 升级覆盖brew reinstall omlx想回到纯官方环境会清掉手动覆盖的依赖brew install --HEAD想追最新代码适合折腾不适合稳定生产所以我的建议是平时只跟官方 Homebrew 升级遇到新模型架构不支持再临时升级内置依赖每次 OMLX 官方升级后都验证一次gemma4_unified是否还在等官方包内置新mlx-vlm后不再需要手动补丁。如果后续你执行brew upgrade后Gemma 4 12B 又报gemma4_unified not supported不要慌说明 Homebrew 升级把手动补丁覆盖回官方依赖了。重新跑第 10.6 节那几条命令即可。如果某个新版 OMLX 已经内置mlx-vlm 0.6.1那就不需要手动处理了保持官方路径最干净。13、参考资料Google 官方发布页Introducing Gemma 4 12BGoogle Developers BlogBringing Gemma 4 12B to your LaptopHugging Face 官方模型卡google/gemma-4-12BMLX 量化文档mlx.core.quantizeOMLX 官网oMLX — LLM inference, optimized for your MacOMLX GitHub READMEjundot/omlxMLX 社区 4bit 模型mlx-community/gemma-4-12B-it-4bitMLX-VLM PyPI 版本mlx-vlm 持续探索 AI 与前沿技术分享大模型应用、软件开发实战与行业洞察。欢迎关注【龙哥AI】加入 7000 技术同行的交流圈 探索技术边界让开发更有效率