一句话总结
MLX 是苹果推出的开源机器学习框架，可在搭载 Apple 芯片（M1 起）的 Mac 上直接运行开源大模型；本指南覆盖从安装、下载模型、生成对话到启动本地服务的完整流程。
适用场景
在 Mac 本地运行开源大模型适用于三类场景：隐私敏感场景（文档与代码不出本机）、离线环境、以及低延迟调试与成本控制（无 API 调用费用）。2026 年 10 月 16 日 Meta 发布开源权重模型 Muse Spark Open 时即与苹果合作，通过 MLX 在两台 512GB 内存的 Mac Studio 上本地运行完整模型，验证了 MLX 的本地推理能力。
操作步骤
- 确认硬件与系统：Apple Silicon Mac（M1/M2/M3/M4 系列），macOS 13 及以上，安装 Python 3.9 以上版本。
- 安装 mlx-lm：在终端执行
pip install mlx-lm（建议使用虚拟环境或 uv 管理依赖）。 - 选择模型：按统一内存容量选择，8GB 内存适合 3B~7B 量化模型，32GB 可运行 30B 级别量化模型，64GB 以上可运行 70B 级别。
- 下载并运行模型：执行
python -m mlx_lm.generate --model mlx-community/Meta-Llama-3.1-8B-Instruct-4bit --prompt 你好，首次运行自动从 Hugging Face 下载权重。 - 启动本地服务：执行
python -m mlx_lm.server --model mlx-community/Meta-Llama-3.1-8B-Instruct-4bit --port 8080，通过localhost:8080提供 OpenAI 兼容接口。 - 量化自有模型：执行
python -m mlx_lm.convert --hf-path 模型目录 -q生成 4bit 量化版本，减小内存占用。
注意事项
- 内存是主要瓶颈：模型所需内存约为「参数量（10 亿）× 量化位数（bit）÷ 8」GB，7B 模型 4bit 量化约需 4GB 内存。
- 首次运行需联网下载权重，下载完成后可离线使用。
- Muse Spark Open（总参数 8160 亿、激活参数 420 亿）需要 512GB 内存的 Mac Studio 才能完整本地运行；普通 Mac 适合运行量化后的中小规模模型。
- MLX 仅支持 Apple 芯片（M 系列），Intel Mac 不支持。