如何自托管 Mistral Large 4（Le Chonk）开源权重

适用场景 ​

• 需要把万亿参数 MoE 模型部署在自有 GPU 集群，满足数据不出域要求。
• 希望在编程智能体与防御性网安场景本地调用，而非仅走第三方 API。
• 需要在 Mistral API、OpenRouter、NVIDIA NIM、微软 Foundry 之外建立私有部署。

操作步骤 ​

1. 获取权重：在 Hugging Face 找到 Mistral 官方发布的 Mistral Large 4 检查点，确认许可为 Mistral 生态开源权重许可（修改版 MIT）。
2. 选择精度：约 1 万亿参数对显存要求高，优先选用面向 Blackwell GPU 的 NVFP4 量化检查点，按目标精度核算显存。
3. 准备推理环境：在自有欧洲或本地数据中心节点上配置 GPU 驱动与推理框架，确认支持 MoE 路由与 100 万 token 上下文。
4. 启动服务：以 mistral-large-4 接入名启动本地推理服务，先用低难度请求验证输出正确性，再逐步调高推理模式（low/medium/high）。
5. 核对许可边界：若对外提供模型即服务（MaaS），需另行向 Mistral 取得商业授权，不能直接转售权重。

注意事项 ​

• 模型原生多模态，图像输入需配 16 亿参数视觉编码器；纯文本验证不能代表完整能力。
• Mistral 官方披露护栏可能被用于真实攻击，生产环境应叠加访问控制与使用审计。
• 100 万 token 上下文对显存与延迟敏感，批量任务需做吞吐与成本评估。

参考来源 ​

• Unite.AI：Mistral Le Chonk
• IT之家：Mistral AI开放Large 4模型权重