首页 >> 综合 > 快讯 >

LM Studio 接入 oMLX 引擎,可直接运行现有全部 MLX 格式模型

2026-10-30 19:05:13 来源:网易 编辑:韦慧芸 

LM Studio 新版本正式接入 oMLX 推理引擎,用户不需要重新下载模型文件,电脑里已经存好的所有 MLX 格式模型都能直接加载运行,这次引擎升级专门针对 Apple Silicon 苹果芯片做了深度优化,大幅优化长对话、智能代理场景下的缓存效率,同时保持对存量 MLX 模型百分之百兼容,原有模型库、模型配置文件全部通用,不用做格式转换,普通用户切换引擎只需要在软件内简单选择,就能立刻获得更快的 token 生成速度,本地部署大模型的使用门槛进一步降低。oMLX 引擎本身基于 MLX 技术栈开发,底层文件读取路径和标准 MLX 模型完全一致,共用 Hugging Face 统一缓存目录,软件可以自动识别本地已下载的 MLX 模型权重,不会产生重复文件占用硬盘空间;同时新引擎补齐了磁盘 KV 缓存能力,把闲置上下文缓存存入固态硬盘,大幅减少内存占用,长时间多轮对话也不会出现内存溢出,非常适合在 Mac 设备上跑本地智能体、代码助手这类连续任务。在完成引擎切换之后,软件还能同时混用 llama.cpp 与 oMLX 两套运行环境,一台设备同时调用不同格式模型,满足多模型并行调试的开发需求。

一、oMLX 引擎在 LM Studio 里的核心能力清单

  1. 模型兼容性:完整兼容全部已下载 MLX 模型,无需转格式、无需重新下载,直接读取原有缓存目录文件。
  2. 缓存优化:支持 SSD 分层存储 KV 缓存,冷数据存入硬盘,大幅降低统一内存占用,长上下文任务性能提升明显。
  3. 硬件适配:针对 M 系列 Apple Silicon 芯片深度调优,自动分配神经网络引擎与 GPU 算力,自动完成硬件参数调校。
  4. 接口统一:沿用原有 OpenAI 兼容本地 API,切换引擎后,原有调用脚本、客户端工具不用修改代码即可继续使用。
  5. 多模型混用:支持 oMLX 与 llama.cpp 引擎同时启用,可同时加载 MLX 模型与 GGUF 模型,实现多模型并行测试。

二、本地 MLX 模型无需重下的底层原因

  1. 目录一致:oMLX 直接读取 Hugging Face 全局缓存文件夹,和原版 MLX、LM Studio 原有 MLX 引擎共用同一套模型文件。
  2. 权重无改动:引擎只负责推理运算,不对模型权重、量化参数做任何修改,4bit、6bit 量化的 MLX 模型均可正常加载运行。
  3. 配置文件互通:模型对话模板、上下文窗口、量化设置全部沿用原有配置,切换引擎不需要重新填写参数。

三、在 LM Studio 启用 oMLX 引擎的操作步骤

步骤 1:更新 LM Studio 到最新正式版本,打开软件后进入运行时管理页面,找到 oMLX 引擎选项完成一键安装。

步骤 2:打开模型列表,软件会自动扫描本地缓存目录,把已经下载好的 MLX 模型全部展示出来,不用重新检索下载。

步骤 3:选中目标 MLX 模型,在运行引擎下拉菜单里选择 oMLX,保存模型运行参数。

步骤 4:开启对话窗口或者启动本地 API 服务,直接调用模型完成推理,验证模型正常运行。

步骤 5(可选):开启多引擎模式,同时加载 oMLX 运行 MLX 模型、llama.cpp 运行 GGUF 模型,开展并行调试。

四、oMLX 与原生 MLX 引擎性能对比表

表格

项目原生 MLX 引擎oMLX 引擎
存量 MLX 模型兼容性完全兼容完全兼容,无需重下模型
KV 缓存存储位置仅内存内存 + SSD 分层存储
长对话内存占用持续上涨闲置缓存存入硬盘,内存占用降低 80% 以上
多轮智能体任务速度基础速度最高可提升 2 倍吞吐效率
适用机型全系列 Apple Silicon MacmacOS15 及以上 M 系列芯片机型

五、适用的主流 MLX 模型范围

  1. 文本大模型:Llama 系列、Qwen 通义千问、DeepSeek、Mistral、Gemma 等所有 MLX 权重版本。
  2. 多模态视觉模型:LLaVA、Qwen2VL 等 mlx-vlm 格式多模态模型。
  3. 量化版本:支持 3bit、4bit、6bit 量化压缩的 MLX 模型,低内存设备也能流畅运行。

【相关 FAQ】

问题 1:LM Studio 接入 oMLX 引擎之后,原有 MLX 模型还需要重新下载吗?

回答 1:LM Studio 接入 oMLX 引擎之后,原有 MLX 模型不需要重新下载,oMLX 引擎共用 Hugging Face 缓存目录,可以直接读取本地已保存的全部 MLX 模型文件,不会重复占用存储空间。

问题 2:LM Studio 里开启 oMLX 引擎,能提升 MLX 模型长对话任务的运行效率吗?

回答 2:可以大幅提升运行效率,oMLX 引擎支持 SSD 分层存放 KV 缓存,把长时间对话产生的闲置上下文存入固态硬盘,有效降低内存占用,长上下文智能代理任务的整体吞吐速度最高可以提升 2 倍,避免长时间对话卡顿。

问题 3:LM Studio 的 oMLX 引擎支持哪些设备运行 MLX 模型?

回答 3:oMLX 引擎仅支持搭载 Apple Silicon M 系列芯片的 Mac 电脑,系统版本要求 macOS15 及以上,能够自动调用芯片神经网络引擎与 GPU 算力,优化 MLX 模型推理速度。

问题 4:在 LM Studio 切换到 oMLX 引擎后,原先调用 MLX 模型的 API 脚本还能用吗?

回答 4:可以正常使用,oMLX 引擎沿用 LM Studio 原有的 OpenAI 兼容本地 API 接口,只更换底层推理运行环境,接口地址、入参格式完全不变,原有调用代码不需要修改即可继续调用 MLX 模型。

问题 5:LM Studio 能不能同时用 oMLX 和原生 MLX 两套引擎加载不同 MLX 模型?

回答 5:可以,LM Studio 支持多运行环境同时启用,既可以用 oMLX 加载存量 MLX 模型,也可以同时开启原生 MLX 引擎,还能搭配 llama.cpp 引擎运行 GGUF 模型,满足多模型并行开发调试需求。

【数据来源】

[2026-08-18](oMLX 新版本支持自动硬件调优)AI/TLDR

[2026-06-05](LM Studio 优化 MLX 引擎缓存机制)LM Studio 官方博客

[2026-05-13](LM Studio 新版本更新 MLX 引擎性能)LM Studio 版本更新日志

[2026-03-10](LM Studio 正式集成 oMLX 推理引擎)机器之心

[2026-01-06](LM Studio MLX 引擎支持多量化模型)LM Studio 官方文档

[2025-05-30](LM Studio 推出统一 MLX 引擎架构)LM Studio 官方博客

免责声明:本文关于 LM Studio 接入 oMLX 引擎、MLX 模型兼容能力、缓存优化效果、性能提升数据均来自软件官方发布文档与公开技术测试结果;实际运行速度会受 Mac 机型、内存大小、系统版本、模型量化精度影响存在个体差异;oMLX 引擎仅支持 Apple Silicon 苹果芯片设备,Windows 与 Linux 设备无法使用该引擎;模型加载与运行的最终效果以本地实际部署测试结果为准。

 
最新文章
站长推荐