oMLX

基于MLX构建的原生macOS推理服务器，优化Apple Silicon上的LLM性能。

oMLX是一款原生macOS推理服务器，利用MLX优化Apple Silicon上的LLM性能。它具有分页SSD KV缓存和连续批处理功能，可将代理响应时间从几分钟显著缩短到几秒钟。它提供兼容OpenAI和Anthropic的API，使其成为各种AI工具和工作流程的即插即用解决方案。

免费

如何使用 oMLX?

下载macOS DMG并将其安装为菜单栏应用程序。oMLX可自动从标准的Hugging Face缓存位置或LM Studio文件夹中检测兼容MLX的模型。使用Web仪表板管理模型、监控性能，并生成API配置命令，以便与您喜欢的AI工具无缝集成。

分页SSD KV缓存，实现跨会话的持久上下文

连续批处理，提高并发请求的吞吐量

兼容OpenAI和Anthropic的API端点

带Web仪表板的原生macOS菜单栏应用程序

支持多模型服务（LLM、VLM、嵌入、重排器）

工具调用和MCP支持，实现高级代理功能

直接从仪表板下载和管理模型

在Mac上运行本地LLM代理，显著降低延迟

开发需要在Apple Silicon上进行快速推理的AI应用程序

使用OpenAI/Anthropic API将LLM集成到现有工作流程中

在本地硬件上试验各种LLM模型

构建受益于持久KV缓存的自定义AI工具

在Mac硬件上进行LLM性能的基准测试和比较

利用优化的推理功能来使用视觉语言模型

软件工程师

AI开发者

机器学习工程师

数据科学家

应用程序开发者

一个原生AI的ITSM平台，可自主解决员工请求并保持IT资产准确。

开源人工智能联合科学家，用于科学研究，整合文献、代码、实验和结果。

通过在同一 URL 上提供干净的 Markdown，让您的网站可被 AI 代理读取。

通过 Dots-In Living Twin 升级您的现实，这是一个零提示代理，可与您同步以优化您的日常生活。

适用于领英的AI社交媒体管理器，可根据您的数据和研究撰写帖子，每周发布5次。

持续收听，捕捉真相，将您经历的一切转化为可供生成内容的素材。

用于生成式、交互式视频媒体的实时世界模型。

为 AI 代理提供持久化内存和上下文管理，无缝集成 23 种框架。