BaseRT

专为 Apple Silicon 设计的最快 LLM 运行时，可在您的设备上本地运行模型。

BaseRT 是一款高性能 LLM 运行时，专为 Apple Silicon 优化，提供无与伦比的本地模型执行速度。它允许用户通过单个命令直接在设备上安装和运行 AI 模型，确保隐私并无需外部 API。非常适合寻求高效设备端 AI 功能的开发者和用户。

Free

如何使用 BaseRT?

使用单个命令安装 BaseRT。使用 'basert serve <model_name>' 来运行模型。对于编码代理，通过 pip 安装 'pi-basert' 插件并运行 'pi' 进行激活。此设置允许您完全在设备上运行本地 AI 模型和编码代理，无需 API 密钥或数据传输。

Apple Silicon 上最快的 LLM 运行时

与 llama.cpp 相比，解码速度快 33%，预填充速度快 6.4 倍

支持多种流行的 LLM（Qwen、Llama、Gemma、Mistral、Phi-3）

支持本地执行编码代理

一键安装

无需 API 密钥或数据传输

针对设备端 AI 进行了优化

运行本地 LLM 进行文本生成

在设备上开发和部署 AI 编码代理

私密且安全的 AI 模型执行

加速 Mac 硬件上的 AI 推理

在本地试验开源 AI 模型

构建无需云依赖的 AI 驱动应用程序

软件工程师

AI 开发者

机器学习工程师

数据科学家

应用程序开发者

开源人工智能联合科学家，用于科学研究，整合文献、代码、实验和结果。

通过在同一 URL 上提供干净的 Markdown，让您的网站可被 AI 代理读取。

为 AI 代理提供持久化内存和上下文管理，无缝集成 23 种框架。

在 Mac 上进行私密的 AI 翻译和图书阅读。

将每个提示路由到正确的模型，优化成本、速度和质量。

一个用于 AI 编码代理的可视化工作台，提供持久的对话树和可检查的模型事务。

能够成为您特定研究任务和领域的专家的自学习网络搜索代理。

搜索您的团队与 AI 助手进行过的每一次对话。捕获泄露的密码，避免重复劳动。