BaseRT

专为 Apple Silicon 设计的最快 LLM 运行时，可在您的设备上本地运行模型。

BaseRT 是一款高性能 LLM 运行时，专为 Apple Silicon 优化，提供无与伦比的本地模型执行速度。它允许用户通过单个命令直接在设备上安装和运行 AI 模型，确保隐私并无需外部 API。非常适合寻求高效设备端 AI 功能的开发者和用户。

Free

如何使用 BaseRT?

使用单个命令安装 BaseRT。使用 'basert serve <model_name>' 来运行模型。对于编码代理，通过 pip 安装 'pi-basert' 插件并运行 'pi' 进行激活。此设置允许您完全在设备上运行本地 AI 模型和编码代理，无需 API 密钥或数据传输。

Apple Silicon 上最快的 LLM 运行时

与 llama.cpp 相比，解码速度快 33%，预填充速度快 6.4 倍

支持多种流行的 LLM（Qwen、Llama、Gemma、Mistral、Phi-3）

支持本地执行编码代理

一键安装

无需 API 密钥或数据传输

针对设备端 AI 进行了优化

运行本地 LLM 进行文本生成

在设备上开发和部署 AI 编码代理

私密且安全的 AI 模型执行

加速 Mac 硬件上的 AI 推理

在本地试验开源 AI 模型

构建无需云依赖的 AI 驱动应用程序

软件工程师

AI 开发者

机器学习工程师

数据科学家

应用程序开发者

让您的 AI 代理在安全、托管的服务器上构建和部署您的网站或全栈应用程序。

快速、私密、开源的 macOS 听写工具，完全在本地运行。

一个本地优先的 AI 代理，拥有自适应演进的记忆基础，可在工具间无缝共享上下文。

将 Garry Tan 的 gstack 专家带入您的 Google Meet，作为拥有 3D 化身的真实语音机器人。

AI代理的集成生命周期基础设施，支持自主工作流创建、测试和部署。

通过提示部署托管式 AI 代理，无需管理基础设施即可获得永久 URL。

在您的计算机上运行、在您的工具中工作、将请求转化为已完成交付物的 AI 代理。

Freesolo 为您的 AI 代理提供训练后服务，通过强化学习提升其性能和能力。