BaseRT는 Apple Silicon에 최적화된 고성능 LLM 런타임으로, 로컬 모델 실행에 있어 비교할 수 없는 속도를 제공합니다. 사용자는 단일 명령으로 AI 모델을 기기에 직접 설치하고 실행할 수 있어 개인 정보 보호를 보장하고 외부 API의 필요성을 없앱니다. 효율적인 온디바이스 AI 기능을 찾는 개발자 및 사용자에게 이상적입니다.
무료
사용 방법 BaseRT?
단일 명령으로 BaseRT를 설치하세요. 'basert serve <model_name>' 명령으로 모델을 서빙하세요. 코딩 에이전트의 경우, pip를 통해 'pi-basert' 플러그인을 설치하고 'pi'를 실행하여 활성화하세요. 이 설정을 통해 API 키나 데이터 전송 없이 기기 전체에서 로컬 AI 모델 및 코딩 에이전트를 실행할 수 있습니다.
BaseRT 의 주요 기능
Apple Silicon에서 가장 빠른 LLM 런타임
llama.cpp 대비 디코드(Decode) 최대 33% 빠름, 프리필(Prefill) 6.4배 빠름
다양한 인기 LLM 지원 (Qwen, Llama, Gemma, Mistral, Phi-3)