oMLX는 MLX를 활용하여 Apple Silicon에서 최적화된 LLM 성능을 제공하는 네이티브 macOS 추론 서버입니다. 페이징된 SSD KV 캐싱과 연속 배치 처리를 통해 에이전트 응답 시간을 몇 분에서 몇 초로 크게 단축합니다. OpenAI 및 Anthropic 호환 API를 제공하여 다양한 AI 도구 및 워크플로우에 바로 적용 가능한 솔루션입니다.
Free
사용 방법 oMLX?
macOS DMG 파일을 다운로드하여 메뉴 막대 앱으로 설치하세요. oMLX는 표준 Hugging Face 캐시 위치 또는 LM Studio 폴더에서 MLX 호환 모델을 자동으로 감지합니다. 웹 대시보드를 사용하여 모델을 관리하고, 성능을 모니터링하며, 즐겨 사용하는 AI 도구와 원활하게 통합할 수 있는 API 구성 명령을 생성하세요.