Edgee는 애플리케이션과 LLM 제공업체 사이에 위치하는 AI 게이트웨이입니다. 토큰 사용량을 최대 50%까지 줄여 비용과 지연 시간을 낮추기 위해 프롬프트를 지능적으로 압축합니다. 범용 호환성, 태깅 및 알림을 통한 비용 거버넌스, 에지 도구 및 프라이빗 모델과 같은 고급 기능을 제공합니다.
Freemium
사용 방법 Edgee?
Edgee의 SDK를 애플리케이션에 통합하여 OpenAI나 Anthropic과 같은 LLM 제공업체에 대한 직접 호출을 대체하세요. 프롬프트는 LLM으로 전송되기 전에 에지에서 자동으로 압축되어 토큰 수를 줄입니다. 기능, 팀 또는 프로젝트별로 비용을 추적하기 위해 요청에 태그를 지정하고, 지출 급증에 대한 알림을 설정할 수 있습니다. 이 게이트웨이는 라우팅, 폴백 처리도 담당하며 완전한 가시성을 제공합니다.
Edgee 의 주요 기능
지능형 토큰 압축: 의미와 문맥을 유지하면서 중복성을 제거하여 프롬프트 크기를 최대 50%까지 줄여 LLM API 비용을 직접 절감합니다.
범용 제공업체 호환성: 단일 통합 API를 통해 OpenAI, Anthropic, Gemini, xAI, Mistral을 포함한 주요 제공업체의 200개 이상 모델과 원활하게 작동합니다.
고급 비용 거버넌스: 사용자 정의 메타데이터(예: 기능, 팀, 프로젝트별)로 요청에 태그를 지정하여 사용량과 비용을 세분화하여 추적하고, 지출 급증에 대해 사전 알림을 받습니다.
에지 인텔리전스 레이어: 서버리스 도구와 프라이빗 오픈소스 LLM을 에지에 배치하여 낮은 지연 시간, 향상된 제어력, 그리고 주요 LLM에 도달하기 전 분류나 편집과 같은 작업을 수행합니다.
포괄적인 가시성: 지연 시간, 오류, 토큰 사용량, 모델/애플리케이션/환경별 비용에 대한 상세 메트릭으로 프로덕션 AI 트래픽을 종단 간 모니터링합니다.
유연한 라우팅 및 안정성: 라우팅 정책, 자동 폴백, 제공업체 간 재시도를 구성하여 고가용성을 보장하고 성능 또는 비용에 최적화합니다.
Bring Your Own Keys (BYOK): 기존 제공업체 API 키를 사용하여 비용 제어 및 사용자 정의 모델에 접근하거나, 편의를 위해 Edgee의 키를 사용할 수 있습니다.
Edgee 의 사용 사례
개발 팀: RAG 파이프라인과 다중 턴 에이전트 대화에서 긴 프롬프트를 압축하여 AI 기반 애플리케이션을 구축하는 기업의 클라우드 비용을 절감합니다.
스타트업 및 성장 기업: 비용 귀속 태그와 알림으로 LLM 지출을 효과적으로 관리 및 예측하여 빠른 기능 반복 중 예산 초과를 방지합니다.
엔터프라이즈 AI 운영: 민감한 데이터를 에지에 호스팅된 프라이빗 모델을 통해 라우팅하고 데이터 프라이버시 제어를 적용하여 안정성과 규정 준수를 보장합니다.
제품 관리자 및 분석가: 어떤 기능이나 팀이 LLM 비용을 발생시키는지에 대한 심층적인 가시성을 확보하여 AI 자원 할당에 대한 데이터 기반 결정을 가능하게 합니다.
DevOps 및 SRE 엔지니어: 다중 제공업체를 위한 단일 게이트웨이로 AI 인프라 관리를 단순화하며, 장애 조치, 재시도 및 성능 모니터링을 처리합니다.
Edgee 의 가격
Pay-as-you-go
Cost of models + optional services
핵심 게이트웨이 기능은 무료입니다. 모델 사용량과 토큰 압축과 같은 선택적 Edgee 서비스에 대해서만 비용을 지불하세요.
