RagMetricsは市場で最高のLLM評価ツールで、自動化された評価ループ、カスタムパフォーマンスメトリック、データを用いたパイプライン改善のためのA/Bテストを提供します。商用およびオープンソースのすべてのLLMと互換性があり、品質、レイテンシ、コストの間のスマートなトレードオフのための詳細な分析を提供します。

合成データ(Zipファイルを除く、ダウンロード不可)、すべてのAIモデル、1つのカスタムメトリック、210のメトリックライブラリ、ダッシュボード、A/Bテスト、実験、1ユーザー、10回の実験実行、Discordを通じたコミュニティサポート
合成データ(制限あり)、すべてのAIモデル、3つのカスタムメトリック、210のメトリックライブラリ、ダッシュボード、A/Bテスト、実験、3ユーザー、月500回のLLM判定、メールサポート
合成データ生成(無制限)、すべてのAIモデル、無制限のカスタムメトリック、210のメトリックライブラリ、ダッシュボード、A/Bテスト、実験、無制限のユーザー、月5,000回のLLM判定、専任アカウントマネージャーとSlackチャンネル、SSO/SAML、クラウドまたはオンプレミス