litellm

LLM開発ツール

★ 50k

100以上のLLM APIを統一インターフェースで呼び出す

LiteLLMは、100種類以上のLLM APIをOpenAI互換の統一インターフェースで呼び出せるオープンソースのSDK・プロキシサーバー(AIゲートウェイ)です。OpenAI、Anthropic、Azure、Bedrock、VertexAIなどのプロバイダーを一つの書き方で扱え、コードを変えずにモデルを切り替えられます。プロキシとして運用すれば、コスト追跡、レート制限、ロードバランシング、ガードレール、ログ記録といった管理機能を一元化できます。複数のLLMプロバイダーを併用する開発チームや、社内のLLM利用を統制・可視化したい企業に向いています。特定ベンダーへのロックインを避けたい場合や、部署ごとのAPI利用コストを管理したい場合に有効な、LLM運用のインフラ層を担うツールです。