litellm
LLM開発ツール100以上のLLM APIを統一インターフェースで呼び出す
LiteLLMは、100種類以上のLLM APIをOpenAI互換の統一インターフェースで呼び出せるオープンソースのSDK・プロキシサーバー(AIゲートウェイ)です。OpenAI、Anthropic、Azure、Bedrock、VertexAIなどのプロバイダーを一つの書き方で扱え、コードを変えずにモデルを切り替えられます。プロキシとして運用すれば、コスト追跡、レート制限、ロードバランシング、ガードレール、ログ記録といった管理機能を一元化できます。複数のLLMプロバイダーを併用する開発チームや、社内のLLM利用を統制・可視化したい企業に向いています。特定ベンダーへのロックインを避けたい場合や、部署ごとのAPI利用コストを管理したい場合に有効な、LLM運用のインフラ層を担うツールです。
関連トピック
litellmの解説記事
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
hermes-agent
ユーザーと共に成長するAIエージェント（Nous Research製）
OpenCode
The open source coding agent.
firecrawl
WebをLLM向けに検索・スクレイピングするAPI
transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
ponytail
Makes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote.
dify
ノーコードでAIアプリを構築できるLLMOpsプラットフォーム