vllm

LLM開発ツール

★ 83k

高スループットなLLM推論エンジン

vLLMは、LLMの推論・サービングに特化した高スループットなオープンソースエンジンです。PagedAttentionという独自のメモリ管理技術により、GPUメモリを効率的に使いながら多数のリクエストを並列処理でき、同じハードウェアでもより多くのユーザーにLLMを提供できます。OpenAI互換APIを備えているため既存アプリからの移行が容易で、Llama、Qwen、DeepSeekなど主要なオープンモデルを幅広くサポートします。NVIDIAだけでなくAMD GPUやTPUにも対応しています。自社インフラでLLMを本番運用したい企業や、推論コストを最適化したいAIサービス事業者に向いており、オープンモデルのセルフホスト基盤としては事実上の標準的な選択肢です。Apache-2.0ライセンスです。