exo
LLM開発ツール手持ちデバイスでAIクラスタを構築
exoは、手持ちの複数デバイスを束ねて一つのAIクラスタを構築し、大規模なAIモデルをローカルで実行できるオープンソースソフトウェアです。iPhone、iPad、Mac、Linux PCなど性能の異なるデバイスを自動で発見・接続し、モデルを各デバイスのメモリ量に応じて分割して実行するため、単体では載りきらない大きなモデルも家庭やオフィスにある機器の組み合わせで動かせます。専用のマスターノードを必要としないP2P型のアーキテクチャも特徴です。高価なGPUサーバーを買わずに大型のオープンモデルを試したい開発者・研究者や、データを外部に出さずにフロンティア級のAIをローカル運用したい組織に向いています。Apache-2.0ライセンスで、GitHubスター数4.5万超の注目プロジェクトです。
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
langflow
ビジュアルでRAG・エージェントを構築するローコードツール
LLM開発ツールMITPython
dify
ノーコードでAIアプリを構築できるLLMOpsプラットフォーム
LLM開発ツールOtherTypeScript
langchain
LLMアプリ開発の定番フレームワーク
LLM開発ツールMITPython
llama.cpp
ローカルLLM実行の基盤となるC++実装
LLM開発ツールMITC++
vllm
高スループットなLLM推論エンジン
LLM開発ツールApache-2.0Python
ragflow
深い文書理解に基づくRAGエンジン
LLM開発ツールApache-2.0Python