AI

データ資産指向のオーケストレーションツール

Dagsterは、「データ資産(アセット)」を中心に据えた設計が特徴のオープンソースのデータオーケストレーションプラットフォームです。タスクの実行順序ではなく、テーブルやモデルといった成果物を宣言的に定義することで、データの依存関係やリネージ(系譜)が自動的に可視化され、どのデータがいつ・どう作られたかを追跡しやすくなります。型チェックやテスト容易性などソフトウェアエンジニアリングの実践をデータパイプラインに持ち込んでおり、dbtとの統合も強力です。ローカル開発体験の良さにも定評があります。データ基盤の品質と可観測性を重視するデータエンジニアリングチームや、dbtを中核としたモダンデータスタックを運用する企業に向いています。Apache-2.0ライセンスで、マネージド版のDagster+もあります。

関連トピック

analyticsdagsterdata-engineeringdata-integrationdata-orchestratordata-pipelinesdata-scienceetlmetadatamlopsorchestrationpythonschedulerworkflowworkflow-automation

コメント(0

コメントするにはログインしてください。

同じカテゴリのOSS

Let's Build Together

OSS導入、自社だけで悩まない。

ツール選定から構築・運用・AI活用まで、オープンソースラボ運営元のClasslessが伴走します。初回のご相談は無料です。