airflow
ワークフロー自動化データパイプラインの定番ワークフローエンジン
Apache Airflowは、ワークフローをPythonコードで定義し、スケジュール実行・監視するためのオープンソースプラットフォームで、データパイプライン基盤のデファクトスタンダードです。処理の依存関係をDAG(有向非巡回グラフ)として記述し、Web UIから実行状況の確認、リトライ、ログ閲覧ができます。豊富なプロバイダーパッケージによりAWS、GCP、Snowflake、dbtなど数百のサービスと連携でき、コミュニティとエコシステムの規模は圧倒的です。Airbnb発でApacheソフトウェア財団により運営されています。ETL/ELTやMLパイプラインを安定運用したいデータエンジニアリングチームに向いており、各クラウドのマネージドサービス(MWAA、Cloud Composerなど)も存在するため移行パスも豊富です。
関連トピック
airflowapacheapache-airflowautomationdagdata-engineeringdata-integrationdata-orchestratordata-pipelinesdata-scienceeltetlmachine-learningmlopsorchestrationpythonschedulerworkflowworkflow-engineworkflow-orchestration
airflowの解説記事
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
n8n
ノードベースで業務を自動化するZapier代替の筆頭
ワークフロー自動化OtherTypeScript
spec-kit
💫 Toolkit to help you get started with SDD or any other process!
ワークフロー自動化MITPython
orca
Orca is the ADE for working with a fleet of parallel agents. Run any coding agent with your own subscription. Available on desktop, mobile and remote runtime.
ワークフロー自動化MITTypeScript
huginn
自分専用のエージェントを作る老舗自動化ツール
ワークフロー自動化MITRuby
conductor
耐障害性の高いイベント駆動エージェントワークフローエンジン
ワークフロー自動化Apache-2.0Java
kestra
宣言型のイベント駆動オーケストレーション基盤
ワークフロー自動化Apache-2.0Java