課程簡介

Apache Airflow 基本面回顧

  • 核心概念:DAG、運算符和執行流程
  • Airflow 架構和元件
  • 了解高級使用案例和工作流程

創建自定義運算子

  • 瞭解 Airflow 運算子的剖結構
  • 為特定任務開發自定義運算符
  • 測試和調試自定義運算符

定製挂鉤和感測器

  • 為外部系統集成實現鉤子
  • 創建用於監控外部觸發器的感測器
  • 使用自定義感測器增強工作流交互性

開發 Airflow 外掛程式

  • 瞭解外掛程式架構
  • 設計外掛程式以擴展 Airflow 功能
  • 管理和部署外掛程式的最佳實踐

將 Airflow 與外部系統整合

  • 將 Airflow 連接到資料庫、API 和雲端服務
  • 將 Airflow 用於 ETL 工作流和即時數據處理
  • 管理 Airflow 和外部系統之間的依賴關係

高級調試和監控

  • 使用 Airflow 日誌和指標進行故障排除
  • 為工作流問題配置警報和通知
  • 將外部監控工具與 Airflow 結合使用

優化性能和 Scala 能力

  • 使用 Celery 和 Kubernetes Executor 擴展 Airflow
  • 優化複雜工作流程中的資源利用率
  • 高可用性和容錯策略

案例研究和實際應用

  • 探索數據工程和 DevOps 中的高級用例
  • 案例研究:大規模 ETL 的自定義運算子實現
  • 管理企業級工作流的最佳實踐

總結和後續步驟

最低要求

  • 對 Apache Airflow 基礎知識有深入的理解,包括 DAG、運算符和執行架構
  • 熟練掌握 Python 程式設計
  • 集成數據系統和工作流編排的經驗

觀眾

  • 數據工程師
  • DevOps 工程師
  • 軟體架構師
 21 時間:

人數


每位參與者的報價

Provisional Upcoming Courses (Require 5+ participants)

課程分類