Airflow实战

封面

版权信息

版权

内容提要

前言

为什么要写这本书

本书特色

读者对象

如何阅读本书

致谢

第1章 快速搭建Airflow集群

1.1 准备工作

1.1.1 安装kubectl

1.1.2 安装Docker和kind

1.1.3 安装Helm

1.2 创建Kubernetes集群

1.3 使用Helm部署Airflow集群

1.4 运行示例

1.5 本章小结

第2章 安装Airflow

2.1 在非容器化环境中基于PyPI安装Airflow

2.1.1 准备工作

2.1.2 安装Airflow

2.1.3 升级Airflow

2.2 在容器化环境中扩展Airflow官方的镜像

2.3 本章小结

第3章 部署Airflow集群

3.1 在非容器化生产环境中部署Airflow

3.1.1 基于Celery Executor的部署

3.1.2 基于Dask Executor的部署

3.2 在容器化生产环境中部署Airflow

3.2.1 基于Celery Executor的部署

3.2.2 基于Kubernetes Executor的部署

3.2.3 基于CeleryKubernetes Executor的部署

3.3 本章小结

第4章 DAG相关概念

4.1 DAG简介

4.1.1 构造DAG

4.1.2 加载DAG

4.1.3 运行DAG

4.2 Task

4.2.1 Task的类型

4.2.2 TaskGroup

4.2.3 Task的超时处理

4.3 DAG Run和Task Instance

4.4 本章小结

第5章 其他概念

5.1 XCom

5.1.1 XCom的使用场景

5.1.2 如何使用XCom

5.2 Variable

5.2.1 通过Webserver UI配置Variable

5.2.2 通过环境变量配置Variable

5.2.3 通过其他方式配置Variable

5.3 Connection和Hook

5.3.1 基本概念

5.3.2 Connection的配置

5.3.3 Connection和Hook的使用

5.3.4 SSHHook源代码分析

5.4 Pool

5.4.1 Pool的设置

5.4.2 Pool的使用

5.5 Priority Weight

5.6 Cluster Policy

5.6.1 Cluster Policy的使用场景和类型

5.6.2 具体示例

5.7 Deferrable Operator和Trigger

5.7.1 使用Deferrable Operator和Trigger

5.7.2 从源代码分析Deferrable Operator和Trigger

5.8 本章小结

第6章 架构和组件

6.1 架构

6.2 Scheduler

6.2.1 解析DAG文件

6.2.2 调度DAG和Task

6.2.3 运行Task Instance

6.3 Webserver

6.3.1 UI

6.3.2 REST API

6.4 Triggerer

6.5 本章小结

第7章 系统管理

7.1 配置

7.1.1 如何管理配置

7.1.2 特殊的配置

7.1.3 配置的优先级

7.2 安全

7.2.1 访问控制

7.2.2 API认证

7.2.3 Webserver UI安全

7.2.4 数据安全

7.3 日志和监控

7.3.1 日志和监控的架构

7.3.2 日志

7.3.3 监控

7.4 插件

7.4.1 插件的安装和加载

7.4.2 如何实现插件

7.5 模块管理

7.5.1 如何添加Python模块