上QQ阅读APP看书,第一时间看更新
如何阅读本书
如果你是第一次接触Airflow,建议按照顺序阅读本书,并且参考书中的示例进行编码和实战。如果你已经对Airflow有一定的了解,可以把本书当成参考手册,直接查看需要学习的章节。以下是各章的基本介绍。
第1章介绍快速搭建集群的方法,Linux操作系统、macOS、Windows 10操作系统的用户都可以在其中找到对应的方案。
第2章介绍安装Airflow的方法,这一部分内容主要针对Ubuntu 20.04操作系统,使用Ubuntu其他版本或者使用其他Linux发行版的用户需要根据系统做适当的调整。
第3章介绍Airflow集群的部署方法,分为容器环境和非容器环境两部分。
第4章介绍Airflow中的核心概念——DAG、Task、DAG Run和Task Instance。
第5章介绍Airflow中的其他重要概念——XCom、Variable、Connection和Hook、Pool、Priority Weight、Cluster Policy以及Deferrable Operator和Trigger。
第6章介绍Airflow的架构和组件。Airflow有多种架构,各有优劣。
第7章介绍Airflow的系统管理,内容包括配置、安全、日志和监控、插件、模块管理、CLI、时区等。
第8章介绍实践经验,主要是笔者管理和运维Airflow集群的经验总结。
第9章介绍Airflow 2.3版本、2.4版本、2.5版本的新功能。
第10章介绍其他常见的调度系统,并且将它们与Airflow进行比较。
附录A为Docker简介。
附录B为Kubernetes简介。
由于编写时间仓促,笔者水平有限,书中难免会出现一些错误或者不准确的地方,恳请读者批评指正。期待能够得到你们的真挚反馈。