Spark大数据商业实战三部曲:内核解密|商业案例|性能调优
上QQ阅读APP看书,第一时间看更新

5.6 本章总结

本章主要讲解了Master、Worker的启动原理和源码详解;讲解了ExecutorBackend通信接口,以及ExecutorBackend与Executor的关系。ExecutorBackend负责与集群通信,而Executor则专注于任务的处理,它们是一对一的关系;讲解了Executor中任务执行的细节,包括任务的加载、任务线程池、任务执行失败处理、任务的载体TaskRunner。然后,本章整体上贯通Executor工作原理、ExecutorBackend注册源码、Executor实例化内幕、Executor具体工作内幕等内容。