Spark大数据处理:技术、应用与性能优化
上QQ阅读APP看书,第一时间看更新

第2章

Spark集群的安装与部署

Spark的安装简便,用户可以在官网上下载到最新的软件包,网址为http://spark.apache.org/。

Spark最早是为了在Linux平台上使用而开发的,在生产环境中也是部署在Linux平台上,但是Spark在UNIX、Windwos和Mac OS X系统上也运行良好。不过,在Windows上运行Spark稍显复杂,必须先安装Cygwin以模拟Linux环境,才能安装Spark。

由于Spark主要使用HDFS充当持久化层,所以完整地使用Spark需要预先安装Hadoop。下面介绍Spark集群的安装和部署。