基于Apache Kylin构建大数据分析平台
上QQ阅读APP看书,第一时间看更新

4.1 系统环境和安装包

4.1.1 系统环境

主机环境:

        10.20.22.202    SZB-L0020040
        10.20.22.204    SZB-L0020041
        10.20.22.209    SZB-L0020042
        10.20.22.210    SZB-L0020043

操作系统:CentOS 6.7(Final)x64。

CM和CDH的版本号:5.7.0。

组件规划(根据自己的实际情况,进行组件规划),如表4-1所示。

表4-1

提示

CDH集成的组件比较多,比如Spark、Oozie、Solr、Hue等,根据自己的要求动态扩容。同时每个节点部署的组件不宜过多,根据组件的CPU和内存占用,对磁盘读写、网络带宽等进行合理规划。

4.1.2 安装包的下载

1.安装说明

官方参考文档(第三种安装方式:手工离线安装方式):

        http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_
    install_path_c.html

2.相关包的下载地址

Cloudera Manager下载地址:

        http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-
    cm5.7.0_x86_64.tar.gz

CDH安装包地址:http://archive.cloudera.com/cdh5/parcels/5.7.0/,由于我们的操作系统为CentOS 6.7,需要下载以下文件:

        CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
        CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
        manifest.json

CDH 5.6.x支持的JDK版本如表4-2所示:

表4-2

本环境使用的JDK为:

        http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/RPMS/x86_64/
    oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

当然如果需要,你也可以直接使用1.7.0_80版本的JDK。

CM和其支持的服务可以使用如下的数据库:

● MySQL -5.1、5.5和5.6

● MariaDB 5.5

● PostgreSQL -8.1、8.3、8.4、9.1、9.2、9.3和9.4

● Oracle 11gR2和12c

Cloudera Manager和CDH支持的Oracle JDBC Driver完整版本号为:使用JDK 6编译的Oracle 11.2.0.3.0 JDBC 4.0,这个驱动的Jar包名字为ojdbc6.jar。

这里使用的数据库为MySQL,具体包为:

mysql-advanced-5.6.21-linux-glibc2.5-x86_64.tar.gz