cloudera 安装部署手册

clouderaCDH安装

功能名称： 编 写 人： 确 认 人： 业务名称： 编写日期： 确认日期： 2014-7-28

修订记录

日期 版本 作者/修改者

描述 审核人

目 录

1. 导言 ................................................................................................................................................ 6

1.1. 1.2. 1.3. 1.4.

说明................................................................................................................................ 6 集群节点 ....................................................................................................................... 6 硬件................................................................................................................................ 6 软件版本 ....................................................................................................................... 6

2. 准备工作 ........................................................................................................................................ 6

2.1. 2.2.

操作系统 ....................................................................................................................... 6 磁盘................................................................................................................................ 6 2.2.1. 2.2.2. 2.2.3. 2.3. 2.4.

是否需要raid ...................................................................................................... 6 磁盘划分............................................................................................................... 6 磁盘裸设备的挂载 .............................................................................................. 7

关闭防火墙 ................................................................................................................... 8 修改主机名并配置Hosts .......................................................................................... 8 2.4.1. 2.4.2.

修改主机名 .......................................................................................................... 8 设置每台主机的hosts ...................................................................................... 8

2.5. ssh免登陆配置 ............................................................................................................ 9 2.5.1. 2.5.2.

创建公钥和密钥 .................................................................................................. 9 配置与其他机器的免密码登陆 ....................................................................... 11

2.6. 同步集群时间ntp ..................................................................................................... 11 2.6.1. 2.6.2. 2.6.3.

配置ntp server集群时钟 .............................................................................. 12 ntp客户端配置................................................................................................. 13 测试 ..................................................................................................................... 14

2.7. 上传安装包以及搭建yum源 ................................................................................. 16

2.7.1. 2.7.2. 2.7.3. 2.7.4. 2.7.5. 2.7.6. 2.7.7.

安装cloudera需要的文件如下安装包 ........................................................ 16 上传yum源需要的文件到 /var/www/html目录下 ............................... 16 启动httpd服务 ............................................................................................... 16 测试HTTPD ...................................................................................................... 17 编辑yum源配置文件 ..................................................................................... 18 安装createrepo .............................................................................................. 20 创建源索引 ........................................................................................................ 20

3. cm安装 ....................................................................................................................................... 20

3.1. 3.2.

上传cm安装启动程序 ............................................................................................ 20 安装cm的install.bin ............................................................................................. 20

4. cdh安装 ...................................................................................................................................... 24

4.1. 4.2. 4.3. 4.4.

登陆CM ...................................................................................................................... 24 指定主机 ..................................................................................................................... 25 群集安装 ..................................................................................................................... 26 安装parcel ................................................................................................................ 26 4.4.1. 4.4.2. 4.5. 4.6. 4.7. 4.8. 4.9. 4.10.

配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1 ............................... 26 配置parcel ........................................................................................................ 27

选择parcel和cm等 ............................................................................................... 30 安装CM JDK和分发数据包等 ............................................................................... 32 分配parcel ................................................................................................................ 34 检查各个主机 ............................................................................................................. 34 选择需要安装的服务 ................................................................................................ 35 分配角色并安装 ......................................................................................................... 36

5. 验证和使用 .................................................................................................................................. 39

5.1. 5.2.

zookeeper ................................................................................................................. 39 hbase .......................................................................................................................... 39