CDH5.1.0hadoop-2.3.( 2+3)0完全分布式集群配置及HA配置

Hadoop-2.3.0-cdh5.1.0完全分布式集群配置及HA配置（冰峰）

方式: 2个master + 3个slave hadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置

重点说明:

为了部署HA集群，应该准备以下事情：

* NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。

* JournalNode服务器：运行的JournalNode进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。当运行N个节点时，系统可以容忍至少(N-1)/2个节点失败而不影响正常运行。

一、安装前准备：

操作系统：CentOS 6.5 64位操作系统

环境：jdk1.7.0_45以上，本次采用jdk-7u72-linux-x64.tar.gz master1 192.168.100.151 namenode 节点 master2 192.168.100.152 namenode 节点 slave1 192.168.100.153 datanode 节点 slave2 192.168.100.154 datanode 节点 slave3: 192.168.100.155 datanode 节点

注：Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉，重新安装 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 软件版本：hadoop-2.3.0-cdh5.1.0.tar.gz, zookeeper-3.4.5-cdh5.1.0.tar.gz 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 开始安装： 二、jdk安装

1、检查是否自带jdk rpm -qa | grep jdk

java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

2、卸载自带jdk

yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

安装jdk-7u72-linux-x64.tar.gz

在usr/目录下创建文件夹java,在java文件夹下运行 tar –zxvf jdk-7u72-linux-x64.tar.gz 解压到java目录下

[root@master01 java]# ls jdk1.7.0_72

三、配置环境变量 远行vi /etc/profile

# /etc/profile

# System wide environment and startup programs, for login setup # Functions and aliases go in /etc/bashrc

export JAVA_HOME=/usr/local/java/jdk1.7.0_65 export JRE_HOME=/usr/local/java/jdk1.7.0_65/jre export CLASSPATH=/usr/local/java/jdk1.7.0_65/lib export PATH=$JAVA_HOME/bin: $PATH

保存修改，运行source /etc/profile 重新加载环境变量 运行java -version

[root@master01 java]# java -version java version \

Java(TM) SE Runtime Environment (build 1.7.0_72-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode) Jdk配置成功

四、系统配置

预先准备5台机器，并配置IP,以下是我对这5台机器的角色分配。

ip地址 主机名 NameJournalNode DataNode ZK Node 192.168.100.151 Master1 192.168.100.152 Master2 192.168.100.153 Slave1 192.168.100.154 Slave2 192.168.100.155 Slave3 是[主] 是 是[从] 是 是 是 是 是 是 是 是 是 是 是 是 是 是 HMster HRegionServer journalnode共享文件集群,这个配置要注意,保证是奇数个子节点,具体在哪几台无关 ZooKeeper 保证是奇数个子节点,具体在哪几台无关

关闭防火墙

chkconfig iptables off(永久性关闭) 配置主机名和hosts文件

[root@master01 java]# vi /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.100.151 master1 192.168.100.152 master2 192.168.100.153 slave1 192.168.100.154 slave2 192.168.100.155 slave3

按照不同机器IP配置不同的主机名

SSH无密码验证配置

ssh-keygen -t rsa //每个节点都要执行

cp id_rsa.pub authorized_keys //主节点执行就行.之后直接scp到其他节点即可

4.ss-copy-id -i master1 //在master2 slave1 slave2 slave3节点上都执行一次 或者执行:在master1上执行:

scp -r ~/.ssh/authorized_keys master2:~/.ssh/ scp -r ~/.ssh/authorized_keys slave1:~/.ssh/ scp -r ~/.ssh/authorized_keys slave2:~/.ssh/ scp -r ~/.ssh/authorized_keys slave3:~/.ssh/

[root@slave01 ~]# 免密码登陆不同节点,手动登陆时已被写入免密码登陆 Master1->master1 Master1->slave1 Master1->slave2 Master1->slave3 Master2->master2 Master2->slave1 Master2->slave2 Master2->slave3 执行相同的操作。

五、安装Hadoop

建立文件目录 /usr/local/cloud cloud下创建文件夹: mkdir data 存放数据

Data下mkdir logs日志文件

解压tar zxvf haooop原文件, mv hadoop* hadoop

解压tar zxvf zookeeper原文件 mv zookeeper* zookeeper

-----------------注意环境变量的配置-----

export JAVA_HOME=/usr/local/java/jdk1.7.0_72 export JRE_HOME=/usr/local/java/jdk1.7.0_72/jre

export ZOOKEEPER_HOME=/usr/local/cloud/zookeeper export HADOOP_HOME=/usr/local/cloud/hadoop

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/*.jar:$JAVA_HOME/jre/lib/*.jar Export

PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH -----------------------

[root@slave01 cloud]# ls data hadoop zookeeper

5.1、配置hadoop-env.sh

进入到/usr/local/cloud/hadoop/etc/hadoop目录下 配置vi hadoop-env.sh hadoop运行环境加载 export JAVA_HOME=/usr/local/java/jdk1.7.0_72

在末尾添加两行:

export HADOOP_COMMON_LIB_NATIVE_DIR=/usr/local/cloud/hadoop/lib/native

export HADOOP_OPTS=\[注意此两行是为了解决如下情况的:]浏览器输入 http://master1:9000/ ·显示如下的一段文字，

It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.

5.2、配置core-site.xml

fs.defaultFS hdfs://nn1

fs.default.name # 如果想上传数据就启用hdfs存文件配置,才可以 hdfs://master1:9000

,namenode节点该目录不可以删除，该路径任意指定,否则需要重新格式化-->

hadoop.tmp.dir

/usr/local/cloud/data/hadoop/tmp

hadoop.proxyuser.root.hosts master1

hadoop.proxyuser.root.groups *

ha.zookeeper.quorum 这里要和hdfs-site.xml里保持一致 master1:2181,slave1:2181,slave2:2181

(2)hdfs-site.xml配置

dfs.namenode.name.dir

/usr/local/cloud/data/hadoop/dfs/nn

dfs.datanode.data.dir

/usr/local/cloud/data/hadoop/dfs/dn

dfs.support.append #做优化使用的配置部分 true

dfs.datanode.max.xcievers 4096

dfs.replication 3

dfs.webhdfs.enabled true

dfs.permissions false

dfs.nameservices nng

搜索“diyifanwen.net”或“第一范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，第一范文网，提供最新小学教育CDH5.1.0hadoop-2.3.( 2+3)0完全分布式集群配置及HA配置 全文阅读和word下载服务。