centos6.5上搭建完全式hadoop2.7.2

Centos6.5系统搭建完全式hadoop2.7.2

一、在4台服务器上分别安装Centos6.5系统

四台服务器网络配置完成后ip分别为： 10.245.55.172 10.245.55.174 10.245.55.176 10.245.55.178

二、在Centos6.5上安装hadoop2.7.2

1， 修改主机名和/etc/hosts文件

vim /etc/sysconfig/network HOSTNAME=master 重启后生效

vim /etc/hosts 在行尾添加四行 10.245.55.172 master 10.245.55.174 slave1 10.245.55.176 slave2 10.245.55.178 slave3

2，配置免密码登录SSH

1，生成密钥

ssh-keygen -t -rsa 出提示后然后一直按回车到结束 2，将id_dsa.pub（公钥）追加到授权的key中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3，将认证文件复制到其他节点上

scp ~/.ssh/authorized_keys root@10.245.55.174:~/.ssh/ scp ~/.ssh/authorized_keys root@10.245.55.176:~/.ssh/ scp ~/.ssh/authorized_keys root@10.245.55.178:~/.ssh/

4，测试

ssh slave1 ssh slave2 ssh slave3

其他节点也按照此方法进行配置，最后实现互相无密码登录ssh

3，各节点安装JDK

选择的版本是jdk-7u79-linux-x64.tar.gz chmod 777 jdk-7u79-linux-x64.tar.gz mkdir /usr/java

tar –zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java

配置环境变量：vi /etc/profile加入以下三行 #JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.7.0_79 export $PATH=$JAVA_HOME/bin:$PATH

执行source /etc/profile使环境变量的配置生效 执行java –version查看jdk版本，查看是否成功。

4, 各节点

Hadoop的安装

1，选择的版本是hadoop-2.7.1.tar.gz

mkdir /usr/hadoop 新建文件夹 放置hadoop文件

tar –zxvf hadoop-2.7.1.tar.gz -C /usr/hadoop

在/usr/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/name、hdfs/data mkdir tmp mkdir hdfs

mkdir hdfs/name mkdir hdfs/data

2，添加环境变量 vim /etc/profile 尾部添加几行

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.2

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH cd

设置立即生效：

source /etc/profile

cd ~

hadoop version查看版本

3，配置Hadoop配置文件

/usr/hadoop/hadoop-2.7.2/etc/hadoop （1） core-site.xml

fs.defaultFS

hdfs://10.245.55.172:9000

hadoop.tmp.dir file:/usr/hadoop/tmp

（2） hdfs-site.xml

dfs.namenode.name.dir file:/usr/hadoop/dfs/name

dfs.datanode.data.dir file:/usr/hadoop/dfs/data

dfs.replication 3

dfs.namenode.secondary.http-address 10.245.55.172:9001

dfs.webhdfs.enabled true