Hadoop云计算平台搭建最详细过程（共22页） - 图文

Hadoop云计算平台及相关组件搭建安装过程详细教程

——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等

一．安装环境简介

根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。

实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示： （1） 网络拓补图如六所示：

图六 完全分布式网络拓补图

（2） 硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves

处理器、内存、硬盘等参数要求根据情况而定。

（3） 软件要求

操作系统64位Ubuntu12.04.4 JDK版本:jdk-7u51-linux-x64.tar.gz

NO. 1 Project Hardware environment Operation system JDK Hadoop Zookeeper HBase Pig Hive Ganglia Eclipse Hadoop for eclipse plugin Chukwa Version CPU: Intel 2.00 GHz Disk : 150GB Memory: 2.00GB Ubuntu-12.04 jdk-7u51-linux-x64.tar.gz hadoop-1.2.1.tar.gz zookeeper-3.4.6.tar.gz Hbase-0.94.20.tar.gz pig-0.12.0.tat.gz hive-0.12.0.tar.gz Eclipse standard 4.3.2 Hadoop-eclipse-plugin-1.2.1.jar （可选） Content Master/NameNode IP:192.168.100.90 Slave1/DataNode IP:192.168.100.105 Slave2/DataNode IP:192.168.100.106 64-bit /usr/bin/jvm/jdk1.7.0_51 /home/majiangbo/hadoop-1.2.1 /home/majiangbo/hadoop-1.2.1/zookeeper-3.4.6 /home/majiangbo/hadoop-1.2.1/hbase-0.94.20 /home/majiangbo/hadoop-1.2.1/pig-0.12.0 /home/majiangbo/hadoop-1.2.1/hive-0.12.0 /home/majiangbo/hadoop-1.2.1/ /home/majiangbo/eclipse /home/majiangbo/eclipse/plugins 2 3 4 5 6 7 8 9 10 11 12

并且所有机器均需配置SSH免密码登录。

二． Hadoop集群安装部署

目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色：

192.168.100.90——master，namenode，jobtracker——master（主机名） 192.168.100.105——slave，datanode，tasktracker——slave1（主机名） 192.168.100.106——slave，datanode，tasktracker——slave2（主机名）

实验环境搭建平台如图七所示：

图七 hadoop集群实验平台

并且，Hadoop要求集群上每台的用户账户名和密码相同。具体安装步骤如下： 1. 下载和安装JDK,版本为jdk-7u51-linux-x64.tar.gz

（1） JDK的安装目录为/usr/lib/jvm，创建此文件夹，在终端输入命令：

mkdir /usr/lib/jvm

（2） 权限不够的话重新改下用户密码就可以了，命令: sudo passwd,之后重新输

入密码。

（3） 移动jdk到/usr/lib/jvm，并解压,然后为了节省空间删除安装包。命令:

mv jdk--7u51-linux-x64.tar.gz /usr/lib/jvm tar –zxvf jdk--7u51-linux-x64.tar.gz rm –rf jdk--7u51-linux-x64.tar.gz

2. 配置环境变量

在终端输入命令：sudo gedit /etc/profile

打开profile文件，在文件最下面输入如下内容，如图八所示：

图八 JAVA环境变量设置

即为：

# set java environment

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51 export CLASSPATH=”.:$JAVA_HOME/lib:$CLASSPATH” export PATH=”$JAVA_HOME/:$PATH”

这一步的意义是配置环境变量，使系统可以找到jdk。 3. 验证JDK是否安装成功

（1） 输入命令：java –version，如图九所示。如果出现java版本信息，说明当

前安装的jdk并未设置成ubuntu系统默认的jdk，接下来还需要手动将安装的jdk设置成系统默认的jdk。

图九 java版本信息

（2） 手动设置需输入以下命令：

sudo update-alternatives –install /usr/bin/java java /usr/lib/jvm/jdk1.7.0-51/bin/java 300 sudo update-alternatives –install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_51/javac 300 sudo update-alternatives –config java

然后输入java –version就可以看到所安装的jdk的版本信息。

4. 三台主机上分别设置/etc/hosts和/etc/hostname

Hosts这个文件用于定义主机名和IP地址之间的对应关系，而hostname这个文件用于定义你的Ubuntu的主机名。

（1） 修改/etc/hosts,命令sudo gedit /etc/hosts

127.0.0.1 localhost 192.168.100.90 master 192.168.100.105 slave1 192.168.100.106 slave2

（2） 修改/etc/hostname，命令 sudo gedit /etc/hostname(修改完重启有效)

master

以及slave1 ，slave2