hadoop2.6.0+HBase1.0.1.1安装+Hive安装+异常总结

1. cd /usr/local/hadoop-2.6.0/etc/hadoop 2. vim slaves 将原来 localhost 删除，把所有Slave的主机名写上，每行一个。例如我有两个 Slave节点，那么该文件内容就是： Slave1 Slave2 2, 文件 core-site.xml ，将原本的如下内容： 改为下面的配置。后面的配置文件的修改类似。 fs.defaultFS hdfs://Master:9000 hadoop.tmp.dir file:/usr/local/hadoop-2.6.0/tmp Abase for other temporary directories. 3, 文件hdfs-site.xml，因为只有两个Slave，所以dfs.replication的值设为2。

dfs.namenode.secondary.http-address Master:50090 dfs.namenode.name.dir file:/usr/local/hadoop-2.6.0/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop-2.6.0/tmp/dfs/data dfs.replication 2 4, 文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份： 1. cp mapred-site.xml.template mapred-site.xml 然后配置修改如下： mapreduce.framework.name yarn 5, 文件yarn-site.xml： yarn.resourcemanager.hostname Master yarn.nodemanager.aux-services mapreduce_shuffle 6,文件hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

配置好后，用scp命令将 Master 上的 Hadoop 文件复制到各个节点上。 1. cd /usr/local 2. rm -rf ./hadoop-2.6.0/tmp # 删除 Hadoop 临时文件 3. scp –r ./hadoop-2.6.0Slave1:/usr/local 4. scp –r ./hadoop-2.6.0Slave2:/usr/local 在Slave1上执行： 1. sudo chown -R hadoop:hadoop /usr/local/hadoop-2.6.0 切换 Hadoop 模式应删除之前的临时文件 切换 Hadoop 的模式，不管是从集群切换到伪分布式，还是从伪分布式切换到集群，如果遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹（未验证）。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 tmp 文件夹，重新执行一次 bin/hdfs namenode -format，再次启动试试。

然后在Master节点上就可以启动hadoop了。

1. cd /usr/local/hadoop-2.6.0/ 2. bin/hdfs namenode -format # 首次运行需要执行初始化，后面不再需要 3. sbin/start-all.sh 通过命令jps可以查看各个节点所启动的进程。 通过jps查看Master的Hadoop进程 可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。 通过jps查看Slave的Hadoop进程 Slave节点则启动了DataNode和NodeManager进程。 另外也可以在Master节点上通过命令bin/hdfs dfsadmin -report查看DataNode是否正常启动。例如我这边一共有2个Datanodes。