大数据平台部署方案完整版

来源：用户分享时间：2025/5/22 6:42:45 本文由

说明：文章内容仅供预览，部分内容可能不全，需要完整文档或者需要复制内容，请下载word后使用。下载word有问题请添加微信号:xxxxxxx或QQ：xxxxxx 处理（尽可能给您提供完整文档），感谢您的支持与谅解。

支持多种部署方式 ..................................................................................................................................... 55 编译Tachyon .............................................................................................................................................. 56

下载并上传源代码 ................................................................................................................................. 57 编译代码 ................................................................................................................................................. 58

集群模式部署Tachyon .............................................................................................................................. 58

集群环境 ................................................................................................................................................. 58 基于Zookeeper的Fault Tolerant Tachyon Cluster 实现 ....................................................................... 59

Tachyon环境变量 ...................................................................................................................................... 63 Tachyon通用配置 ...................................................................................................................................... 63 TachyonMaster配置 ................................................................................................................................... 64 TachyonWorker配置 .................................................................................................................................. 64 用户配置 ..................................................................................................................................................... 65 在Spark中使用Tachyon ........................................................................................................................... 66 在MapReduce中使用Tachyon ................................................................................................................. 66

12.

Hue安装 ........................................................................................................................................... 66

下载编译源码包 ......................................................................................................................................... 66 Hue环境配置 ............................................................................................................................................. 68

HDFS配置 ................................................................................................................................................ 68 Yarn配置 ................................................................................................................................................. 70 Hive配置 ................................................................................................................................................. 71 HBase配置 .............................................................................................................................................. 71 Zookeeper配置 ....................................................................................................................................... 72

1. 环境配置

主机地址

主机地址用户名密码 172.26.40.74 root cloud4c 172.26.40.75 root cloud4c 172.26.40.76 root cloud4c 172.26.40.77 root cloud4c 172.26.40.78 root cloud4c 查看服务器硬件环境信息

查看CPU型号：

cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq –c

查看物理CPU颗数：

cat /proc/cpuinfo | grep physical | uniq –c

四颗一核的CPU

查看CPU运行模式： getconf LONG_BIT

查看CPU是否支持64位：

cat /proc/cpuinfo | grep flags | grep ' lm ' | wc –l

结果大于0, 说明支持64bit计算. lm指long mode, 支持lm则是64bit

查看操作系统版本和内核

查看操作系统版本：

cat /etc/issue或者 lsb_release -a

查看内核信息：

关闭防火墙和SELinex

1. 关闭防火墙：

service iptables stop（临时关闭） chkconfig iptables off（重启后生效）

2. 关闭SELINUX，SELinux功能是一种强制存取控制的实现，能够进一步的增强Linux系统的安全性，但

是开启此项功能会给初学者带来很多的不便，大多都关闭此项功能 ? setenforce 0 （临时生效）

? 修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

所有主机时间同步

1. 查看目前主机时间：

date

2. 修改时间：

date -s 00:00:00

3. 时间同步(主机)，将172.26.40.74的本地时钟作为时间供给源，这样，即便它失去网络连接，它也可

以继续为网络提供服务 yum install ntp vi /etc/ntp.conf server 127.127.1.0

fudge 127.127.1.0 stratum 10 4. 重新启动服务

service ntpd stop service ntpd start

5. 其他机器同步，等待大概五分钟，再到其他机上同步该机器时间（先确保时区一样，否则同步以后时

间也是有时区差的） ntpdate 172.26.40.74 6. date查看时间是否同步完成

安装JDK

1. 查看Linux自带的JDK是否已安装：

java –version

2. 获得如下信息，表明有自带JDK需要卸载

3. 查看jdk的信息：

rpm -qa|grep java

4. 卸载自带的jdk：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

5. 解压安装新的Oracle JDK，将jdk-7u79-linux-x64.tar.gz放在/usr/local目录下，解压tar -zxvf jdk-7u79-linux-x64.tar.gz 6. 配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin:

export CLASS_PATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar 7. 查看JDK是否配置成功

source /etc/profile java –version

8. 卸载自己安装的JDK方法

rpm -e --nodeps jdk-1.7.0_67（jdk-1.7.0_67为自己安装的JDK版本）

Maven安装

1. 去maven官网下载maven的安装包，并上传。

搜索更多关于：大数据平台部署方案完整版的文档

大数据平台部署方案完整版.doc 将本文的Word文档下载到电脑，方便复制、编辑、收藏和打印

下载这篇word文档

本文链接：https://www.diyifanwen.net/c4792u70snj4mu7526k929d31q9p63i00eeh_2.html（转载请注明文章来源）