第一范文网 - 专业文章范例文档资料分享平台

大数据平台部署方案完整版

来源:用户分享 时间:2025/5/22 0:01:09 本文由loading 分享 下载这篇文档手机版
说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:xxxxxxx或QQ:xxxxxx 处理(尽可能给您提供完整文档),感谢您的支持与谅解。

2. 解压缩maven的安装包

tar -zxvf apache-maven-3.3.9-bin.tar.gz

3. 配置maven环境变量

vim .bash_profile

export MAVEN_HOME=/home/hadoop/apache-maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin

4. 测试maven是否配置成功

9

配置主机名

1. 在172.26.40.74执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Master1

执行如下命令查看主机名是否修改成功 service network restart hostname

2. 在172.26.40.75执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Master2

3. 在172.26.40.76执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Slave1

4. 在172.26.40.77执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Slave2

5. 在172.26.40.78执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Slave3

配置hosts映射

在所有节点添加如下配置: vi /etc/hosts

172.26.40.74 Master1 172.26.40.75 Master2 172.26.40.76 Slave1 172.26.40.77 Slave2 172.26.40.78 Slave3

新建hadoop用户

为所有节点新建一个hadoop用户

10

配置SSH免密码登录

配置主机之间hadoop用户的SSH免密码登录 1. 在所有节点执行如下命令以生成秘钥:

ssh-keygen -t rsa

2. 进入.ssh/目录,并复制id_rsa.pub文件生成一个新的文件 authorized_keys

3. 验证每个节点自己的免密码登录是否成功

11

4. 将其它节点的秘钥拷贝到Master1节点

ssh-copy-id -i Master1

5. 将Master1最终生成的密码拷贝到Master2、Slave1、Slave2、Slave3

6. 测试节点之间免密码登录是否配置成功

2. 安装Zookeeper

因为zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的,所以本次选择在Master1、Master2、Slave1、Slave2、Slave3上安装Zookeeper 1. 在Master1上解压安装Zookeeper

tar -zxvf zookeeper-3.4.8.tar.gz

修改配置文件

2. 修改配置文件zoo.cfg

12

搜索更多关于: 大数据平台部署方案完整版 的文档
大数据平台部署方案完整版.doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印
本文链接:https://www.diyifanwen.net/c4792u70snj4mu7526k929d31q9p63i00eeh_3.html(转载请注明文章来源)
热门推荐
Copyright © 2012-2023 第一范文网 版权所有 免责声明 | 联系我们
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ:xxxxxx 邮箱:xxxxxx@qq.com
渝ICP备2023013149号
Top