Spark集群搭建与测试 - 图文

精通Spark集群搭建与测试

1. 安装 VMwareWorkstation 软件 推荐官方下载最新版，下载地址：

https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1210-WIN&productId=524&rPId=9763

2. 运行VMwareWorkstation，新建4台虚拟机，并安装Ubuntu操作系统 Ubuntu下载地址:http://www.ubuntu.org.cn/download/alternative-downloads

需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共享IP上网：

按照下图指定Ubuntu的iso文件，然后点击?power on this virtual machine?,然后按照提示一步步走下去即可完成操作系统的安装。

注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。

注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏显示，推荐安装VMwareTools.方法如下：

a. tar -xzvf VMwareTools-9.6.0-1294478.tar.gz b. cd vmware-tools-distrib/ c. sudo ./vmware-install.pl d. 然后一路回车即可

3. 为了简化后续操作中的权限问题，我们在这里配置为root账户登录系统，方法如下：

a. 进入root用户权限模式：sudo–s b. vim /etc/lightdm/lightdm.conf

[SeatDefaults] user-session=ubuntu

greeter-session=unity-greeter greeter-show-manual-login=true allow-guest=false

c. 为root账号设置密码: sudopasswd root

d. 重新启动系统后，即可用root账号登录： reboot -h now

注1：如果系统提示vim没有安装的话，可以通过apt-get install vim安装。 注2：切换为root账户登录后，如果遇到以下问题：

请按以下方法解决：vim /root/.profile，将“mesg n”，更改为“tty -s &&mesg n”。 4. 在各个节点修改节点名称，并配置ip地址和hostname的对应关系：

a. vim /etc/hostname, 将4台节点分别命名为master,worker1,worker2,worker3 b. Restart使更改生效

c. 验证hostname更改是否生效：用hostname命令

d. 在各个节点修改ip地址和hostname的对应关系: vim /etc/hosts e. 验证hostname和ip的映射关系是否正确:用ping 命令

注1：用hostname命令验证更改是否生效：

注2：用ifconfig来查看当前节点的ip: