☰
第2节 spark节点配置
2026/10/6 2:42:01 网站建设 项目流程

1. 明确要配的节点,主机名,地址,IP角色

主节点 master 192.168.56.10 NameNode, ResourceManager, Spark Master
从节点1 slave1 192.168.56.11 DataNode, NodeManager, Spark Worker
从节点2 slave2 192.168.56.12 DataNode, NodeManager, Spark Worker

三台机子都要配,下面以slave2为例

2. VMware服务检查

用 win + R 建,打开windows终端,输入 services.msc 后点击 确定 键

services.msc

运行后进入服务页面,找出并启动下图圈出的这两个服务

3. 查看目前IP地址

在虚拟机中右键,打开终端,输入ip a 或 ip addr 或者 ifconfig

ip a

4. 手动配置静态IP

在slave2虚拟机的终端里输入命令配置ifcfg-ens33文件

sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33

用 I 键,进入插入模式,修改文件内容,需要改的地方如下:

  • 修改部分

BOOTPROTO=static

IPADDR=192.168.56.12(不同主机需要相应的变化,slave1 把12改成11,master把12改成10)

NETMASK=255.255.255.0

GATEWAY=192.168.56.1

BOOTPROTO=static IPADDR=192.168.56.12 NETMASK=255.255.255.0 GATEWAY=192.168.56.1
  • 删除内容

带IPV4,IPV6的行都删了

修改完如图所示

修改完内容后,先点击 esc 键,再输入 : 和 wq! 保存并退出

5. 设置主机名

执行命令修改hostname,改名为slave2

sudo hostnamectl set-hostname slave2

配置hosts文件

sudo vi /etc/hosts

添加圈出来的内容,最后文件内容如图所示

master 192.168.56.10 slave1 192.168.56.11 slave2 192.168.56.12

6. 关闭防火墙

sudo systemctl stop firewalld sudo systemctl disable firewalld

7. 关闭SELinux

(新手建议关闭)

sudo setenforce 0 sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

8. 查看当前IP地址

先输入命令重启网卡,如下图所示

sudo nmcli connection reload sudo nmcli connection up ens33

再输入 ip a(或者图中的命令查看,都可以,一样效果) 查看ip地址是否已经修改,修改成功后地址应如下图所示(肯定和之前的不一样)

ip a

  • 注意:如果前面步骤均操作且检查后无错误,但地址依旧未修改。(以虚拟机master为例,)

  1. 用 win + R 建,打开windows终端,输入 cmd 后点击 确定 键,打开windows终端
  2. 输入并执行命令 ssh-keygen -R 192.168.56.10 (不同主机需要相应的变化,slave1 把12改成11,master把12改成10)
  3. 再输入并执行命令 ssh gh33@192.168.56.10,选择 yes,输入该虚拟机密码,然后就可以了

(到这里这节内容就完成了,以下检查环节)

9. 检查

检查IP是否修改

SSH服务是否启动成功

以及hostname是否修改成功

ip addr show ens33 sudo systemctl status sshd hostname

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询