调度器组件部署

版本要求

组件	版本要求	备注
Spark	spark-3.4.4-bin-hadoop3+	推荐下载3.4.4

一、前期准备

1.1、创建目录

sudo mkdir -p /opt/soft
# 授权
sudo chmod -R 777 /opt/soft

1.2、上传

将 spark-3.4.4-bin-hadoop3.tgz 上传至 /opt/soft

1.3、解压并修改名称

#Spark 
cd /opt/soft
sudo tar -zxvf spark-3.4.4-bin-hadoop3.tgz
sudo mv spark-3.4.4-bin-hadoop3 spark

二、Spark 集群部署

2.1、 添加环境变量

# 添加环境变量
nano ~/.bashrc
# 在文件的末尾添加你的环境变量设置 export SPARK_MASTER_HOST=192.168.3.38  
# 192.168.3.38 为当前服务器的内网ip

#让环境变量生效
source ~/.bashrc

2.2、master部署

cd /opt/soft/spark
#启动master
./sbin/start-master.sh
#8080端口如果被占用，在conf/spark-env.sh中添加下方内容
export SPARK_MASTER_WEBUI_PORT=8077

2.3、slave部署

salve可部署在多台服务器中，如需部署多台只需在多台服务器中上传spark压缩包然后解压并启动slave

cd /opt/soft/spark
#启动master  192.168.3.38 为当前服务器的内网ip
./sbin/start-slave.sh spark://192.168.3.38:7077