スケジューラーコンポーネントデプロイ

バージョン要件

コンポーネント	バージョン要件	備考
Spark	spark-3.4.4-bin-hadoop3+	3.4.4 のダウンロードを推奨

1. 事前準備

1.1 ディレクトリを作る

sudo mkdir -p /opt/soft
# 権限を付与
sudo chmod -R 777 /opt/soft

1.2 アップロード

spark-3.4.4-bin-hadoop3.tgz を /opt/soft へアップロードします。

1.3 展開して名前を変更

# Spark 
cd /opt/soft
sudo tar -zxvf spark-3.4.4-bin-hadoop3.tgz
sudo mv spark-3.4.4-bin-hadoop3 spark

2. Spark クラスターデプロイ

2.1 環境変数を加える

# 環境変数を加える
nano ~/.bashrc
# ファイル末尾に環境変数を加える: export SPARK_MASTER_HOST=192.168.3.38  
# 192.168.3.38 は現在のサーバーのプライベートIPです

# 環境変数を有効化
source ~/.bashrc

2.2 master デプロイ

cd /opt/soft/spark
# master を起動
./sbin/start-master.sh
# ポート 8080 が使用中の場合、conf/spark-env.sh に次の内容を加える
export SPARK_MASTER_WEBUI_PORT=8077

2.3 slave デプロイ

slave は複数サーバーへデプロイできます。複数台にデプロイする場合は、各サーバーへ Spark アーカイブをアップロードし、展開して slave を起動します。

cd /opt/soft/spark
# slave を起動。192.168.3.38 は現在のサーバーのプライベートIPです
./sbin/start-slave.sh spark://192.168.3.38:7077