クイックスタートガイド(Docker Compose ワンクリックデプロイ)
チュートリアル動画
重要
デプロイ中に環境セットアップやタスクの動作エラーなどが発生した場合は、qData データ基盤公式のトラブルシューティング動画集を確認することをおすすめします。
この動画シリーズでは、よくある問題の調査方法を説明し、タスク失敗、タスクの追加や実行ができない、タスクインスタンスがないなどの典型的な場面を扱い、すばやく原因を特定して解決できるようにします。
はじめる前に
このガイドに向いている人
- qData に初めて触れ、機能をすばやく体験したい方
- 複雑な環境セットアップやフロントエンドのパッケージ作成に手間をかけたくない方
- 「ワンクリック起動」でプラットフォーム全体を手軽に体験したいユーザー
すぐに使える完全なデプロイパッケージを用意しています。内容は次のとおりです。
- ✅ フロントエンド静的アセット(パッケージ済みの
distフォルダー) - ✅ DolphinScheduler スケジューラー(追加インストール不要)
- ✅ Hadoop 一式(HDFS + YARN)
- ✅ Spark 3.5.6(展開済み)
- ✅ 事前設定済み
.env環境変数ファイル - ✅ 完全なディレクトリ構成とイメージパッケージ(手動ダウンロード不要)
大量の依存関係を手動で入れたり、フロントエンドをビルドしたり、複雑な設定を行ったりする必要はありません。パッケージを展開してスクリプトを実行するだけで、ビッグデータ基盤全体と qData を起動できます。
未経験でも簡単に始められ、10 分で qData を体験できます。
ステップ 1: Docker と Docker Compose をインストール
qData は Docker コンテナで動作するため、先に Docker と Docker Compose をインストールする必要があります。
- 推奨バージョン:
- Docker: ≥ v19.03
- Docker Compose: ≥ v2.20.2
Docker Desktop を直接ダウンロードしてインストールします。
インストール後、Docker Compose は自動的に含まれるため、追加インストールは不要です。
デプロイパッケージにはオフラインインストールパッケージとインストールスクリプトが同梱されているため、そのまま実行できます。
# Docker インストールパッケージディレクトリに移動
cd ~/qData/docker-install
# Docker コンポーネントをインストール
sudo dpkg -i containerd.io_1.6.9-1_amd64.deb docker-ce_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-ce-cli_24.0.7-1~ubuntu.20.04~focal_amd64.deb docker-compose-plugin_2.6.0~ubuntu-focal_amd64.deb
# 現在のユーザーを docker グループに追加(sudo を省略したい場合)
sudo usermod -aG docker $USER
newgrp docker
# インストール確認
sudo docker -v
# Example output: Docker version 24.0.7, build afdd5Docker Compose をインストールします。
# 実行権限を付与し、システムパスに移動
sudo chmod +x docker-compose
sudo mv docker-compose /usr/local/bin/docker-compose
# インストール確認
sudo docker-compose -v
# Example output: Docker Compose version v2.20.2ステップ 2: デプロイパッケージのダウンロード
🔗 Baidu Netdisk: https://pan.baidu.com/s/1sKgeBnMZmRnIr42_pVHmiw
🔑 展開コード: QQ コミュニティグループに参加し、Group Files で展開コードを確認してください。QQ ディスカッショングループに参加する
ダウンロード後、デプロイパッケージを展開してください。
ステップ 3: qData を起動
デプロイパッケージ内に docker.zip アーカイブがあります。まず展開してください。
展開後、~/qData/docker パスを開くと、多数の .yml ファイルが表示されます。
3.1 MySQL をメインデータベースとして使用
⚠️ ヒント: Dameng Database (DM8) を使用する場合は、この手順をスキップしてください。
ステップ 1: インストールディレクトリを開く
cd ~/(deployment package extraction location)ステップ 2: .env ファイルを編集
sudo vi .env次の設定を探し、dm8 を mysql に変更します。
# Database type, optional values: dm8 or mysql
DB_TYPE=mysql3.2 データベースを初期化(初回必須)
sudo docker-compose --profile schema up -d
💡 **MySQL** をメインデータベースとして使用する場合は、次を実行します。
sudo docker-compose -f docker-compose-mysql.yml --profile schema up -d⚠️ 注意: entrypoint.sh の権限問題
初回実行時に sudo docker-compose --profile schema up -d で権限エラーが発生したり、Windows の改行コード問題が発生したりする場合は、次のコマンドを順に実行してください。
# Add script permissions and fix line endings
cd ~/qData(deployment package extraction location)
sudo chmod -R 755 docker
sudo chown -R $USER:$USER ./docker
sed -i 's/\r$//' ./database/dm8/entrypoint.sh
sed -i 's/\r$//' ./database/dm8/entrypoint-arm64.sh
# Verify permissions
ls -l ./database/dm8/entrypoint.sh
# Expected: -rwxr-xr-x
# Run again
sudo docker-compose --profile schema up -d
💡 **MySQL** をメインデータベースとして使用する場合は、次を実行します。
sudo docker-compose -f docker-compose-mysql.yml --profile schema up -d3.3 qData を起動
確認する内容に応じて、軽量モードまたはフルモードを選択します。
軽量モード(light)
クイックデプロイや機能確認だけを行う場合は、DolphinScheduler と Spark を起動せずに qData を起動できます。
sudo docker-compose --profile light up -d
💡 **MySQL** をメインデータベースとして使用する場合は、次を実行します。
sudo docker-compose -f docker-compose-mysql.yml --profile light up -dフルモード(all)
すべての依存サービスを使用する場合は、引き続き all モードを使用します。
sudo docker-compose --profile all up -d
💡 **MySQL** をメインデータベースとして使用する場合は、次を実行します。
sudo docker-compose -f docker-compose-mysql.yml --profile all up -d3.4 デモデータを起動(任意)
組み込みデータソースで qData を確認する場合は、demo モードを別途起動します。demo モードは all から独立しています。
sudo docker-compose --profile demo up -d
💡 **MySQL** をメインデータベースとして使用する場合は、次を実行します。
sudo docker-compose -f docker-compose-mysql.yml --profile demo up -d3.5 ローカルソースコードから起動
ローカル開発に必要なミドルウェアだけを起動します。
# DM8
docker-compose --profile local up -d
# MySQL
docker-compose -f docker-compose-mysql.yml --profile local up -d⚠️ 注意: ポート占有の問題sudo docker-compose --profile all up -d でポートが占有されていると表示された場合:
- エラーメッセージに従って、サーバー上で該当ポートを占有しているプロセスを終了してください。
- または、デプロイパッケージ内の
*.yaml設定を編集し、80以外のポートマッピングをコメントアウトまたは削除してください。これはコンテナ内部の動作には影響しません。
5.5 その他のよく使うコマンド
⚠️ Tip:
以下のコマンドはallモードを例としています。軽量モードを起動した場合は、allをlightに置き換えてください。demoモードは別途管理します。カスタム
docker-compose-xxx.ymlファイルを使用する場合は、すべての起動コマンドでdocker-composeの後に-f docker-compose-xxx.ymlを追加してください。Example: sudo docker-compose -f docker-compose-mysql.yml --profile all up -d
すべてのサービスの実行状態を確認します。
sudo docker-compose --profile all psqData のすべてのサービスを一時停止します(データは失われません)。
sudo docker-compose --profile all stopすべてのサービスを再起動します。
sudo docker-compose --profile all restart完全に停止してデータを削除します(デフォルト環境に戻します)。
sudo docker-compose --profile all down
sudo docker-compose --profile schema downローカルソースコード起動に必要なミドルウェアを起動します。
docker-compose --profile local up -d⚠️
downwill clear data. If you want to keep data, use onlystop.
デプロイ完了
デプロイ完了後、次のアドレスにアクセスできます。
qData データプラットフォーム
http://<server IP>:80
アカウント:admin
パスワード:qData123Scheduler DolphinScheduler
http://<server IP>:12345/dolphinscheduler/ui/home
アカウント:admin
パスワード:dolphinscheduler123Spark バックエンド
http://<server IP>:8080/
DolphinScheduler と Spark は
allモードでのみ起動します。lightモードでこれらの URL にアクセスできないのは想定どおりです。
<server IP>は、サーバーのパブリック IP またはイントラネット IP に置き換えてください。
重要な注意
- 初回起動後は、すべてのコンテナが初期化を完了するまで 1-2 分 待つことをおすすめします。
docker psでコンテナの状態を確認できます。- サービスにアクセスできない場合は、サーバーファイアウォールで
80ポートが開放されているか確認してください。
