デプロイサーバーリソース仕様リファレンス

qData データ基盤システムの安定稼働と良好な性能を確保するため、システムデプロイに必要な最小構成と推奨構成のサーバーリソース一覧を以下に示します。プロジェクトの実際の規模と予算に応じて、適切な方案を選択してください。

最小構成要件

中小規模の業務またはテスト環境に適しています。実際の状況に応じてサーバーを統合デプロイできます。

番号	サーバー名	用途説明	OS	CPU仕様	メモリ仕様	ディスク構成	数量
1	データ基盤アプリケーションサーバー	qData フロントエンドとバックエンドサービスをデプロイします。ポータル、タスク管理、データリソース管理などのモジュールを含みます。	Ubuntu / Kylin	4	8	256G	1
2	DS スケジューラー	DolphinScheduler のフロントエンドとバックエンドサービス（疑似分散）をデプロイし、Redis と RabbitMQ ミドルウェアも同時に担います。	Ubuntu / Kylin	8	16	512G	1
3	Spark 実行エンジン	Spark 計算タスクを実行し、データデベロップメント、ETL スケジューリング、オフライン計算を支援します。	Ubuntu / Kylin	16	64	256G	1

重要な注意

• データ基盤アプリケーションサーバー と DSスケジューラー は、8コア 32G の1台のサーバーに統合デプロイできます。一般的な低コストサーバーで十分です。

推奨構成要件

本番環境や大規模業務要件に適しています。システムの安定性と拡張性を高めるため、分散高可用アーキテクチャの採用を推奨します。

番号	サーバー名	用途説明	OS	CPU仕様	メモリ仕様	ディスク構成	数量
1	データ基盤アプリケーションサーバー	qData フロントエンド/バックエンドサービス、ポータル、タスク管理、データリソース管理などのモジュールをデプロイします。	Ubuntu / Kylin	8	16G	256G SSD	1
2	DSスケジューラー Master ノード	DolphinScheduler Master ノードをデプロイし、スケジューリングタスクの調整を担当します。【推奨: 2ノードで HA モード（ZK 管理）を使用、現在は単一ノード】	Ubuntu / Kylin	8	16G	512G SSD	1
3	DSスケジューラー Worker ノード	DolphinScheduler Worker ノードをデプロイし、具体的なタスクを実行します。柔軟に拡張できます。	Ubuntu / Kylin	16	32G	256G SSD	2
4	ミドルウェアサーバー	Redis、RabbitMQ などのその他ミドルウェアをデプロイします。	Ubuntu / Kylin	4	16G	256G SSD	1
5	Spark Master ノード	Spark の制御ノードです。【推奨: 2ノードで HA モード（ZK 管理）を使用、現在は単一ノード】	Ubuntu / Kylin	8	16G	512G SSD	1
6	Spark Worker ノード	Spark のワーカーノードで、実際の計算タスク実行に使用します。柔軟に拡張できます。	Ubuntu / Kylin	16	64G	256G SSD	2
7	データサービスゲートウェイ / API ゲートウェイ	データサービスの統一アクセス、権限制御、レート制限などの機能を提供します。柔軟に拡張できます。	Ubuntu / Kylin	4	8G	128G SSD	2

推奨事項

• すべてのノードで SSD ディスク の使用を推奨し、読み書き性能を向上させます。
• プロジェクトの実際の同時実行量とデータ処理規模に応じて、Spark、DS Worker ノード数を適切に拡張できます。
• Ubuntu と Kylin システムはいずれも良好に対応しており、安定版の使用を推奨します。
• すべてのサーバーはイントラネット環境にデプロイし、権限とセキュリティを統一管理することを推奨します。