データ統合

千桐テクノロジー2026/06/11約8分ユーザーガイド

機能概要

データ統合は、異種データソース間のデータ同期タスクを作成・設定・実行するための機能です。DataX 軽量タスクと Spark 分散タスクをサポートし、入力、変換、出力ノードを組み合わせて同期フローを構築します。

簡単に言えば、ソース表からデータを読み取り、必要に応じて変換し、ターゲット表またはデータソースへ書き込む同期ジョブを作成します。

DataX は軽量なデータ同期場面に適し、単純な表間同期、少量から中量のデータ転送、環境依存を抑えたいタスクで利用しやすい方式です。設定が直接的で、一般的な関係型データベース間の同期に向いています。

Spark は分散計算能力を利用し、大規模データの読み書き、複雑な変換、広い表、長時間バッチ、クラスター資源が必要な同期処理に適します。複数 Executor による並列処理により、データ量が大きい場合でも処理能力を拡張できます。

データベース間同期、データ入湖、データウェアハウス取込、ODS から DWD への加工、定期バッチ同期、プロジェクト内のデータ流通処理に適用します。

データ開発 > データ統合

データ統合ページでは、タスク一覧、検索条件、追加入口、行操作を確認できます。一覧にはタスク名、実行器タイプ、状態、作成情報、最近実行情報などが表示されます。

DataX タスク：【追加】-> DataX を選択 -> 基本情報と実行資源を設定 -> 同期フローを設定 -> スケジューリングを設定 -> 公開して実行します。

Spark タスク：【追加】-> Spark を選択 -> 分散実行資源を設定 -> 入力、変換、出力ノードを設定 -> スケジューリングを設定 -> 実行インスタンスを確認します。

運用確認：対象タスクを検索 -> 【実行インスタンス】を確認 -> 必要に応じてログを確認します。

タスク名、状態、カテゴリ、作成者などの条件で対象データ統合タスクを検索し、一覧でタスク基本情報と操作入口を確認します。

【追加】をクリックし、DataX タスク作成画面で基本情報、実行パラメータ、資源設定を入力します。

項目	説明	入力のすすめ
タスク名	データ統合タスクの表示名です。	ソース、ターゲット、用途を含めると識別しやすくなります。
タスクカテゴリ	タスク所属カテゴリです。	プロジェクトのカテゴリ規則に従います。
実行器タイプ	DataX または Spark などを選択します。	軽量同期では DataX を選択します。
説明	タスク用途と同期範囲を説明します。	業務背景と注意点を記載します。