データ統合
定義
このモジュールは、データ統合 (ETL) タスクを設定・実行するために使用します。複数ソースのデータアクセス、変換、書き込みに対応し、データフローとデータ処理チェーンを構築する中核コンポーネントです。ノードベースのグラフィカル設定により、データ読み取り、クレンジング、変換、格納までの全プロセスを完了できます。
入力ノード対応
- MySQL、Oracle、SQL Server、Dameng などのリレーショナルデータベーステーブル入力。
- Hive、Doris などのテーブル入力。
- ストリーミング処理向け Kafka メッセージストリームアクセス。
- CSV、TXT などの形式に対応する HDFS ディレクトリ入力。
- API 入力コンポーネント。現在は JSON オブジェクト入力に対応しています。
出力ノード対応
- テーブル出力。リレーショナルデータベースへ書き込みます。
- Hive テーブル出力。
- HDFS への書き込み。
変換ノード対応（継続強化中）
- 完了済みコンポーネント: フィールド選択、フィールド名変更、値マッピング、文字列置換、定数登録、数値範囲、文字列操作、フィールド値設定など。
- 計画中コンポーネント: フィールドの複数行分割、文字列トリム、フィールドの定数化、フィールド値に基づくシーケンス設定、二流 Join マージ、行フラット化など。一部 UI は完了しています。
- すべてのコンポーネントは主流データベースへ継続的に適応し、データ品質タスクの変換機能と一貫性を保ちます。
強化機能
- Flink リアルタイムタスクモードに対応し、既存のオフラインスケジューリング機能を保持しながらストリーム・バッチ統合処理に対応します。
- Kettle 風の複数ノードによるグラフィカル設定スタイルに対応し、複雑な変換ロジック編成のために複数の変換ノードを柔軟に加えられます。
- 変換コンポーネントグループは UI インタラクションを再構築し、品質タスクのルール設定方式とスタイルを統一し、数十種類のクレンジングルール設定に対応します。
注意
ソースシステムへの過度な負荷を避けるため、データソース権限と実行頻度を適切に設定してください。ストリーミングタスクでは、Kafka 消費戦略と Flink 実行計画をあわせて安定性を評価することを推奨します。
適用範囲
構造化、半構造化、ストリーミングデータの統合処理シナリオに適用されます。データ集約、データガバナンス、データレイク/ウェアハウス取り込みなどの重要な工程で広く使用されます。複数のデータソースとターゲットに適応し、ルール駆動のデータ変換とクレンジングに対応します。
1. データ統合ページ
データ開発 -> タスク管理 -> データ統合 をクリックすると、データ統合ページが開きます。ページは左右レイアウトで、左側にデータ統合カテゴリをツリー構造で表示し、右側にタスク名、タスク説明、タスクカテゴリ、タスクステータス、スケジュールステータスなどの項目を含むタスク一覧を表示します。
2. データ統合タスクの登録
登録 をクリックし、ダイアログでトピック情報を入力して OK をクリックすると、データ統合タスクの登録が完了します。
3. データ統合変換の設定
データ統合変換設定が必要なタスクを選択し、操作列の 変換設定 をクリックします。表示されたページで変換ルールを編集し、保存 をクリックすると、データ統合変換の設定が完了します。
4. データ統合タスクの取り除き
取り除くデータ統合タスクを選択し、操作列の その他 -> 取り除き をクリックして OK をクリックします。システムがデータ統合タスクを取り除きます。
5. データ統合タスク詳細
データ統合タスク詳細を表示するタスクを選択し、操作列の 詳細 をクリックすると、データ統合タスク詳細を確認できます。
6. スケジュール周期
スケジュール対象のデータ統合タスクを選択し、操作列の その他 -> スケジュール周期 をクリックします。ダイアログで詳細を入力して OK をクリックすると、システムがデータ統合タスクをスケジュールに従って起動します。
7. タスクステータス
有効化または無効化するタスクステータスを選択し、ステータス列の スイッチ をクリックすると、有効化/無効化が完了します。
8. スケジュールステータス
有効化または無効化するスケジュールステータスを選択し、ステータス列の スイッチ をクリックすると、有効化/無効化が完了します。
9. 実行インスタンス
実行インスタンスを表示するデータ統合タスクを選択し、操作列の その他 -> 実行インスタンス をクリックして、ダイアログで確認します。
10. 1 回実行
1 回だけ起動するデータ統合タスクを選択し、操作列の その他 -> 1 回起動 をクリックすると、システムがタスクを単発で起動し、詳細を表示します。
