収集タスク
定義
収集タスクは、メタデータ収集ジョブを設定・実行するために使用します。データソース、データベース、データテーブル、フィールドなどのオブジェクトから、構造情報、属性情報、変更情報を自動的に抽出し、収集結果をメタデータ管理モジュールに蓄積します。これにより、メタデータ検索、資産棚卸し、リネージ分析、ガバナンス評価の基礎データを提供します。
コア機能:
- ✅ タスク管理: 収集タスクの追加、編集、削除、有効化、無効化、1 回実行などの操作をサポートします。
- 🗂️ データソース選択: 接続済みのデータソースをメタデータ収集対象として選択できます。
- 🔍 収集範囲設定: データベース、テーブル、フィールドなどの粒度で収集範囲を設定でき、不要なオブジェクトの重複収集を避けられます。
- ⏱️ スケジュール実行: 業務要件に応じてスケジュール周期を設定し、メタデータ変更を定期的に同期できます。
- 📋 実行記録: 各収集の実行時刻、実行状態、収集結果、例外情報を記録します。
- 🔗 ガバナンス連携: 収集結果は、メタデータ検索、データ資産識別、フィールド標準マッピングなどのガバナンスシーンで利用できます。
注意事項
収集タスクを実行する前に、データソース接続が正常であり、必要なメタデータ読み取り権限が付与されていることを確認してください。テーブル数が多い、または構造が複雑なデータソースでは、ソースデータベースへの追加負荷を避けるため、収集範囲とスケジュール周期を適切に設定することを推奨します。
適用範囲
データガバナンス担当者、データ管理者、プラットフォーム運用担当者向けに、メタデータ収集タスクを統合的に設定し、データソース構造とフィールド情報を自動同期するために使用します。データ資産棚卸し、データカタログ構築、メタデータ検索、データリネージ分析、データ標準マッピングなどのガバナンスシーンに適用できます。
1. 収集タスクページ
データガバナンス -> メタデータ管理 の 収集タスク をクリックして、収集タスクページに入ります。ページには収集タスク一覧が表示され、通常はタスク名、データソースタイプ、データソース名、収集範囲、タスク状態、実行ポリシー、直近実行時刻、直近実行状態などの項目が含まれます。
2. 収集タスクの追加
ページの 追加 ボタンをクリックします。表示されたダイアログで収集タスクの基本情報を入力し、収集対象のデータソースを選択して、収集範囲、実行ポリシー、スケジュール周期を設定します。スケジューラは Quartz（軽量）または Dolphinscheduler（エンタープライズ級）を選択できます。内容を確認後、OK ボタンをクリックして収集タスクの追加を完了します。
3. 収集タスクの編集
調整する収集タスクを選択し、操作列の 編集 ボタンをクリックします。表示されたダイアログでタスク名、収集範囲、スケジュール周期などの情報を変更し、OK ボタンをクリックして変更を保存します。
4. 収集タスクの削除
削除する収集タスクを選択し、操作列の 削除 ボタンをクリックして、確認メッセージで OK をクリックします。削除後、この収集タスクは実行されなくなります。
5. 収集タスクの有効化/無効化
有効化または無効化する収集タスクを選択し、タスク状態列のスイッチをクリックすると、有効化または無効化操作が完了します。無効化されたタスクは、スケジュール周期に従って自動実行されません。
6. 1 回実行
すぐに実行する収集タスクを選択し、操作列の 1 回実行 ボタンをクリックします。システムは直ちにメタデータ収集を開始し、実行完了後に直近実行状態と収集結果を更新します。
7. 収集インスタンスの表示
実行状況を確認する収集タスクを選択し、操作列の 実行記録 ボタンをクリックして、そのタスクの履歴実行一覧を表示します。実行記録は、収集失敗原因の調査、収集データ量の確認、収集変更の追跡に利用できます。
