収集タスク
機能概要
機能の位置づけ
収集タスクはメタデータ管理の起点であり、プラットフォームがどのソースからデータベース、表、項目、非構造化ファイルなどのメタデータを収集するかを設定するために使用します。ユーザーは収集元、収集範囲、スケジュール周期、スケジューラ、責任者を保守し、タスク実行後に収集インスタンスが生成され、さらに最新メタデータバージョンが形成されます。
簡単に言えば：先に収集タスクを設定することで、プラットフォームはメタデータをどこから、どの範囲で、いつ収集し、誰が保守するかを把握できます。
利用のすすめ
収集タスクを追加する際は、ソースシステムとデータ接続を選択 → 収集範囲を設定 → スケジューラとスケジュール周期を設定 → タスクを保存 → オンライン化または 1 回実行 の順で操作することを推奨します。初回設定後は、まず【1 回実行】でタスクが正常に動作するか検証してください。
主な特徴
- 構造化収集：データベース表系メタデータの収集に対応し、データベース全体またはカスタム DB 範囲を選択できます。
- 非構造化収集：ファイルパス系メタデータの収集に対応し、文書などの非構造化オブジェクトに適用できます。
- Quartz 軽量スケジューリング：Quartz スケジューラを選択し、Cron 式で周期実行時間を設定できます。
- Dolphinscheduler エンタープライズ級スケジューリング：統一スケジューリング基盤、タスク編成、運用管理が必要な収集場面に適します。
- タスク状態制御：タスク状態とスケジュール状態により、タスクの有効性と周期実行を制御します。
- 実行連携：タスク実行後に収集インスタンスが生成され、後続で収集インスタンスと最新メタデータから結果を確認できます。
適用範囲
データガバナンス > メタデータ管理 > 収集タスク 配下の収集タスク追加、検索、編集、開始・停止、手動実行、詳細確認に適用します。主にメタデータ管理者、データガバナンス運用担当者、プロジェクト管理者向けです。
事前準備
前提条件
- qData プラットフォームにログインし、【データガバナンス】関連メニュー権限を持っていること。
- ソースシステムとデータ接続を準備していること。構造化収集では対象データベースへアクセスできる必要があります。
- 非構造化データを収集する場合は、HDFS、FTP、OSS などのファイルパスソースを準備していること。
- 収集範囲と責任者を確認し、過大な収集範囲や責任不明を避けていること。
- Quartz または Dolphinscheduler を利用する場合は、対応するスケジューリングサービスが正常であること。
ナビゲーションパス
データガバナンス > メタデータ管理 > 収集タスク
ページ全体
【収集タスク】に入ると、タスク一覧を中心に表示されます。タスク名、作成時間で検索でき、【追加】、【削除】、更新、列設定などの操作を提供します。一覧ではタスクソース、タスク状態、スケジュール状態、スケジュール周期、直近実行時間、責任者を確認できます。
推奨操作フロー
構造化メタデータ収集：【追加】をクリック → ソースシステムとデータ接続を選択 → Quartz または Dolphinscheduler とスケジュール周期を設定 → 収集範囲を設定 → タスクを保存 → スケジュールを有効化または【1 回実行】します。
非構造化メタデータ収集：【追加】をクリック → ソースシステムとファイルパスを選択 → スケジューラ、スケジュール周期、責任者を設定 → タスクを保存 → 必要に応じてオンライン化または手動実行します。
実行調査：タスク行から【1 回実行】または【収集インスタンスを表示】をクリックし、収集インスタンスページで実行記録とログを確認します。
機能操作説明
収集タスクを追加する
収集タスクは、構造化データベース内の DB、表、項目などのメタデータを収集するために使用し、システム能力に応じて非構造化オブジェクトの収集も設定できます。
- 収集タスク一覧で【追加】をクリックします。
- ポップアップで【ソースシステム】と【データ接続名】を選択します。
- 【タスク名】を入力し、システムが自動表示するデータベースタイプ、IP、ポート、アカウントなどを確認します。
- 【スケジューラ】で Quartz（軽量）または Dolphinscheduler（エンタープライズ級）を選択します。
- 【スケジュール周期】で【設定】をクリックし、Cron 式で周期を設定します。
- 【責任者】を選択し、必要に応じて責任者電話、説明、備考を入力します。
- 【収集範囲】を設定し、【確定】をクリックして保存します。
主要項目
| 項目名 | 説明 | 必須 |
|---|---|---|
| ソースシステム | 今回のメタデータ収集に対応する業務システムまたはソースシステムを選択します。 | はい |
| タスク名 | 識別と運用に便利な収集タスク名を入力します。 | はい |
| データ接続名 | 設定済みデータ接続を選択します。システムがデータベースタイプ、IP、ポート、アカウントなどを表示します。 | はい |
| スケジューラ | タスク実行スケジューラを選択します。Quartz または Dolphinscheduler を選択できます。 | はい |
| スケジュール周期 | タスクの周期実行時間を設定します。Cron 式生成器を補助利用できます。 | はい |
| 責任者 | タスク保守担当者を選択し、実行追跡と異常処理に利用します。 | はい |
| 収集範囲 | データベース全体、またはカスタム DB 範囲を選択します。 | はい |
Quartz スケジューリング説明
| 設定項目 | 説明 |
|---|---|
| Quartz（軽量） | プラットフォーム内の軽量な周期収集タスクに適し、設定が簡単で素早い検証に向いています。 |
| Cron 式 | タスクの周期実行時間を定義します。保存後、スケジュール状態が有効な場合に周期実行されます。 |
| 1 回実行 | スケジュール周期に依存せず、新規タスク後の即時検証に利用できます。 |
Dolphinscheduler スケジューリング説明
| 設定項目 | 説明 |
|---|---|
| Dolphinscheduler（エンタープライズ級） | エンタープライズ級スケジューリング基盤で統一管理する収集タスクに適し、複雑なスケジューリング、監視、運用管理に利用できます。 |
| スケジュール周期 | 周期実行時間を設定します。保存後、スケジュール状態により周期実行を制御します。 |
| 運用管理 | スケジュールインスタンス、実行状態、失敗調査、タスク実行経路に統一運用要件がある場面に適します。 |
収集範囲を設定する
収集範囲は、今回のタスクで収集するメタデータオブジェクトを決定します。範囲が正確であるほど、後続のメタデータバージョンと変更結果を保守しやすくなります。
- 【データベース全体】を選択すると、現在のデータ接続範囲に基づいてデータベース配下のメタデータを収集します。
- 【カスタム DB】を選択すると、ソース DB と選択済みソース DB の間で収集対象を指定できます。
- より細かい表レベルまたは項目レベルの収集が必要な場合は、現在システムに表示される入口に従い、正式操作前に収集範囲を確認してください。
収集範囲の注意
収集範囲が広すぎると後続のバージョン比較と運用調査コストが増えます。狭すぎるとガバナンス対象の表や項目が漏れる可能性があります。今回のガバナンス目的に合わせて範囲を選択してください。
収集タスクを編集する
- 収集タスク一覧で対象タスクを特定します。
- 操作列の【編集】をクリックします。
- タスク名、データ接続、スケジューラ、スケジュール周期、収集範囲、責任者などを修正します。
- 【確定】をクリックして保存します。
収集タスクをオンライン化または無効化する
タスク保存後、状態スイッチでタスクを有効化するか、スケジュール実行するかを制御できます。
- 収集タスク一覧で対象タスクを特定します。
- タスク状態またはスケジュール状態のスイッチをクリックします。
- 確認メッセージで【確定】をクリックします。
- 成功メッセージ後、タスクは実行可能またはスケジュール可能な状態になります。
状態説明
タスク状態はタスクが有効で実行可能かを示します。スケジュール状態は、設定した周期に従って自動実行するかを示します。停止後、タスクはスケジュール周期で実行されません。
1 回実行
【1 回実行】は、タスク設定後の一時検証や、スケジュール前にタスクが正常に動作するか確認する場面に適します。
- 対象タスクの操作列で【1 回実行】をクリックします。
- システムが即時にメタデータ収集を開始します。
- 実行成功後、収集インスタンス記録が生成されます。
- 実行結果を確認する場合は、【収集インスタンス】ページへ進みます。
収集インスタンスを表示する
実行状況を確認する収集タスクを選択し、操作列の【収集インスタンスを表示】または【実行記録】をクリックして、履歴実行一覧を確認します。実行記録は、収集失敗原因、収集データ量、変更追跡の確認に利用できます。
収集タスクを削除する
- 収集タスク一覧で削除対象タスクを特定します。
- 操作列の【削除】をクリックするか、レコードを選択して一覧上部の【削除】をクリックします。
- 確認メッセージで対象タスクを確認します。
- 【確定】をクリックすると収集タスクが削除されます。
本番環境では、先にタスクを停止し、影響がないことを確認してから削除することを推奨します。履歴インスタンス、最新メタデータバージョン、後続の確定版結果に影響する可能性があります。
よくある質問
- タスク実行後、なぜ収集インスタンスを確認する必要がありますか？
収集タスクは設定と起動を担当します。実行結果、収集数量、開始終了時間、ログは【収集インスタンス】で確認します。 - タスク状態とスケジュール状態の違いは何ですか？
タスク状態はタスクが有効で実行可能かを示し、スケジュール状態は設定周期で自動実行するかを示します。 - いつ【1 回実行】を使いますか？
新規タスク作成後に、データ接続、収集範囲、タスク設定が正常か検証するために使用します。 - Quartz はどの場面に適しますか？
軽量な周期収集タスクに適し、通常のメタデータ定時収集で利用できます。 - Dolphinscheduler はどの場面に適しますか？
エンタープライズ級スケジューリング、統一運用、より複雑なタスク管理が必要な場面に適します。 - 非構造化収集ではどのようにパスを選択しますか？
HDFS、FTP、OSS などファイル所在のソースを確認し、ファイルパスで対象パスを選択します。
まとめ
収集タスクはメタデータ管理の起点と範囲を決定します。設定時は、ソースシステムが正しいか、収集範囲が正確か、スケジューラと周期が期待通りかを重点的に確認してください。実行後は【収集インスタンス】と【最新メタデータ】で結果とバージョン変化を確認します。