データ開発
機能概要
機能の位置づけ
データ開発は、SQL や処理ロジックを通じてデータ加工タスクを作成・実行するための機能です。Quartz 軽量スケジューラと Dolphinscheduler エンタープライズ級スケジューラをサポートし、タスク設定、SQL 設定、スケジューリング、公開、実行、インスタンス確認を行えます。
簡単に言えば、データ加工 SQL をタスク化し、手動または定期的に実行して、結果を下流表や資産に反映します。
主な特徴
- タスク管理：検索、追加、編集、詳細、削除、公開、実行に対応します。
- Quartz 軽量スケジューリング：簡易な定期実行や単一環境でのタスク管理に適します。
- Dolphinscheduler スケジューリング：複雑なワークフロー、依存関係、エンタープライズ級スケジューリングに適します。
- 変換設定：実行パラメータ、データソース、SQL パラメータを設定できます。
- 状態管理：タスク状態とスケジュール状態を分けて管理できます。
- インスタンス確認：実行インスタンスとログを確認できます。
適用範囲
SQL 加工、データ集計、レイヤー加工、定期バッチ処理、開発タスクのスケジューリング、実行ログ確認に適用します。
事前準備
前提条件
- qData プラットフォームにログインしていること。
- 対象プロジェクトに切り替えていること。
- 開発に利用するデータ接続と対象表が準備済みであること。
- 実行する SQL、パラメータ、出力対象が明確であること。
- Dolphinscheduler を利用する場合は、関連スケジューリング環境が利用可能であること。
ナビゲーションパス
データ開発 > データ開発
ページ全体
データ開発ページでは、タスク一覧、検索条件、追加入口、行操作を確認できます。一覧にはタスク名、実行器タイプ、状態、スケジュール状態、作成情報、最近実行情報などが表示されます。
推奨操作フロー
Quartz タスク：【追加】-> Quartz を選択 -> 基本情報を入力 -> SQL とパラメータを設定 -> スケジュール周期を設定 -> 公開して実行します。
Dolphinscheduler タスク：【追加】-> Dolphinscheduler を選択 -> ワークフロー関連設定を入力 -> SQL と依存設定を確認 -> スケジューリングを有効化します。
運用確認：対象タスクを検索 -> 【実行インスタンス】または【詳細】を確認 -> 必要に応じてログを確認します。
機能操作説明
データ開発タスクを検索・閲覧する
タスク名、カテゴリ、状態、作成者などの条件で対象タスクを検索し、一覧でタスク基本情報と操作入口を確認します。
Quartz データ開発タスクを追加する
【追加】をクリックし、Quartz タスク作成画面で基本情報、実行方式、スケジューリング情報を入力します。
基本情報
| 項目 | 説明 | 入力のすすめ |
|---|---|---|
| タスク名 | データ開発タスクの表示名です。 | 加工対象、業務用途、周期を含めると識別しやすくなります。 |
| タスクカテゴリ | タスク所属カテゴリです。 | プロジェクトのカテゴリ規則に従います。 |
| 実行器タイプ | Quartz または Dolphinscheduler を選択します。 | 軽量定期実行では Quartz を選択します。 |
| 説明 | タスク用途と加工範囲を説明します。 | 業務背景と注意点を記載します。 |
Quartz 適用場面
- 単一タスクまたは簡単な SQL 加工。
- 軽量な定期実行。
- 複雑な依存関係がないバッチ処理。
- 導入と保守を簡素化したい場面。
Dolphinscheduler データ開発タスクを追加する
Dolphinscheduler タスク作成画面で、エンタープライズ級スケジューリングに必要なワークフロー、実行資源、依存情報を設定します。
スケジュール周期を設定する
定期実行が必要な場合は、実行周期、開始時間、終了時間、Cron、失敗再試行などを設定します。
変換設定ワークベンチに入る
タスク設定後、変換設定ワークベンチに入り、実行パラメータ、データソース、SQL パラメータを設定します。
実行パラメータ、データソース、SQL パラメータを設定する
| 設定項目 | 説明 | 注意事項 |
|---|---|---|
| 実行パラメータ | タスク実行時に利用する変数や実行環境情報です。 | パラメータ名と SQL 内の参照が一致しているか確認します。 |
| データソース | SQL が実行される接続です。 | 対象プロジェクトと接続権限を確認します。 |
| SQL パラメータ | SQL 本文、変数、条件などです。 | 実行前に構文と対象表を確認します。 |
| 出力対象 | 加工結果の書込対象です。 | 下流への影響を確認します。 |
タスク設定を編集する
対象タスクの【編集】をクリックし、基本情報、スケジューリング、SQL 設定などを修正して保存します。
タスク状態、1 回実行、削除を管理する
タスク状態を切り替えて公開または停止を制御します。必要に応じて【1 回実行】で即時実行し、不要なタスクは【削除】します。
データ開発タスク詳細を確認する
対象タスクの【詳細】をクリックすると、タスク基本情報、SQL 設定、スケジューリング、実行情報を確認できます。
ジョブ管理と運用管理との連携
データ開発タスクの実行結果は、運用管理のデータ開発インスタンスで確認できます。失敗時はインスタンスログを確認し、SQL、接続、パラメータ、スケジューリング設定を順に調査します。
よくある質問
- Quartz と Dolphinscheduler はどう選択しますか？
軽量で単純な定期実行は Quartz、複雑な依存関係やワークフロー管理が必要な場合は Dolphinscheduler を選択します。 - タスクを公開しただけで自動実行されますか？
タスク状態とスケジュール状態の両方を確認してください。スケジュールが無効の場合、自動実行されません。 - SQL 実行失敗はどこで確認しますか？
データ開発インスタンスとログで確認します。 - パラメータが反映されない場合は？
SQL 内の変数名、実行パラメータ名、デフォルト値を確認してください。
まとめ
データ開発タスクは、SQL 加工処理をタスク化し、Quartz または Dolphinscheduler で実行管理する機能です。設定時は、実行器タイプ、SQL、データソース、パラメータ、スケジューリング、実行インスタンスを重点的に確認してください。