データ開発

千桐テクノロジー2026/06/11約4分ユーザーガイド

定義

このモジュールは、リアルタイムおよびオフラインのデータ処理タスクを一元管理・実行するために使用します。複数のデータソース種別、スケジュール実行方式、タスク実行時制御に対応し、データプラットフォームの中核となるデータフロー編成・処理ツールです。

リアルタイムデータ開発タスク

Flink などのストリーム処理フレームワークを通じて、接続済みデータのリアルタイム収集、処理、出力に対応します。タスクはホットアップデートとオンライン管理に対応します。

コア機能:

タスク管理: 登録、編集、有効化、無効化、即時実行、ログ表示などの操作に対応します。
ステータスアップデート機構: システム再起動後にタスクステータスを自動復元し、タスクを継続します。
実行テンプレート: Flink、SQL、CDC など実行器タイプ別のプリセットテンプレートにより、すばやく設定できます。
データソース対応:
- 入力対応: MySQL (CDC)、Oracle、Dameng、Hive、Kafka など。
- 出力対応: MySQL、Oracle、Dameng、Hive、Kafka など。
デバッグと制御: タスクデバッグ中の停止、および実行中タスクの手動停止に対応します。
自動クローズ: タスク実行後にクローズ処理が不足するケースの完了最適化に対応します。
フロントエンドとバックエンド API の連携デバッグが完了しており、タスク実行時ステータスと実行フィードバックを接続しています。

オフラインデータ開発タスク

Spark SQL または各種データベース実行エンジンを基盤として、バッチ処理タスクの開発、スケジューリング、実行に対応します。日次データ処理、モデル計算、データクレンジングなどの処理ワークフローで使用します。

コア機能:

複数データソース向けの SQL 作成、デバッグ、ストアドプロシージャに対応します。
Spark SQL エンジンに適応し、複雑な SQL とストアドプロシージャを実行できます。
データ統合タスク、資産出力タスクなどと連携し、チェーン処理を実現できます。

注意

リアルタイムタスクでは、Kafka パーティション戦略と Flink 並列度をあわせて性能を最適化することを推奨します。オフラインタスクでは、リソースキューとスケジューリング優先度を適切に設定し、スケジューリング混雑を避けてください。

適用範囲

データ開発ロールおよび開発エンジニア向けに、このモジュールは Flink、Spark などのエンジンに基づく SQL タスク開発をサポートし、リアルタイムストリーム処理とオフラインバッチ処理の両方をカバーします。データ同期、データ計算、データレイク取り込みなどのシナリオに適用されます。

1. データ開発ページ

データ開発 -> タスク管理 -> データ開発 をクリックすると、データ開発ページが開きます。ページは左右レイアウトで、左側にデータ開発カテゴリをツリー構造で表示し、右側にタスク名、タスク説明、タスクカテゴリ、タスクステータス、スケジュールステータスなどの項目を含むタスク一覧を表示します。