クイック利用
説明
本ドキュメントは、qData データプラットフォームを初めて利用するユーザー向けです。デプロイとログインが完了した後、データソース設定、データ開発、実行ログ確認、データ同期、結果検証までの一連の操作をすばやく体験できます。
まだ環境デプロイが完了していない場合は、先にクイックデプロイを参照してプラットフォームを起動してください。
推奨利用フロー
- システムをデプロイし、プラットフォームにログインします。
- 【データ開発 - データ接続】でデータソースを設定します。
- 【データ開発 - データ開発】でテーブルを作成し、データを挿入します。
- 【データ開発 - データ開発インスタンス】で実行ログを確認します。
- 【データ資産 - データ照会】で作成したテーブルとデータを確認します。
- 【データ開発 - データ統合】でデータ同期タスクを設定します。
- 【データ開発 - データ統合インスタンス】でデータ同期ログを確認します。
- 【データ資産 - データ照会】で同期に成功したデータを確認します。
1. プラットフォームにログインする
デプロイ後の qData アクセスアドレスを開き、管理者アカウントとパスワードを入力してシステムにログインします。ログイン成功後、プラットフォームのホーム画面に入り、データソース、開発タスク、データ同期タスクの設定を開始できます。

2. データソースを設定する
【データ開発】->【データ接続】に入り、【新規追加】ボタンをクリックします。データソース種別を選択し、データソース名、接続先アドレス、ポート、アカウント、パスワードなどの情報を入力します。接続テスト完了後、データソース設定を保存します。
方式 1:システム内蔵データソースを使用します(設定不要)。

方式 2:自分の環境のデータソースを設定します。

データソース追加画面は、プラットフォームが業務データベースへアクセスするために必要な接続情報を設定するために使用します。保存前に接続テストを実行し、ネットワーク、アカウント、権限が正常であることを確認することを推奨します。
注意:以下のフローでは、システム内蔵データソース(水文監測管理システム(サードパーティライブラリ))を使用してデータを保存します。
3. データ開発タスクを作成する
【データ開発】->【データ開発】に入り、【新規追加】ボタンをクリックします。タスク名、タスク説明、関連設定を入力して、データ開発タスクを作成します。データベース種別は、設定したデータソースと同じものを選択します。スケジューリングタスクはデフォルトで Quartz(軽量)を使用できます。テンプレート 1 はデータベーステーブル構造、テンプレート 2 はストアドプロシージャ構造です。

3.1 テーブルを作成してデータを挿入する
データ開発タスクでテーブル作成文とデータ挿入文を記述し、実行設定で必要なデータソースを選択してタスクを保存します。
注意:データソースは手順 2 で設定したものを選択できます。また、内蔵データソースも使用できます。

テーブル作成文:合計 2 つのテーブルを作成し、そのうち 1 つのテーブルに 3 行のデータを挿入します
-- 1. Create table
CREATE TABLE IF NOT EXISTS t_user_test (
id INT AUTO_INCREMENT PRIMARY KEY,
username VARCHAR(50) NOT NULL UNIQUE,
password VARCHAR(64) NOT NULL,
real_name VARCHAR(50),
email VARCHAR(100) UNIQUE,
phone VARCHAR(20),
status CHAR(1) DEFAULT '1' CHECK (status IN ('0','1')),
create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
update_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
-- 2. Create table 2
CREATE TABLE IF NOT EXISTS t_user_test2 (
id INT AUTO_INCREMENT PRIMARY KEY,
username VARCHAR(50) NOT NULL UNIQUE,
password VARCHAR(64) NOT NULL,
real_name VARCHAR(50),
email VARCHAR(100) UNIQUE,
phone VARCHAR(20),
status CHAR(1) DEFAULT '1' CHECK (status IN ('0','1')),
create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
update_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
-- 3. Insert sample data
INSERT INTO t_user_test (username, password, real_name, email, phone, status) VALUES
('zhangsan', 'e10adc3949ba59abbe56e057f20f883e', 'Zhang San', 'zhangsan@demo.com', '13800000001', '1'),
('lisi', '25d55ad283aa400af464c76d713c07ad', 'Li Si', 'lisi@demo.com', '13800000002', '1'),
('wangwu', '5f4dcc3b5aa765d61d8327deb882cf99', 'Wang Wu', 'wangwu@demo.com', '13800000003', '0');この手順は、後続の照会とデータ同期に必要なテストデータを準備するために使用します。テーブル作成文は対象テーブルを作成し、挿入文はサンプルデータを書き込みます。
3.2 データ開発タスクを実行する
タスク設定に問題がないことを確認した後、タスク状態を有効にし、【1 回実行】をクリックしてデータ開発タスクを実行します。

4. データ開発実行ログを確認する
【データ開発】->【データ開発インスタンス】に入り、対象タスクインスタンスを選択して実行ログを確認します。

実行ログは、テーブル作成とデータ挿入が成功したかを確認し、SQL 実行、データソース接続、権限設定の問題を特定するために使用できます。
5. 作成したテーブルとデータを確認する
【データ資産】->【データ照会】に入り、手順 3 で使用したデータソースとデータテーブルを選択して、先ほど作成したテーブルとそのデータを確認します。

6. データ同期タスクを作成する
【データ開発】->【データ統合】に入り、【新規追加】ボタンをクリックします。同期タスク名、タスク説明、ソース側とターゲット側の情報を入力します。実行エンジンはデフォルトで DataX(軽量)を使用できます。スケジュール周期は統合タスクの自動実行時点です。入力完了後、【保存してフローを設定】をクリックしてフロー設定画面を開きます。

6.1 データ同期フローを設定する
データ同期タスク設定ページを開き、左側のコンポーネントを右側へドラッグして接続します。表入力コンポーネント、変換コンポーネント、表出力コンポーネントを使用して、完全なデータ処理フローを構成します。

表入力コンポーネント
表入力コンポーネントを設定し、手順 3 で使用したデータソース、データベース、テーブルを選択します。デフォルトではテーブル内のすべてのフィールドを読み取ります。データ挿入済みのテーブルを選択できます。

変換コンポーネント
業務要件に応じて変換コンポーネントを設定し、入力データに対してフィールドマッピング、クレンジング、形式変換、または計算処理を行います。

表出力コンポーネント
表出力コンポーネントを設定し、手順 3 で使用したターゲットデータソース、データベース、テーブルを選択して、フィールド対応関係と書き込み方式を設定します。

6.2 同期タスクを保存して実行する
コンポーネント設定と接続が完了したら、【タスク保存】ボタンをクリックして同期タスクを保存します。

保存後に一覧へ戻り、タスク状態を有効にしてから、【1 回実行】ボタンをクリックしてデータ同期を開始します。

7. データ同期ログを確認する
【データ開発】->【データ統合インスタンス】に入り、対象同期インスタンスを選択して実行ログを確認します。

同期ログでは、各コンポーネントの実行状況、処理データ量、例外情報を確認でき、同期失敗原因の特定に役立ちます。
8. 同期結果を確認する
同期完了後、【データ資産】->【データ照会】に入り、ターゲットデータソースとターゲットテーブルを選択して同期後のデータを確認し、ソーステーブルのデータと比較します。

