快速使用
说明
本文面向首次使用 qData 数据中台的用户,帮助用户在完成部署并登录系统后,快速完成一次从数据源配置、数据开发、执行日志查看,到数据同步和结果验证的完整体验流程。
如果还没有完成环境部署,请先参考快速部署完成平台启动。
推荐使用流程
- 完成系统部署并登录平台;
- 在【数据研发-数据连接】中配置数据源;
- 在【数据研发-数据开发】中创建表和插入数据;
- 在【数据研发-数据开发实例】中查看执行日志;
- 在【数据资产-数据查询】中查看创建的表和数据;
- 在【数据研发-数据集成】中配置数据同步任务;
- 在【数据研发-数据集成实例】中查看数据同步日志;
- 在【数据资产-数据查询】中查看数据同步成功的数据。
1、登录平台
打开部署后的 qData 访问地址,输入管理员账号和密码进入系统。登录成功后,可进入平台首页并开始配置数据源、开发任务和数据同步任务。
2、配置数据源
进入【数据研发】->【数据连接】,点击【新增】按钮,选择数据源类型并填写数据源名称、连接地址、端口、账号和密码等信息。完成连接测试后保存数据源配置。
方式1:使用系统内置数据源(无需配置)
方式2:配置自己环境数据源
新增数据源页面用于配置平台访问业务数据库所需的连接信息。建议保存前先执行连接测试,确认网络、账号和权限均正常。
注意:以下流程使用系统内置数据源(水文监测管理系统(第三方库))存储数据。
3、创建数据开发任务
进入【数据研发】->【数据开发】,点击【新增】按钮,填写任务名称、任务描述和相关配置,创建数据开发任务。数据库类型选择与配置数据源相同,调度任务可默认使用Quartz(轻量级),使用模版一库表结构(模版二:存储过程结构)
3.1 创建表并插入数据
在数据开发任务中编写建表语句和数据插入语句,配置执行中选择所需的数据源后保存任务。
建表语句:共创建2张表,其中一张表中插入3行数据
-- 1. 建表
CREATE TABLE IF NOT EXISTS t_user_test (
id INT AUTO_INCREMENT PRIMARY KEY,
username VARCHAR(50) NOT NULL UNIQUE,
password VARCHAR(64) NOT NULL,
real_name VARCHAR(50),
email VARCHAR(100) UNIQUE,
phone VARCHAR(20),
status CHAR(1) DEFAULT '1' CHECK (status IN ('0','1')),
create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
update_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
-- 2. 建表2
CREATE TABLE IF NOT EXISTS t_user_test2 (
id INT AUTO_INCREMENT PRIMARY KEY,
username VARCHAR(50) NOT NULL UNIQUE,
password VARCHAR(64) NOT NULL,
real_name VARCHAR(50),
email VARCHAR(100) UNIQUE,
phone VARCHAR(20),
status CHAR(1) DEFAULT '1' CHECK (status IN ('0','1')),
create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
update_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
) ENGINE = InnoDB
DEFAULT CHARSET = utf8mb4;
-- 3. 插入示例数据
INSERT INTO t_user_test (username, password, real_name, email, phone, status) VALUES
('zhangsan', 'e10adc3949ba59abbe56e057f20f883e', '张三', 'zhangsan@demo.com', '13800000001', '1'),
('lisi', '25d55ad283aa400af464c76d713c07ad', '李四', 'lisi@demo.com', '13800000002', '1'),
('wangwu', '5f4dcc3b5aa765d61d8327deb882cf99', '王五', 'wangwu@demo.com', '13800000003', '0');该步骤用于准备后续查询和数据同步所需的测试数据。建表语句负责创建目标表,插入语句负责写入示例数据。
3.2 执行数据开发任务
确认任务配置无误后,打开任务状态,点击 【执行一次】,执行数据开发任务。

4、查看数据开发执行日志
进入【数据研发】->【数据开发实例】,选择对应任务实例并查看执行日志。

执行日志可用于确认建表和插入数据是否成功,并定位 SQL 执行、数据源连接或权限配置问题。
5、查看创建的表和数据
进入【数据资产】->【数据查询】,选择数据源(步骤3中使用的数据源)和数据表,查看刚刚创建的表及其数据。
6、创建数据同步任务
进入【数据研发】->【数据集成】,点击【新增】按钮,填写同步任务名称、任务描述及源端和目标端信息,执行引擎可默认使用DataX(轻量级),调度周期为集成任务自动执行时间点,填写完后点击【保存并配置流程】打开流程配置界面。

6.1 配置数据同步流程
打开数据同步任务配置页面,把左侧组件拖拽到右侧连接起来,如下:表输入组件、转换组件和表输出组件,形成完整的数据处理流程。

表输入组件
配置表输入组件,选择数据源(步骤3中使用的数据源)、库和表,默认读取的表中所有字段,可选择已插入数据的表。

转换组件
根据业务需要配置转换组件,对输入数据进行字段映射、清洗、格式转换或计算处理。

表输出组件
配置表输出组件,选择目标数据源(步骤3中使用的数据源)、库和表,并设置字段对应关系及写入方式。

6.2保存并执行同步任务
完成组件配置和连线后,点击【任务保存】按钮保存同步任务,

保存后返回列表,打开任务状态,再点击【执行一次】按钮发起数据同步。

7、查看数据同步日志
进入【数据研发】->【数据集成实例】,选择对应同步实例并查看执行日志。

同步日志用于查看各组件的执行情况、处理数据量和异常信息,便于定位同步失败原因。
8、查看同步结果
同步完成后,进入【数据资产】->【数据查询】,选择目标数据源和目标表,查看同步后的数据,并与源表数据对比。

