数据开发

千桐科技2025/8/27大约 14 分钟用户手册

功能概览

功能定位

数据开发用于在当前项目中统一管理实时与离线开发任务，并串联任务查询、新增、在线配置、调度运行和只读详情。配置完成的任务还可以作为节点被【作业管理】引用，运行结果由详情、执行历史记录和运维实例继续承接。

简单理解：先创建一个开发任务，再在同一任务上下文中维护 SQL、运行参数和引擎资源，最后通过状态、调度和运行记录确认任务是否按预期执行。

使用建议

开始操作前先确认顶部【所属项目】和目标任务名称。建议按“保存基础信息 → 配置开发内容 → 保存任务 → 上线任务 → 开启调度”的顺序操作；发起【执行一次】后，还需继续查看实例的最终状态。

主要特性

分类与组合查询：按数据开发类目、任务名称、任务状态、数据连接类型和处理类型定位任务。
统一任务创建：维护类目、名称、Cron 调度周期、执行器类型、开发类型、责任人和说明信息。
Quartz 轻量级调度：支持在新增任务时选择 Quartz 执行器，适合平台内轻量级调度和常规离线开发任务。
配置转换工作台：在【数据开发配置转换】中维护单个任务的 SQL 或脚本、基础运行参数、数据源和 SQL 参数。
按类型展示资源：数据库类任务不显示引擎资源；SparkSQL 和 Flink 分别展示各自适用的资源字段。
运行与状态控制：分别管理任务状态和调度状态，并提供调度周期、执行一次和条件删除入口。
上下游协同：数据开发任务可被作业引用，独立运行或随作业运行后形成可追踪的实例和日志。

作用范围

本页统一说明数据开发主列表、配置转换工作台和任务详情，覆盖数据库类、SparkSQL 和 Flink 任务差异，以及状态、调度、实例、日志和作业引用的业务边界。

前置步骤

前置条件

已登录 qData 平台，并切换到需要开发任务的所属项目。
当前项目已维护数据开发类目、责任人和可用的数据连接。
已准备任务名称、调度周期以及有效的 SQL 或脚本内容。
如需使用 Quartz 调度，已确认平台调度服务正常。
如需把任务加入作业，已确认该任务完成保存，并在作业上线前将数据开发任务上线。

导航路径

数据研发 > 数据开发

页面总览

进入【数据开发】后，左侧为数据开发类目搜索和类目树；右侧提供任务查询、新增、任务列表、运行控制、策略与调度、行操作和分页。每条记录可进入【配置任务】或【详情】，也可从【更多】使用当前任务可用的扩展操作。

功能操作说明

查询和浏览数据开发任务

在左侧搜索或选择目标数据开发类目。
在“任务名称”中输入目标名称。
在“任务状态”中选择【未上线】或【已上线】。
在“数据连接类型”中选择目标开发类型。
按需选择处理类型，如流处理或批处理。
点击【查询】。
在列表中核对任务信息、运行控制和策略与调度。
需要恢复默认条件时，点击【重置】。

当前可见开发类型包括 DM8、Oracle、MySQL、Kingbase、DB2、OSCAR、Hive、SparkSql、Flink 批和 Flink 流等，具体选项以系统页面为准。

新增 Quartz 数据开发任务

点击列表上方的【新增】。
在“数据开发类目”中选择任务分类。
在“任务名称”中填写便于识别的名称。
在“执行器类型”中选择 Quartz（轻量级）。
在“调度周期”右侧点击【配置】并设置 Cron 周期。
在“数据连接类型”中选择开发类型。
在“责任人”中选择任务负责人。
核对随责任人展示的“联系电话”。
按需填写“描述”和“备注”。
点击【确定】或保存后继续配置任务。

基本信息

字段名	说明	是否必填
数据开发类目	选择任务所属的项目类目。	是
任务名称	填写当前任务的识别名称。	是
执行器类型	选择任务调度执行器，可选择 Quartz（轻量级）或 Dolphinscheduler（企业级）。	是
调度周期	通过【配置】打开 Cron 配置器。	是
数据连接类型	选择任务的开发或执行类型。	是
责任人	选择任务负责人。	是
联系电话	随责任人只读展示。	否
任务状态	新增时默认【未上线】。	否
描述	填写任务用途，页面提供 500 字符计数。	否
备注	填写补充说明，页面提供 500 字符计数。	否

Quartz 适用场景

场景	说明
轻量级周期调度	适合平台内常规开发任务按 Cron 周期运行。
中小规模离线任务	适合不依赖复杂工作流编排的 SQL 或脚本类任务。
快速配置验证	配置简单，便于快速创建、保存、上线和执行一次。
独立任务运行	适合单任务独立调度，不需要复杂 DAG 依赖的场景。

新增 Dolphinscheduler 数据开发任务

如任务需要企业级调度、工作流能力或更复杂的资源编排，可在新增任务时选择 Dolphinscheduler（企业级）。

配置调度周期

在新增或修改任务表单中点击调度周期旁的【配置】，或在目标任务行点击【更多】>【调度周期】。
在“秒、分钟、小时、日、月、周、年”页签中设置周期。
核对完整 Cron 表达式。
查看最近 5 次运行时间。
点击【确定】确认当前表达式，继续保存任务或当前表单后再核对结果。

调度顺序

任务必须先上线，调度状态才允许开启。需要下线任务时，应先关闭调度；需要删除任务时，应先关闭调度，再下线任务。

进入配置转换工作台

在列表中定位目标任务。
点击【配置任务】。
进入【数据开发配置转换】后，核对页面顶部的任务类型图标和任务名称。
在中部在线编辑器中查看或维护 SQL、脚本。
在右侧属性配置中维护运行参数和类型专属字段。
保存任务配置并根据页面反馈确认结果。

区域	当前内容	使用说明
顶部任务区	任务类型图标、任务名称、【任务保存】【任务取消】【任务配置】	先确认编辑对象；符合当前任务状态时还会显示【任务运行】
中部编辑区	带行号、语法高亮、折叠、自动换行和提示的在线编辑器	查看或维护当前任务的 SQL、脚本
右侧属性配置区	【基础配置】【其他配置】【参数配置】	设置通用参数、连接与 SQL 参数，并按任务类型显示资源字段
底部结果区	【日志控制台】【查询结果】【执行历史记录】	查看当前任务的开发反馈

配置运行参数、数据源和 SQL 参数

在右侧【基础配置】中核对任务优先级和 Worker 分组。
核对失败重试次数、失败重试间隔和延迟执行时间。
展开【其他配置】。
核对只读的“数据连接类型”，并为数据库任务选择必填的“数据源连接”。
在必填的“SQL 类型”中选择【查询】【非查询】或【储存过程】。
按需填写“分段执行符号”。
在【参数配置】中维护参数名称、参数类型和值。
需要新增参数时，点击【添加配置项】。

字段名	说明	是否必填
任务优先级	设置任务运行优先级。	是
Worker 分组	选择任务运行所使用的 Worker 组。	是
失败重试次数	设置失败后的重试次数，单位为“次”。	以页面标记为准
失败重试间隔	设置相邻重试的间隔，单位为“分”。	以页面标记为准
延迟执行时间	设置调度后延迟启动时间，单位为“分”。	以页面标记为准
数据连接类型	只读展示当前任务的开发连接类型。	展示
数据源连接	选择当前任务使用的数据连接。	数据库任务必填
SQL 类型	选择查询、非查询或储存过程。	数据库任务必填
分段执行符号	设置多条独立 SQL 的分隔标识。	按开发类型展示
参数配置	配置参数名称、类型和值。	按开发类型展示

参数类型包括 VARCHAR、INTEGER、LONG、FLOAT、DOUBLE、DATE、TIME、TIMESTAMP 和 BOOLEAN。SQL 类型的完整执行语义、参数引用语法和全部校验规则以系统实际页面为准。

修改任务配置

选择需要调整的数据开发任务，在操作列中点击【配置任务】进入配置页，或在可维护入口中修改任务基础信息、调度周期、责任人、备注等内容。任务已上线或调度启用时，应先关闭调度并将任务下线。

管理任务状态、执行一次和删除

完成任务配置后，在列表中开启“任务状态”。
任务上线后，按需开启“调度状态”。
需要立即运行时，点击【更多】>【执行一次】。
查看请求受理反馈。
进入详情、执行历史记录或运维实例继续查看最终状态。
需要删除时，先关闭调度状态。
下线任务。
如任务已被作业引用，先在相关作业中解除引用。
点击【更多】>【删除】。
在二次确认弹窗中核对任务后再确认。

被作业引用的任务不能直接删除，应先到相关作业中解除引用。符合现有状态条件的历史实例可由系统既有能力重跑；当前数据开发列表不提供可用的重跑入口。

查看数据开发任务详情

在目标任务行点击【详情】。
在顶部核对任务编号、任务名称、任务状态、开发类目、数据连接类型和调度状态。
在【开发详情】页签只读查看已保存的 SQL 或脚本。
切换到【详细信息】。
核对通用运行参数、调度信息和最近执行结果。
按任务类型核对 SparkSql 或 FlinkStream 资源字段。
点击【返回】回到数据开发列表。

详情页只用于查看，不提供任务保存、状态切换、执行或调试操作。详情中的内部编号或空值只按页面原样展示，请勿把内部值直接解释为连接名称。

与作业管理和运维管理协同

在数据开发中保存目标任务。
在作业上线前确保该数据开发任务已上线。
在【作业管理】任务树中将其加入当前作业画布。
保存作业节点和依赖关系。
作业运行到该节点后，在运行链路中核对父作业实例和父节点关系；需要查看或下载节点日志时，进入【运维管理】>【数据开发实例】定位对应实例。
需要删除数据开发任务时，先从所有相关作业中解除引用。

随作业运行的数据开发实例会关联父作业实例和父节点。后续修改任务配置不会覆盖已经产生的历史实例版本和运行结果。

常见问题

为什么调度状态无法开启？
只有任务已上线时才能开启调度。请先完成并保存任务配置，再上线任务，然后开启调度。
Quartz 和 Dolphinscheduler 如何选择？
常规轻量级周期任务可选择 Quartz；需要复杂工作流、企业级调度或更强任务编排能力时选择 Dolphinscheduler。
任务下线或删除前需要做什么？
下线任务前先关闭调度；删除任务前还需确保任务已下线且未被作业引用。被引用时应先在相关作业中解除引用。
为什么 SparkSql 和 FlinkStream 看到的资源字段不同？
两类任务使用不同执行引擎。SparkSql 展示 Driver/Executor 资源，FlinkStream 展示 JobManager/TaskManager/Slot/并行度，数据库类任务不展示这两组字段。
在哪里查看失败原因和历史运行？
可以先查看配置页的【执行历史记录】和详情中的最近执行结果；需要进一步排查时，在运维管理的数据开发实例中查看或下载节点日志。

总结

数据开发将任务查询、新增、配置转换工作台、类型专属资源、状态调度、运行实例和只读详情串联为一条完整链路。操作时应重点核对所属项目、目标任务、执行器类型、开发类型、任务与调度顺序、保存反馈和实例最终状态，并在任务被作业引用时保持上下游关系完整。