通过DataWorks导入数据

使用限制

• DataWorks的数据集成功能仅支持离线写入云数据库 SelectDB 版。

• 不支持写入BITMAP、HLL（HyperLogLog）和QUANTILE_STATE类型的字段。

数据同步任务开发

新增数据源

在进行数据同步任务开发时，您需要在DataWorks上分别创建MySQL和SelectDB数据源。

1. 创建MySQL数据源，详情请参见MySQL数据源。

2. 创建SelectDB数据源，详情请参见创建并管理数据源。SelectDB数据源的部分配置参数如下所示：

   参数	说明
   数据源名称	数据源的名称。
   MySQL连接地址	请填写JDBC连接串jdbc:mysql://<ip>:<port>/<dbname>。 您可以从云数据库 SelectDB 版控制台的实例详情 > 网络信息中获取VPC地址（或公网地址）和MySQL协议端口。 示例：jdbc:mysql://selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:9030/test_db 说明 当MySQL实例和云数据库 SelectDB 版实例属于同一VPC时，使用VPC地址；不属于同一个VPC时，使用公网地址。
   HTTP连接地址	请填写HTTP协议访问地址<ip>:<port>。 您可以从云数据库 SelectDB 版控制台的实例详情 > 网络信息中获取VPC地址（或公网地址）和HTTP协议端口。 示例：selectdb-cn-4xl3jv1****.selectdbfe.rds.aliyuncs.com:8080 说明 当MySQL实例和云数据库 SelectDB 版实例属于同一VPC时，使用VPC地址；不属于同一个VPC时，使用公网地址。
   用户名	请填写云数据库 SelectDB 版实例的用户名。
   密码	请填写云数据库 SelectDB 版实例对应用户的密码。

   重要

   为了保证添加数据源成功，需要将DataWorks资源组的IP添加到SelectDB等数据源的白名单，具体操作流程请参考添加白名单。添加白名单时需要区分独享数据集成资源组和公共数据集成资源组。

配置单表离线同步任务

您可以选择向导模式或者脚本模式配置离线同步任务，操作流程请参见：

• 通过向导模式配置离线同步任务。

• 通过脚本模式配置离线同步任务。

  通过脚本模式配置离线任务时，全量参数和脚本示例请参见脚本模式示例与参数说明。

脚本模式示例与参数说明

离线任务脚本配置方式

使用脚本模式配置离线任务时，需要按照统一的脚本格式要求编写脚本。脚本格式要求请参见通过脚本模式配置离线同步任务。

MySQL Reader与SelectDB Writer脚本示例

{
	"type":"job",
	"version":"2.0",
	"steps":[
		{
			"stepType":"mysql",
			"parameter":{
				"column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
				"connection":[
					{
						"datasource":"<mysql_datasource>",
						"table":[
							"<mysql_table_name>"
						]
					}
				],
				"where":"",
				"splitPk":"",
				"encoding":"UTF-8"
			},
			"name":"Reader",
			"category":"reader"
		},
		{
			"stepType":"selectdb",
			"parameter":{
        "postSql":[
        ],
        "preSql":[
        ],
        "username": "<selectdb_username>",
        "password": "<selectdb_password>",
        "loadUrl":[
          "<ip:port>"
        ],
        "column":[
          "<id>",
          "<table_id>",
          "<table_no>",
          "<table_name>",
          "<table_status>"
				],
        "connection":[
					{
						"datasource":"<selectdb_datasource>",
						"table":[
							"<selectdb_table_name>"
						]
					}
				],
        "maxBatchRows":1000000,
        "loadProps":{
          "format":"csv",
          "column_separator": "\\x01",
          "line_delimiter": "\\x02"
        }
      },
			"name":"Writer",
			"category":"writer"
		}
	],
	"setting":{
		"errorLimit":{
			"record":"0"
		},
		"speed":{
			"throttle":false,
			"concurrent":1
		}
	},
	"order":{
		"hops":[
			{
				"from":"Reader",
				"to":"Writer"
			}
		]
	}
}

脚本参数

"loadProps": {
   "format": "json",
   "strip_outer_array":true
}

"loadProps": {
   "format":"csv",
   "column_separator": "\\x01",
   "line_delimiter": "\\x02"
}

支持的字段类型

云数据库 SelectDB 版支持的字段类型如下表所示：

相关文档

什么是DataWorks