自定义配置 DDL/DML

背景信息

您在配置数据迁移或数据同步任务时，如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步，则会默认支持 DML 同步，您可以自定义配置 DML 或 DDL。

• DML 同步：配置数据迁移或数据同步任务时，您可以对需要同步的 DML SQL 语句设置同步策略，只有符合设置条件的 SQL 语句才会被同步至目标端。该功能常用于历史表和交易明细表场景。

• DDL 同步：配置数据迁移或数据同步任务时，您可以设置是否同步 DDL。只有设置同步 DDL 后，CREATE、ALTER、DROP 或 TRUNCATE TABLE 等 DDL 语句才会被同步至目标端。该功能常用于长期的数据迁移、数据同步任务，可以显著降低任务运维的成本。

使用限制

• DML 同步

  • DML 过滤的作用范围为整个数据迁移或数据同步任务。

  • 不支持对选择 DML 过滤的数据迁移任务进行全量数据校验。

• DDL 同步

  • 除支持的增量 DDL 类型外，其它类型均不支持。

  • 如果需要同步的表涉及不支持的 DDL 类型，数据迁移或数据同步任务可能会中断并造成数据问题，且无法恢复。

  • 请勿在结构迁移/结构同步、全量迁移/全量同步阶段执行库或者表结构变更的 DDL 操作，否则可能导致数据迁移或数据同步任务中断。

操作步骤

1. 将数据迁移或数据同步任务配置至 选择迁移类型 或 选择同步类型 步骤。

   详情请参见相应类型的 数据迁移 或 数据同步 任务文档。

   

2. 在 选择迁移类型 或 选择同步类型 页面，勾选 增量同步，DML 同步处于默认勾选状态。

   

3. 单击 自定义配置 DDL/DML。

4. 在 自定义配置 DDL/DML 对话框，选择需要同步的 DML 或 DDL。

   • 通常 DML 同步支持 insert、delete 和 update，您可以根据需要进行过滤。不同类型的数据迁移或数据同步任务 DDL 同步支持的范围请参见 DDL 同步范围，您可以根据支持的 DDL 同步范围来自定义配置 DDL。

     

   • 迁移 Lindorm 或 HBase 数据库的数据至 OBKV 时，DML 同步支持 delete 和 put。当您选择 增量同步 > DML 同步 时，请联系阿里云技术支持，确认投递到 Kafka 的数据具备有序性，否则可能出现数据不一致的风险。

     Lindorm 的详情请参见《实时数据订阅概述》中的 使用限制，HBase 增强版的详情请参见 Streams（实时数据订阅）功能介绍。

     

5. 在 自定义配置 DDL/DML 对话框，单击 确定。

6. 在 选择迁移类型 或 选择同步类型 页面，单击 下一步，根据提示完成后续的任务配置。