背景信息以及准备工作

准备工作

1. 开通DLA、AnalyticDB for MySQL 2.0以及OSS服务，且DLA、AnalyticDB for MySQL 2.0、OSS所属Region相同。

2. 在DLA中创建服务访问点，即创建VPC专有网络。详情，请参见创建服务访问点。

3. 在AnalyticDB for MySQL 2.0中创建VPC，DLA将通过AnalyticDB for MySQL 2.0的VPC地址连接AnalyticDB for MySQL 2.0，详情请参见。

4. 如果您的AnalyticDB所属VPC与DLA相同，则跳过本步骤，继续下面的步骤。否则，可通过MySQL命令行工具或者客户端DBeaver等连接AnalyticDB for MySQL 2.0，执行以下SQL修改AnalyticDB for MySQL 2.0的VPC，使DLA能够连接AnalyticDB for MySQL 2.0。

   ALTER DATABASE ads_database set zone_id='cn-shanghai-d' vpc_id='vpc-uf6wxkgst74es59wqareb' vswitch_id='vsw-uf6m7k4fcq3pgd0yjfdnm';

5. 在AnalyticDB for MySQL 2.0中创建实时表，用于存储OSS数据。

   本示例中的表为shipping和order_table表，表结构信息如下所示。

   ​CREATE TABLE ads_database.shipping (
   id bigint NOT NULL COMMENT '',
   origin_state varchar NOT NULL COMMENT '',
   origin_zip varchar NOT NULL COMMENT '',
   destination_state varchar NOT NULL COMMENT '',
   destination_zip varchar NOT NULL COMMENT '',
   package_weight int NOT NULL COMMENT '',
   PRIMARY KEY (id)
   )
   PARTITION BY HASH KEY (id) PARTITION NUM 23
   TABLEGROUP ads
   OPTIONS (UPDATETYPE='realtime')
   COMMENT ''​

   ​ CREATE TABLE ads_database.order_table (
      customer_id bigint NOT NULL COMMENT '',
      order_id varchar NOT NULL COMMENT '',
      order_time date NOT NULL COMMENT '',
      order_amount double NOT NULL COMMENT '',
      order_type varchar NOT NULL COMMENT '',
      address varchar NOT NULL COMMENT '',
      city varchar NOT NULL COMMENT '',
      order_season bigint COMMENT '',
      PRIMARY KEY (customer_id)
    )
    PARTITION BY HASH KEY (customer_id) PARTITION NUM 32
    TABLEGROUP ads
    OPTIONS (UPDATETYPE='realtime')
    COMMENT ''​

注意事项

• AnalyticDB for MySQL 2.0为主键覆盖逻辑，若整个INSERT FROM SELECT的ETL任务失败，需要整体重试。

• 在AnalyticDB for MySQL 2.0中查询数据时，存在一定的延迟，延迟时长取决于AnalyticDB for MySQL 2.0中的ECU规格。

• 建议将ETL任务尽量切成小的单位分批执行。例如，OSS中的数据为200GB，在业务允许的情况下，200GB的数据切分为100个文件夹，每个文件夹存储2GB数据。在DLA中创建100张表，100张表分别做ETL，单个ETL任务失败，只重试单个ETL任务。

• OSS数据写入AnalyticDB for MySQL 2.0后，需要修改AnalyticDB for MySQL 2.0的VPC地址，否则除了DLA可以连接AnalyticDB for MySQL 2.0以外，其他阿里云服务将无法通过AnalyticDB for MySQL 2.0的当前VPC地址访问AnalyticDB for MySQL 2.0。

  ALTER DATABASE ads_database set zone_id='cn-shanghai-d' vpc_id='vpc-uf6wxkgst*****' vswitch_id='vsw-uf6m7k4fcq3pgd0y****';