背景信息以及准备工作

背景信息

Data Lake Analytics(简称DLA) 作为云上数据处理的枢纽,支持通过标准JDBC对RDS、Table Store、OSS中的数据进行查询和分析。

您还可以在DLA中创建云数据库 Redis 版(简称Redis)的数据库连接(映射数据库),然后通过MySQL客户端或者MySQL命令行工具连接DLA,使用标准SQL语句操作Redis数据库数据。

本文档将以DLA读取Redis中CSV和JSON两中类型的数据为例,介绍如何通过DLA读取Redis数据。

目前仅支持通过DLA读取CSV和JSON两种类型的Redis数据。

前提条件

通过DLA读取Redis数据前,您需要通过以下操作在Redis中准备好测试数据。

  1. 创建实例

    DLA和Redis所属地域必须相同,否则无法进行本文档操作。

    由于DLA将通过Redis的VPC连接Redis数据库,建议您创建Redis实例时,网络类型选择VPC。同时,Redis支持通过切换为专有网络将经典网络切换为VPC。

  2. 设置白名单

  3. 连接实例

  4. 写入测试数据

本文档示例在Redis中写入测试数据:

  1. # CSV格式的数据
  2. set hello_world_1 1,james,10
  3. set hello_world_2 2,bond,20
  4. set hello_world_3 3,lily,30
  5. set hello_world_4 4,lucy,20
  6. # JSON格式的数据
  7. set hello_foo_1 '{"id":1,"name":"james","age":110}'
  8. set hello_foo_2 '{"id": 2, "name": "bond", "age": 210}'
  9. set hello_foo_3 '{"id": 3, "name": "lily", "age": 310}'
  10. set hello_foo_4 '{"id": 3, "name": "lucy", "age": 210}'

注意事项

在DLA中创建Redis数据库连接前,需要将IP地址段100.104.0.0/16加入到Redis白名单列表中。

由于您的Redis实例位于VPC内,默认情况下DLA无法访问该VPC中的资源。为了让DLA访问Redis,需要利用VPC反向访问技术,即在Redis白名单中添加100.104.0.0/16IP地址段。

权限声明:当您在Redis白名单中添加了100.104.0.0/16IP地址段,即视您为同意我们利用VPC反向访问技术读取Redis数据库数据。

实施步骤

  1. 创建Redis Schema

  2. 创建Redis表并读取数据