本文介绍云数据库 SelectDB 版与阿里云MaxCompute数据源进行对接使用的流程,帮助您对阿里云MaxCompute数据源进行联邦分析。
概述
云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。SelectDB可以连接并访问阿里云MaxCompute数据源并进行联邦分析。
连接MaxCompute
云数据库 SelectDB 版默认使用VPC访问阿里云MaxCompute数据源,请确保云数据库 SelectDB 版和阿里云MaxCompute数据源在同一VPC下,如果不在同一VPC下请开启配置mc.public_access=true
。
创建MaxCompute Catalog
CREATE CATALOG mc PROPERTIES (
"type" = "max_compute",
"mc.region" = "cn-beijing",
"mc.default.project" = "your-project",
"mc.access_key" = "ak",
"mc.secret_key" = "sk"
);
其中type固定为max_compute
,其他参数说明如下:
参数 | 描述 |
mc.region | MaxCompute开通的地域。可以从Endpoint中找到对应的Region,参阅Endpoint。 |
mc.default.project | MaxCompute项目。创建MaxCompte项目详情请参考创建MaxCompute项目。 |
mc.access_key | AccessKey。创建AccessKey详情请参见创建AccessKey。 |
mc.secret_key | AccessKey Secret。创建AccessKey Secret详情请参见创建AccessKey。 |
mc.public_access | 配置 说明 公网访问存在一定风险,不建议在生产环境中使用公网访问。 |
限额
连接MaxCompute时,按量付费的Quota查询并发和使用量有限。如需增加资源,详情请参见Quota管理(新版)。
列类型映射
连接MaxCompute后,SelectDB进行的列类型映射和Hive Catalog一致,详情请参见参阅Hive数据源。