本文介绍云数据库 SelectDB 版与阿里云DLF数据源进行对接使用的流程,帮助您对阿里云DLF数据源进行联邦分析。
概述
阿里云Data Lake Formation(DLF)是阿里云上的统一元数据管理服务,兼容Hive Metastore协议。SelectDB 可以像访问 Hive Metastore 一样,连接并访问 DLF。
连接DLF
创建基础的DLF Catalog
CREATE CATALOG dlf PROPERTIES (
"type"="hms",
"hive.metastore.type" = "dlf",
"dlf.proxy.mode" = "DLF_ONLY",
"dlf.endpoint" = "dlf-vpc.cn-beijing.aliyuncs.com",
"dlf.region" = "cn-beijing",
"dlf.uid" = "uid",
"dlf.access_key" = "ak",
"dlf.secret_key" = "sk"
);
其中参数"type"="hms"
、 "hive.metastore.type" = "dlf",
和 "dlf.proxy.mode" = "DLF_ONLY",
为固定值无需改动。
其他关键参数说明如下。
参数 | 参数说明 |
dlf.endpoint | DLF Endpoint,详情请参见已开通的地域和访问域名。 |
dlf.region | DLF Region,详情请参见已开通的地域和访问域名。 |
dlf.uid | 阿里云账号。即阿里云控制台右上角个人信息的账号ID。 |
dlf.access_key | AccessKey。详情请参见创建AccessKey。 |
dlf.secret_key | SecretKey。详情请参见创建AccessKey。 |
"dlf.access.public"="true" | 是否开启公网访问阿里云对象存储的数据。 |
配置完成后即可像Hive MetaStore一样,访问DLF下的元数据。
重要
请确保创建Catalog的阿里云账号拥有DLF访问权限,详情请参见DLF权限说明。
列类型映射
连接DLF后SelectDB进行的列类型映射和Hive Catalog一致,详情请参见Hive数据源。
文档内容是否对您有帮助?