阿里云DLF数据源

本文介绍云数据库 SelectDB 版与阿里云DLF数据源进行对接使用的流程,帮助您对阿里云DLF数据源进行联邦分析。

概述

阿里云Data Lake Formation(DLF)是阿里云上的统一元数据管理服务,兼容Hive Metastore协议。SelectDB 可以像访问 Hive Metastore 一样,连接并访问 DLF。

连接DLF

创建基础的DLF Catalog

CREATE CATALOG dlf PROPERTIES (
   "type"="hms",
   "hive.metastore.type" = "dlf",
   "dlf.proxy.mode" = "DLF_ONLY",
   "dlf.endpoint" = "dlf-vpc.cn-beijing.aliyuncs.com",
   "dlf.region" = "cn-beijing",
   "dlf.uid" = "uid",
   "dlf.access_key" = "ak",
   "dlf.secret_key" = "sk"
);

其中参数"type"="hms" "hive.metastore.type" = "dlf", "dlf.proxy.mode" = "DLF_ONLY",为固定值无需改动。

其他关键参数说明如下。

参数

参数说明

dlf.endpoint

DLF Endpoint,详情请参见已开通的地域和访问域名

dlf.region

DLF Region,详情请参见已开通的地域和访问域名

dlf.uid

阿里云账号。即阿里云控制台右上角个人信息的账号ID

dlf.access_key

AccessKey。详情请参见创建AccessKey

dlf.secret_key

SecretKey。详情请参见创建AccessKey

"dlf.access.public"="true"

是否开启公网访问阿里云对象存储的数据。

配置完成后即可像Hive MetaStore一样,访问DLF下的元数据。

重要

请确保创建Catalog的阿里云账号拥有DLF访问权限,详情请参见DLF权限说明

列类型映射

连接DLF后SelectDB进行的列类型映射和Hive Catalog一致,详情请参见Hive数据源