使用OssUtil下载转存已授权的数据集
用户订阅数据集后查询已授权的数据集版本,您可以在使用OSS Bucket名称的任何位置中,通过已授权数据集版本提供的OSS接入点别名访问授权数据。本文介绍使用ossutil命令行工具进行数据查询和下载。
查看数据集版本信息
通过页面展示转存所需要的信息
OSS接入点别名:等同于OSS Bucket名称,通过OSS接入点别名访问数据
region:已授权数据所在地域
路径:数据服务商共享的文件路径
请求者付费:数据的流量和请求费用是否由请求者付费,
下载并安装OssUtil
参考安装ossutil下载并安装OssUtil。
配置OssUtil
使用ossutil config命令设置OssUtil。
accessKeyID:填写主账号ak或者第一步查看数据集版本信息使用的子账号ak
accessKeySecret:填写主账号sk或者第一步查看数据集版本信息使用的子账号sk
endpoint:填写地域对应的endpoint如:https://oss-cn-hangzhou.aliyuncs.com
转存到目标Bucket
OssUtil的cp命令不支持使用接入点直接拷贝至目标Bucket,需要先下载,再上传。
下载到本地指定目录
ossutil cp -r oss://ap-a8j94b41sgvd61p-493a10b54d73b97e8ff2821ea5a0817f1a-ossalias/data-api-oss/ tempa/
接入点别名在使用上与Bucket名称等同,可以使用接入点别名和路径指定文件范围,-r表示递归下载文件夹中的所有文件,具体命令可以参考cp(下载文件)。
如果服务商开启了请求者付费,使用ossutil进行转存时,还需要增加请求者付费参数 --payer=requester。开启请求者付费时,数据下载产生的流量和请求费用由被授权使用的用户承担,具体参考流量费用。
从本地指定目录上传到跨地域的Bucket
ossutil cp -e oss-cn-beijing.aliyuncs.com -r tempa/ oss://cri-3yyq14vsfaqsoaow-chart/data-api-oss/
因为跨地域转存,所以需要通过-e指定bucket对应的endpoint,-r表示递归上传文件夹中的所有文件,具体命令可以参考cp(上传文件)。
备注
由于安全性和接入点授权初始化原因,仅主账号和在第一步中查看过数据集版本信息(使用GetSubscribedDataSetVersion接口)的子账号才可以使用OssUtil进行转存。
除了使用OssUtil进行转存,通过OSS OpenAPI也可以使用接入点别名进行数据访问和下载等操作。
STS角色扮演临时用户暂时无法使用接入点。