使用OssUtil下载转存已授权的数据集

更新时间:

用户订阅数据集后查询已授权的数据集版本,您可以在使用OSS Bucket名称的任何位置中,通过已授权数据集版本提供的OSS接入点别名访问授权数据。本文介绍使用ossutil命令行工具进行数据查询和下载。

查看数据集版本信息

通过页面展示转存所需要的信息

  • OSS接入点别名:等同于OSS Bucket名称,通过OSS接入点别名访问数据

  • region:已授权数据所在地域

  • 路径:数据服务商共享的文件路径

  • 请求者付费:数据的流量和请求费用是否由请求者付费,

image.png

下载并安装OssUtil

参考安装ossutil下载并安装OssUtil。

配置OssUtil

使用ossutil config命令设置OssUtil。

  • accessKeyID:填写主账号ak或者第一步查看数据集版本信息使用的子账号ak

  • accessKeySecret:填写主账号sk或者第一步查看数据集版本信息使用的子账号sk

  • endpoint:填写地域对应的endpoint如:https://oss-cn-hangzhou.aliyuncs.com

转存到目标Bucket

OssUtil的cp命令不支持使用接入点直接拷贝至目标Bucket,需要先下载,再上传。

下载到本地指定目录

ossutil cp -r oss://ap-a8j94b41sgvd61p-493a10b54d73b97e8ff2821ea5a0817f1a-ossalias/data-api-oss/ tempa/

接入点别名在使用上与Bucket名称等同,可以使用接入点别名和路径指定文件范围,-r表示递归下载文件夹中的所有文件,具体命令可以参考cp(下载文件)

如果服务商开启了请求者付费,使用ossutil进行转存时,还需要增加请求者付费参数 --payer=requester。开启请求者付费时,数据下载产生的流量和请求费用由被授权使用的用户承担,具体参考流量费用

从本地指定目录上传到跨地域的Bucket

ossutil cp -e oss-cn-beijing.aliyuncs.com -r tempa/ oss://cri-3yyq14vsfaqsoaow-chart/data-api-oss/ 

因为跨地域转存,所以需要通过-e指定bucket对应的endpoint,-r表示递归上传文件夹中的所有文件,具体命令可以参考cp(上传文件)

备注

  1. 由于安全性和接入点授权初始化原因,仅主账号和在第一步中查看过数据集版本信息(使用GetSubscribedDataSetVersion接口)的子账号才可以使用OssUtil进行转存。

  2. 除了使用OssUtil进行转存,通过OSS OpenAPI也可以使用接入点别名进行数据访问和下载等操作。

  3. STS角色扮演临时用户暂时无法使用接入点。