Data Exchange数据集用于数据标注

更新时间:

用户可以利用Data Exchange来创建数据集,或者将从云市场订阅的数据集转存为个人数据集。本文介绍通过Data Exchange数据应用功能,扫描和解析数据集文件,生成图片/视频/音频或文本标注所需的manifest文件,从而便于在PAI-iTAG中进行数据标注。

选择源数据集用于数据标注

在Data Exchange - 拥有的数据集页面,选择需要进行数据标注的数据集,点击操作列“数据应用”

image

选择需要进行标注的数据集版本,页面默认选择了最新的数据集版本,可以根据需要切换到其他数据集版本。

在数据使用场景选项,选择“数据标注”。

image

选择或创建PAI工作空间

数据标注依赖人工智能平台-智能标注(PAI - iTAG)产品,您需要先开通PAI产品,iTAG是一款智能化数据标注平台,支持图像、文本、视频、音频等多种数据类型的标注以及多模态的混合标注。目前iTAG产品可以免费试用。

根据数据版本关联的OSS Bucket所在地域,您需要选择该地域下的一个PAI工作空间。如果在当前地域还没有创建工作空间,“快速创建工作空间”可以为您快速创建工作空间。

image

说明

需要注意,如果当前使用的子账号/角色登录,需要确保先成为PAI空间工作成员后,才可以选择该PAI工作空间。详情可以参考管理工作空间成员

生成图片/视频/音频标注manifest文件并同步到PAI-iTAG

在数据应用功能中,选择同步的数据类型为“图片/视频/音频”,随后选择当前数据集版本中需要进行标注的图片/视频/音频文件所在的文件夹,并使用通配符功能对所选文件夹中的文件进行格式过滤,筛选出想要进行标注的文件。

image

点击“数据展示加载”,预览扫描文件夹找到的待标注文件列表,预览的结果按照PAI-iTAG标注所需的manifest数据格式要求展示。图片/音频/视频标注manifest格式中仅包含待标注的图片、视频、音频文件地址,不包含待标注文件内容,具体可以参考附录:标注数据格式

设置保存manifest标注文件的目录和文件名,默认保存在数据集版本所在OSS Bucket的dataset_input目录中。

image

点击提交,数据应用功能会保存manifest标注数据文件到指定位置,并创建PAI-iTAG数据集,创建成功后跳转到PAI-iTAG的数据集管理页面。

说明

PAI-iTag当前支持图像类(jpg/cur/webp/png/svg/gif/bmp/jpeg/ico/web)、视频类(mp4)、音频类(mp3)格式进行标注,其余格式可能无法完成正常标注。

生成文本标注manifest文件并同步到PAI-iTAG

在数据应用功能中,选择同步的数据类型为“文本”,随后选择当前数据集版本中需要进行标注的CSV/Excel文件。

image

点击“数据展示加载”,预览解析文件内容,预览的结果按照PAI-iTAG标注所需的manifest数据格式要求展示。文件标注manifest格式中包含了解析的文件内容,具体可以参考附录:标注数据格式

设置保存manifest标注文件的目录和文件名,默认保存在数据集版本所在OSS Bucket的dataset_input目录中。

点击提交,数据应用功能会保存manifest标注数据文件到指定位置,并创建PAI-iTAG数据集,创建成功后跳转到PAI-iTAG的数据集管理页面。

说明

数据当前支持解析CSV/Excel格式文件并转换为manifest标注格式,其他格式需要自行解析生成manifest格式。

在PAI-iTAG对数据集进行标注

在PAI-iTAG创建数据标注任务,关联上一步创建的PAI-iTAG数据集,选择标注配置类型,配置任务分配方式、标注人员、标注流程、智能标注服务等选项,发起数据标注任务。具体可以参考创建标注任务

image

PAI标注结果同步到Data Exchange数据集

对已经完成的标注任务,在iTag任务中心可以通过“获取标注结果”导出为标注数据集,设置OSS输出位置,可以将标注结果通过manifest格式导出到OSS。标注结果数据集可以通过数据管理页面 - 标注数据集标签页查看。具体可以参考导出标注结果数据

image

在标注数据集标签页,选择需要同步到Data Exchange的数据集,点击操作栏“同步至Data Exchange”,将为您创建指向标注结果manifest文件的Data Exchange数据集。

image

在Data Exchange拥有的数据集页面可以查看上一步同步到Data Exchange的标注结果数据集,点击继续创建,编辑版本名称、描述、文件类型,保存后数据集就创建完成了。您可以将数据集用于后续数据应用,或通过云市场进行商业化。

image

说明

同步到Data Exchange的标注结果数据集的默认版本中,已关联了保存到OSS的标注结果manifest文件,且不可以修改。