基于湖构建数据平台,支持BI、挖掘等业务

数据湖分析

对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。

  • 构建数据湖
    • 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建大规模的可以增删改查的数据集,延迟为T+10分钟。
    • 一键建仓 :支持数据库一键入湖,T+1天。
    • 文件上传:数据上传后,DLA元数据发现功能可自动发现并构建好元数据体系。
  • 数据ETL:DLA支持Spark,提供强大的数据ETL能力,把ODS层的原始数据清洗为结构化的DW数据。
  • 机器学习:DLA支持Spark,支持开源算法库。
  • 交互式分析:DLA提供Presto交互式分析,支持BI、分析师的数据分析诉求。

联邦分析:同时连接多个数据源做数据的分析

联邦查询与轻量级清洗
  • 联邦分析:DLA Presto可对接数十种数据源对各种数据源进行查询。
  • 轻量级清洗方案:可以通过Presto满足轻量级数据ETL,从OSS写入数据到数据库。