本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。

环境配置要求

  • 客户端ECS与服务端（Presto和DLA Presto）处于同一地域、同一可用区。本例中为华东1（杭州）可用区I。
  • 客户端与服务端的网络类型均为VPC网络。
  • 开源自建的Presto使用社区0.228版本。由于社区版本的Presto不支持访问OSS，需要您做如下修改来支持访问OSS数据源：
    1. 下载OSS Jar包，解压后复制到Presto的lib和plugin/hive-hadoop2这两个目录下面。
    2. 在Presto的etc/core-site.xml中增加如下配置：
          <property>
        <name>fs.oss.accessKeyId</name>
        <value>your ak</value>
    </property>

    <property>
        <name>fs.oss.accessKeySecret</name>
        <value>your sk</value>
    </property>

    <property>
        <name>fs.oss.credentials.provider</name>
        <value></value>
    </property>

    <property>
        <name>fs.oss.endpoint</name>
        <value>oss-cn-hangzhou-internal.aliyuncs.com</value>
    </property>

    <property>
        <name>fs.oss.impl</name>
        <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
    </property>
  • 开源Presto集群配置如下：
    配置名称配置要求
    Worker节点规格ecs.hfg6.4xlarge（16核64 GB）
    Worker节点数量15
    Coordinator节点规格ecs.hfg6.4xlarge（16核64 GB）
  • DLA使用256核1024 GB规格的虚拟集群。
  • 客户端ECS使用ecs.hfg6.4xlarge（16核64 GB）规格的机型。