AI 助理
备案控制台
文档
输入文档关键字查找
首页 云原生多模数据库 Lindorm 操作指南 计算引擎 作业管理 计算资源组管理

计算资源组管理

更新时间：
产品详情
我的收藏

当您需要在云原生多模数据库 Lindorm中高效管理计算引擎的资源时，本文档将指导您如何创建计算资源组，并对每个资源组进行配置，以实现资源隔离，优化资源分配，并确保作业按照预期性能运行。

前提条件

已开通计算引擎。如何开通，请参见开通与变配。

创建和管理资源组

  1. 登录Lindorm管理控制台。在左上角选择实例所属的地域。在实例列表页，单击目标实例ID或者目标实例所在行操作列的管理。

  2. 在实例详情页的配置信息区域，单击计算引擎操作列的资源组管理。image

  3. 在资源组详情页中单击创建资源组，配置以下内容：

    • 资源组名称：资源组的名字，仅支持小写字母和数字，且长度不超过63个字符。例如cg0。

    • 资源组类型：支持ETL资源组和OLAP资源组。

    • 其他配置项：

      ETL资源组

      ETL资源组面向数据湖或数据仓库生产场景，提供大规模数据集高吞吐计算能力，弹性计算资源池按需伸缩。

      参数

      说明

      使用示例

      单日资源消耗限额（DAILY_QUOTA）

      资源组每日消耗的能力单元CU（Capacity Unit）资源上限，单位为CU*Hour。默认值为0，表示无限制。

      重要

      超出上限，作业会被强制立即删除（稳定性要求高的资源组不建议配置 DAILY_QUOTA）。

      {
  "MAX_CPU": "2000",
  "MAX_MEM": "16000G"
}

      CPU上限(核)（MAX_CPU）

      资源组CPU上限。取值范围：[100,100000]。

      内存上限(GB)（MAX_MEM）

      资源组内存上限，单位为GB。取值范围：[400G,1000000G]，无默认值。

      说明

      配置属性MAX_MEM输入单位时缩写为G，例如16000G。

      OLAP资源组

      OLAP资源组面向查询分析场景，适用于100 GB以下低时延查询场景，具备高并发查询响应能力。

      参数

      说明

      节点规格

      选择节点规格。

      作业工作节点数（WORKERS）

      作业工作节点数，每个节点规格为8核64 GB。取值范围：[4,1024]，默认值为4。

      使用示例如下：

      {
  "WORKERS": "4"
}
      说明

      • 计算引擎开通后会自动创建一个名称为default的资源组，类型为ETL。

      • default资源组仅支持修改属性配置不支持删除和重启。

  4. 在资源组详情页中，您可以编辑、删除或重启已创建的资源组。

使用资源组

以下介绍如何使用ETL资源组和OLAP资源组。

使用ETL资源组

ETL资源组可以根据不同访问方式配置参数compute-group指定资源组名称的方式使用。以下分别介绍几个主要应用场景中，通过参数配置ETL资源组。

访问方式

配置资源组

通过DMS访问计算引擎

在配置管理作业时，在作业配置区域内Spark系统参数配置（configs）中添加参数，语法："compute-group":"<compute_group_name>"。

通过DataWorks访问计算引擎

在发布周期性作业时，在Spark系统参数配置（conf）中添加参数，语法："compute-group":"<compute_group_name>。

通过HiveJDBC访问计算引擎

在Lindorm计算引擎的JDBC连接地址（endpoint）中添加参数指定计算资源组，语法：compute-group=<compute_group_name>。

使用OLAP资源组

OLAP资源组可以通过Lindorm-cli或JDBC方式连接使用。以下介绍如何通过参数配置OLAP资源组。

重要

  • 使用OLAP资源组要求宽表引擎为2.6.5及以上版本。如何查看或升级当前宽表引擎版本，请参见宽表引擎版本说明和升级小版本。

  • OLAP资源组目前仅支持查询，不支持数据写入操作。

Lindorm-cli

说明

通过Lindorm-cli使用计算引擎前，请确保已安装Java环境，要求安装JDK 1.8及以上版本。

步骤一：安装Lindorm-cli

  1. 根据您的操作系统，下载对应的Lindorm-cli安装包。下载链接如下表所示。

    操作系统

    下载链接

    Linux

    lindorm-cli for linux

    Mac

    lindorm-cli for mac

    Windows

    lindorm-cli for windows-x64

    Linux-arm64

    lindorm-cli for linux-arm64

  2. 解压Lindorm-cli压缩包。

    以Linux操作系统为例，执行以下命令解压。

    tar zxvf lindorm-cli-linux-latest.tar.gz

    解压后lindorm-cli-linux-latest文件夹中为lindorm-cli.exe文件。

步骤二：连接宽表引擎

客户端部署在Linux或Mac系统

  1. 跳转至Lindorm-cli.exe所在目录。

    cd <Lindorm-cli.exe所在目录>

  2. 执行以下语句连接宽表引擎。

    ./lindorm-cli -url <jdbc url> -username <用户名> -password <密码>

    参数说明

    参数

    示例值

    获取方法

    jdbc url

    jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060

    Lindorm宽表SQL的连接地址，获取方法请参见访问实例。

    用户名

    user

    如果您忘记用户名密码，可以通过Lindorm宽表引擎的集群管理系统修改密码，具体操作请参见修改用户密码。

    重要

    修改密码后，请通过控制台重启引擎。

    密码

    test

    您也可以在连接宽表引擎时，通过在jdbc url后添加?_use_ldps_=true&compute-group=<OLAP资源组名称>，并在jdbc url参数前后添加半角双引号（""），来指定使用OLAP资源组。具体示例如下：

    ./lindorm-cli -url "jdbc:lindorm:table:url=http://ld-bp12pt80qr38p****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060?_use_ldps_=true&compute-group=test" -username r*** -password t***

    连接成功将返回如下结果：

    Connected to jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060
lindorm-cli version: 1.0.xx

    其中，1.0.xx为Lindorm-cli的版本号。

客户端部署在Windows系统

  1. 打开命令提示符（CMD），跳转至lindorm-cli.exe的所在目录下。

    cd <lindorm-cli.exe所在目录>

  2. 在CMD上执行以下语句连接宽表引擎。

    lindorm-cli -url <jdbc url> -username <用户名> -password <密码>

    参数说明

    参数

    示例值

    获取方法

    jdbc url

    jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060

    Lindorm宽表SQL的连接地址，获取方法请参见访问实例。

    用户名

    user

    如果您忘记用户名密码，可以通过Lindorm宽表引擎的集群管理系统修改密码，具体操作请参见修改用户密码。

    重要

    修改密码后，请通过控制台重启引擎。

    密码

    test

    您也可以在连接宽表引擎时，通过在jdbc url后添加?_use_ldps_=true&compute-group=<OLAP资源组名称>，并在jdbc url参数前后添加半角双引号（""），来指定使用OLAP资源组。具体示例如下：

    ./lindorm-cli -url "jdbc:lindorm:table:url=http://ld-bp12pt80qr38p****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060?_use_ldps_=true&compute-group=test" -username r*** -password t***

    连接成功将返回如下结果：

    Connected to jdbc:lindorm:table:url=http://ld-bp17j28j2y7pm****-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060
lindorm-cli version: 1.0.xx

    其中，1.0.xx为Lindorm-cli的版本号。

步骤三：使用OLAP资源组

请根据您连接宽表引擎的方式，选择对应的使用方式。如果连接地址中添加了?_use_ldps_=true&compute-group=<OLAP资源组名称>参数，则已指定了OLAP资源组，反之则未指定。

  • 已指定OLAP资源组

    SELECT * FROM <Catalog名称>.<目标数据库名>.<目标表名>;
    说明

    • 支持的Catalog及其说明，请参见使用须知。

    • 如果您使用默认数据库default，通过Lindorm-cli查询数据时需要为其添加反引号`。例如：SELECT * FROM lindorm_columnar.`default`.test_table;

  • 未指定OLAP资源组

    您可以通过在查询语句中添加相关HINT参数，来指定需要使用的OLAP资源组。示例如下：

    SELECT /*+ _use_ldps_(<OLAP资源组名称>), _columnar_index_ */ * FROM <目标数据库名>.<目标表名> LIMIT 50;

    参数说明

    HINT名称

    HINT选项

    描述

    _use_ldps_

    资源组名称

    使用计算引擎查询，以及查询要使用的资源组名称。

    _columnar_index_

    无

    是否使用列存索引。

    说明

    不填写_columnar_index_时默认读写宽表引擎。

    示例

    使用计算引擎的test资源组，查询宽表引擎数据库searchindex_db中名为search_table的表。

    SELECT /*+ _use_ldps_(test) */ * FROM searchindex_db.search_table LIMIT 50;

JDBC

通过JDBC连接计算引擎时，只需在连接宽表引擎的URL中指定参数_use_ldps_=true&compute-group=<OLAP资源组名称>即可。通过JDBC连接宽表引擎，请参见基于SQL的应用开发。

上一篇：列存索引延迟告警下一篇：通过REST API管理作业
文档推荐