内核发布记录

本文介绍云数据库 SelectDB 版的内核功能动态

4.0

说明
  • 云数据库 SelectDB 版内核4.0版本是基于Apache Doris 2.1Apache Doris 3.0开发的。更多详情,请参见:

  • 内核版本4.0目前处于灰度邀请测试阶段。您可通过以下两种方式,使用此功能。

    • 新建实例:通过工单提供您的阿里云账号ID,以便产品经理为您开放该功能。

    • 升级实例:将您的实例先升级到3.0.9及以上3.0.x的版本,然后再升级到4.0.x-beta(beta版建议用于测试体验,不建议用于生产环境)。

版本号

发布时间

说明

相关文档

4.0.2-beta

2024年08月25日

【新增】

  • 支持了Apache Doris 3.0.1的所有功能。

【修复】

  • 修复了使用同一标签导入时,在大量导入失败的情况下可能导致导入性能下降的问题。

  • 修复了集群扩容可能导致实例版本升级卡住的问题。

  • 修复了回放catalog可能会导致后台启动实例失败的问题。

Apache Doris 3.0.1

4.0.1-beta

2024年07月09日

【新增】

  • 支持SelectDB Core 从 3.0.x(x >= 9)升级到4.0.x-beta。

  • 支持了Apache Doris v3.0.0 rc11Apache Doris v3.0.0 rc09的所有功能。

【修复】

  • 修复了从SelectDB Core 3.0.9版升级后需要后台重启实例来恢复cluster权限的问题。

  • 修复了反向索引查询可能会卡住的问题。

4.0.0-beta

2024年05月15日

【新增】

  • 支持了多表物化视图(MTMV),支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查,基于这一能力,物化视图也可用于数据仓库分层建模、作业调度和数据加工。

  • 支持了全新的Variant和IP数据类型,完善了一系列分析函数,使得面向复杂半结构化数据的存储和分析处理变得更加轻松。

  • 支持了自增列、自动分区、服务端积攒批量请求后集中提交的能力,提高了大规模数据实时写入的效率。

  • 支持了基于Arrow Flight的高速读取接口,使得数据传输效率增加了100倍,轻松面向数据科学以及其他形式的大规模数据读取场景。

  • 支持了Apache Doris 2.1.0的所有功能。

【优化】

  • 大幅提升了开箱盲测查询性能,在不做调优的情况下取得较好的性能表现,包含了对复杂SQL查询性能的进一步提升,在TPC-DS 1 TB测试数据集上获得超过100%的性能提升,查询性能在业界处于先进位置。

  • 大幅提升了数据湖分析方面的性能,相对于Trino和Spark分别有4到6倍的性能提升,并引入了多SQL方言兼容、便于您可以从原有系统无缝切换至 云数据库 SelectDB 版

Apache Doris 2.1.0

3.0

说明

云数据库 SelectDB 版内核3.0版本是基于Apache Doris 2.0开发的。更多详情,请参见Apache Doris 2.0

版本号

发布时间

说明

相关文档

3.0.10

2024年08月23日

【新增】

  • 支持了Apache Doris 2.0.15Apache Doris 2.0.13的所有功能。

【优化】

  • 优化了多个tablet映射分布不一致的问题。

Apache Doris 2.0.13

3.0.9

2024年06月25日

【新增】

支持了Apache Doris 2.0.11SelectDB Core 3.0.8的所有功能。

【优化】

  • 优化了mow表导入计算delete bitmap,提升了导入速度和鲁棒性。

  • 优化了show data的响应速度。

  • 优化了反向索引以及半结构化数据查询性能。

【修复】

  • 修复了copy into任务过多导致实例OOM的问题。

  • 修复了alter job过多可能导致实例OOM的问题。

  • 修复了实例metrics在多cluster时可能会有metrics缺失的问题。

  • 修复了单个事务内多tablet导入极端情况下某些tablet缺version的问题。

  • 修复了修改file cache缓存大小之后实例不能立即感知的问题。

  • 修复了若干个JDBC外表连接的问题。

  • 修复了Elasticsearch Catalog无法使用esquery的问题。

  • 修复了balance不均以及decommission卡住的问题。

Apache Doris 2.0.11

3.0.8

2024年05月15日

【新增】

  • 支持了recycler限速。

  • 支持了show proc语句。

  • 支持了获取所有的json keys。

  • 支持了Apache Doris 2.0.10的所有功能。

【优化】

  • 优化了建表耗时。

  • 优化了mow表delete bitmap计算速度,提高导入吞吐。

  • 优化了mow表高频导入(版本多)查询速度。

  • 优化了查询效率。

【修复】

  • 修复了rename cluster之后指标不正确的问题。

  • 修复了rename cluster之后流量统计不准确的问题。

  • 修复了show processlist格式不对的问题。

  • 修复了schema change内存不够导致失败的问题。

  • 修复了audit log组件导入权限的问题。

  • 修复了datetimev2 round函数出错的问题。

  • 修复了nullable规划可能会导致coredump的问题。

  • 修复了nullable规划可能会导致结果错误的问题。

Apache Doris 2.0.10

3.0.7

2024年03月31日

【新增】

  • 支持了审计日志插件(需要手动创建审计日志表)。

  • 支持了Apache Doris 2.0.6的所有功能。

【优化】

  • 执行query时如果user没设置default cluster,则按照cluster名称词典顺序选取可用的(运行中的、有权限的)cluster。

  • 集群自动停机之后,触发自动启动集群不再需要显式use cluster。

  • 优化了反向索引和日志场景的可用性和性能。

  • 新优化器优化了歧义的projection having语法。

  • 提升了反向索引compound in list性能。

【修复】

  • 修复了大量delete触发导入失败的问题。

  • 修复了统计信息的逻辑重复触发SQL导致集群自动停机的逻辑失效问题。

  • 修复了导入指定UTC时区转换错误的问题。

  • 从JDBC修复了show process list报错的问题。

  • 修复了表属性ttl_seconds在做完checkpoint之后重启清0的问题。

  • 修复了date/month/year add function。

Apache Doris 2.0.6

3.0.6

2024年02月05日

【新增】

  • 支持了自动Analyze。

  • 支持了宽表导入。

  • 支持了group commit(攒批导入/实时导入)。

  • 支持了in left join infer。

  • 支持了Apache Doris 2.0.4的所有功能。

【优化】

  • 优化了导入失败时的错误提示。

  • 提升了稳定性。

【修复】

  • 修复了集群重启可能会导致cluster权限失效的问题。

  • 修复了从SelectDB Core 2.4.x系列版本升级到3.0.x系列版本失败的问题。

  • 修复了SHOW PROCESSLIST指令输出排版错位的问题。

  • 修复了ALTER TABLE TTL属性可能不生效(查询表结构TTL为0)的问题。

  • 修复了查询偶尔报"failed to initialize storage reader"的问题。

  • 修复了parquet reader异常路径可能会导致内存泄漏的问题。

  • 修复了外表date_sub,data_add,to_date函数下推的问题。

  • 修复了COLOCATE因为参与balance导致colocate join规划失效的问题。

  • 修复了ALTER COLOCATE属性replay失败的问题。

  • 修复了delete条件带特殊字符导致不能查询数据的问题。

  • 修复了读查询小概率报NOT_IMPLEMENTED_ERROR的问题。

  • 修复了导入时区转换导致数据不正确的问题。

  • 修复了substr()传入负值会导致coredump的问题。

Apache Doris 2.0.4

3.0.5

2023年12月20日

【新增】

  • 提供了Stream Load兼容API。

/api/{db}/{table}/_stream_load_2pc

  • 开放了SHOW proc/statistic的白名单。

  • 支持了Apache Doris 2.0.3的所有功能。

    说明

    不建议开启自动Analyze功能。

【优化】

  • 提升了MOW表导入的稳定性。

  • 提升了dynamic table建表速度。

  • 提升了生成plan的性能。

  • 优化了decimal运算行为。

  • 提升了稳定性。

【修复】

  • 修复了OSS buffer不够可能会导致写入卡住的问题。

  • 修复了多集群场景下查询可能会报"failed to find version path"的问题。

  • 修复了多集群场景下plan可能会跨集群的问题。

  • 修复了因为改变VARCHAR长度导致dynamic partition不能新建Partition的问题。

  • 修复了SHOW CREATE TABLE DECIMAL不兼容SmartBI的问题。

  • 修复了列类型转换功能可能会不可用的问题。

  • 修复了行存表属性不生效的问题。

  • 修复了base compaction可能会失败的问题。

  • 修复了点查可能查不到最新数据的问题。

  • 修复了copy into重复文件需要等待超时的问题。

  • 修复了query_parallel_instance_num可能会除以0的问题。

  • 修复了Cache命中率计算可能会不准确的问题。

  • 修复了NGram索引不生效的问题。

Apache Doris 2.0.3

3.0.4

2023年11月23日

【新增】

  • 支持了SHOW PROC current_stmt

【优化】

  • 增强了访问控制安全性。

  • 增强了上传数据校验可靠性。

  • 提升了warehouse元数据服务可用性。

  • 优化了建表dynamic_partition.replication_num的错误提示。

【修复】

  • 修复了SelectDB Core 2.4升级到3.0可能会导致copy into 失败的问题。

  • 修复了使用external stage导入授权可能会失败的问题。

  • 修复了Routine Load导入可能会失败的问题。

  • 修复了MOW表导入可能会失败的问题。

  • 修复了实时写INSERT语句可能会失败的问题。

  • 修复了tpcds性能下降的问题。

  • 修复了非global的session variable可能不生效的问题。

  • 修复了query中WHERE大量条件使CPU消耗高而执行慢的问题。

3.0.3

2023年11月02日

【新增】

  • 支持了Doris Clean Label。

  • Stream Load云上API兼容了Doris 社区行为。

  • 实例内置了JDBC Driver。

【优化】

  • 新优化器top n默认支持了 Runtime Filter裁剪。

【修复】

  • 修复了实例因为资源泄漏导致查询响应慢的问题。

  • 修复了function语句禁用不生效的问题。

  • 修复了重排列schema change会失败的问题。

3.0.2

2023年10月17日

【新增】

  • 增加了OSS Load的JDBC Driver URL白名单功能。

  • 支持了Apache Doris 2.0.2的所有功能。

  • 支持了SelectDB Core 2.3.10以及2.4.4版本的所有功能。

【优化】

  • 减少了Plan时获取元数据的时间,加快了Plan的生成速度。

  • 增加了Query Profile访问元数据的耗时统计。

  • 均衡优化了资源利用率。

【修复】

  • 修复了设置File Cache TTL之后读写出错的问题。

  • 修复了查询backends表或rowsets表导致服务不可用的问题。

Apache Doris 2.0.2

3.0.1

2023年09月18日

【新增】

  • 支持了Apache Doris 2.0.1的所有功能。

  • 支持了SelectDB Core 2.4.3版本的所有功能。

【优化】

  • 优化了Get Version的耗时。

Apache Doris 2.0.1

2.4

说明

云数据库 SelectDB 版内核2.4版本是基于Apache Doris 1.2开发的。更多详情,请参见Apache Doris 1.2

版本号

发布时间

说明

相关文档

2.4.6

2023年11月14日

【修复】

  • 修复了若干计算节点内存泄漏的问题。

2.4.5

2023年11月06日

【优化】

  • 优化了balance的策略。

【修复】

  • 修复了replace tmp partition导致的查询失败问题。

  • 修复了pthread和bthread混用导致的死锁问题。

2.4.4

2023年09月20日

【优化】

  • 支持了SelectDB Core 2.3.9和2.3.10版本的所有功能。

  • 提升了导入功能的可用性。

【修复】

  • 修复了MySQL Session(请求Truncate Table,该Table包含大量Partition)无响应的问题。

2.4.3

2023年09月11日

【新增】

  • 支持了欠费停服。

  • 支持了SelectDB Core 2.3.8版本的所有功能。

【修复】

  • 修复Docker环境时区的问题。

2.4.2

2023年08月28日

【新增】

  • 支持了COPY INTO导入方法设置常量值。

【优化】

  • 提升了存储信息统计的准确性。

【修复】

  • 修复了Cloud Stream Load有可能失败的问题。

2.4.1

2023年08月03日

【新增】

  • 支持了Stream Load导入数据。

  • 支持了已停机的按量付费集群接到查询请求时自动启动。

【优化】

  • 支持了SelectDB Core 2.3.5、2.3.6以及2.3.7版本的所有功能、改进优化和问题修复。

【修复】

  • 修复了倒排索引查询可能会失败的问题。

2.4.0

2023年07月03日

【新增】

  • 支持了通过Session variable控制SQL是否使用缓存。

  • 支持了集群之间导入数据增量数据同步。

  • 支持了基于Table cluster的缓存数据预热功能。

  • 支持了通过SQL查询缓存的使用情况。

  • 支持了按量付费集群闲置时自动停机。

【优化】

  • 增强了数据安全。

  • 提升了查询未命中缓存时的响应速度。

【修复】

  • 修复了SET DEFAULT CLUSTER可能会失败的问题。

  • 修复了升级过程可能会失败的问题。

SelectDB其他历史内核版本的详细信息,请参见SelectDB Cloud的内核发布记录