内核发布记录

本文介绍云数据库 SelectDB 版的内核功能动态

4.0

说明
  • 云数据库 SelectDB 版内核4.0版本是基于Apache Doris 3.0开发的。更多详情,请参见:Apache Doris 3.0

  • 内核4.0版本目前受限使用。您可通过以下两种方式,使用此版本。

    • 新建实例:通过工单提供您的阿里云主账号ID,以便产品经理为您开放该版本。

    • 升级实例:将您的实例先升级到3.0.9或以上3.0.x的版本,然后再升级到4.0.x版本。如何升级,请参见升级内核版本

版本号

发布时间

说明

相关文档

4.0.4

20241206

【新增】

  • 支持了Apache Doris 3.0.3的所有功能。

Apache Doris 3.0.3

4.0.3

20241011

【新增】

  • 支持了Apache Doris 3.0.2的所有功能。

  • 支持了超大事务导入功能(默认为关闭状态)。

【优化】

  • 默认情况下禁用java_udf。

  • 优化了日志场景top n查询性能。

  • 通过短路径优化了点查性能。

  • 优化了tablet裁剪,提升了查询性能。

【修复】

  • 修复了回放catalog可能会导致后台启动实例失败的问题。

  • 修复了从SelectDB Core 3.0.x升级到SelectDB Core 4.0.x之后,审计日志组件无法正常工作的问题。

  • 修复了升级到SelectDB Core 4.0.2后,默认计算集群权限被限制的问题。

  • 修复了常量折叠RPC(Remote Procedure Call)可能会跨计算集群的问题。

  • 修复了转发SQL时可能找不到计算集群的问题。

  • 修复了compaction delete bitmap空指针coredump问题。

  • 修复了mowdelete bitmap过大不能触发full compaction的问题。

  • 修复了select *定义的物化视图构建失败的问题。

Apache Doris 3.0.2

4.0.2-beta

20240825

【新增】

  • 支持了Apache Doris 3.0.1的所有功能。

【修复】

  • 修复了使用同一标签导入时,在大量导入失败的情况下可能导致导入性能下降的问题。

  • 修复了集群扩容可能导致实例版本升级卡住的问题。

  • 修复了Runtime filter内存泄漏的问题。

Apache Doris 3.0.1

4.0.1-beta

20240709

【新增】

  • 支持SelectDB Core3.0.x(x >= 9)升级到4.0.x

  • 支持了Apache Doris 3.0.0的所有功能。

【修复】

  • 修复了从SelectDB Core 3.0.9版升级后需要后台重启实例来恢复cluster权限的问题。

  • 修复了反向索引查询可能会卡住的问题。

Apache Doris 3.0.0

4.0.0-beta

20240515

【新增】

  • 支持了多表物化视图(MTMV),支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查,基于这一能力,物化视图也可用于数据仓库分层建模、作业调度和数据加工。

  • 支持了全新的VariantIP数据类型,完善了一系列分析函数,使得面向复杂半结构化数据的存储和分析处理变得更加轻松。

  • 支持了自增列、自动分区、服务端积攒批量请求后集中提交的能力,提高了大规模数据实时写入的效率。

  • 支持了基于Arrow Flight的高速读取接口,使得数据传输效率增加了100倍,轻松面向数据科学以及其他形式的大规模数据读取场景。

  • 支持了Apache Doris 2.1.0的所有功能。

【优化】

  • 大幅提升了开箱盲测查询性能,在不做调优的情况下取得较好的性能表现,包含了对复杂SQL查询性能的进一步提升,在TPC-DS 1 TB测试数据集上获得超过100%的性能提升,查询性能在业界处于先进位置。

  • 大幅提升了数据湖分析方面的性能,相对于TrinoSpark分别有46倍的性能提升,并引入了多SQL方言兼容、便于您可以从原有系统无缝切换至 云数据库 SelectDB 版

Apache Doris 2.1.0

3.0

说明

云数据库 SelectDB 版内核3.0版本是基于Apache Doris 2.0开发的。更多详情,请参见Apache Doris 2.0

版本号

发布时间

说明

相关文档

3.0.11

20241110

【新增】

  • 支持了Apache Doris 2.0.15的所有功能。

【优化】

  • 提高了file cache命中率。

【修复】

  • 修复了agg表查询结果可能不对的问题。

  • 修复了struct类型查询可能会不可能用的问题。

  • 修复了window funnel function不支持datetime v2的问题。

  • 修复了insert into select可能会报权限不正确的问题。

  • 修复了routine load事务不能正确abort的问题。

  • 修复了查询或者compaction时报bad page的问题。

Apache Doris 2.0.15

3.0.10

20240823

【新增】

  • 支持了Apache Doris 2.0.13的所有功能。

【优化】

  • 优化了多个tablet映射分布不一致的问题。

【修复】

  • 修复了insert into select新优化器不能自动重试的问题。

  • 修复了schema change双写nullable类型节点重启的问题。

  • 修复了file cache disposable可能被其他队列占满导致compaction/schema change变慢的问题。

Apache Doris 2.0.13

3.0.9

20240625

【新增】

支持了Apache Doris 2.0.11SelectDB Core 3.0.8的所有功能。

【优化】

  • 优化了mow表导入计算delete bitmap,提升了导入速度和鲁棒性。

  • 优化了show data的响应速度。

  • 优化了反向索引以及半结构化数据查询性能。

【修复】

  • 修复了copy into任务过多导致实例OOM的问题。

  • 修复了alter job过多可能导致实例OOM的问题。

  • 修复了实例metrics在多cluster时可能会有metrics缺失的问题。

  • 修复了单个事务内多tablet导入极端情况下某些tabletversion的问题。

  • 修复了修改file cache缓存大小之后实例不能立即感知的问题。

  • 修复了若干个JDBC外表连接的问题。

  • 修复了Elasticsearch Catalog无法使用esquery的问题。

  • 修复了balance不均以及decommission卡住的问题。

Apache Doris 2.0.11

3.0.8

20240515

【新增】

  • 支持了Apache Doris 2.0.10的所有功能。

  • 支持了recycler限速。

  • 支持了show proc语句。

  • 支持了获取所有的json keys。

【优化】

  • 优化了建表耗时。

  • 优化了mowdelete bitmap计算速度,提高导入吞吐。

  • 优化了mow表高频导入(版本多)查询速度。

  • 优化了查询效率。

【修复】

  • 修复了rename cluster之后指标不正确的问题。

  • 修复了rename cluster之后流量统计不准确的问题。

  • 修复了show processlist格式不对的问题。

  • 修复了schema change内存不够导致失败的问题。

  • 修复了audit log组件导入权限的问题。

  • 修复了datetimev2 round函数出错的问题。

  • 修复了nullable规划可能会导致coredump的问题。

  • 修复了nullable规划可能会导致结果错误的问题。

Apache Doris 2.0.10

3.0.7

20240331

【新增】

  • 支持了Apache Doris 2.0.6的所有功能。

  • 支持了审计日志插件(需要手动创建审计日志表)。

【优化】

  • 执行query时如果user没设置default cluster,则按照cluster名称词典顺序选取可用的(运行中的、有权限的)cluster。

  • 集群自动停机之后,触发自动启动集群不再需要显式use cluster。

  • 优化了反向索引和日志场景的可用性和性能。

  • 新优化器优化了歧义的projection having语法。

  • 提升了反向索引compound in list性能。

【修复】

  • 修复了大量delete触发导入失败的问题。

  • 修复了统计信息的逻辑重复触发SQL导致集群自动停机的逻辑失效问题。

  • 修复了导入指定UTC时区转换错误的问题。

  • JDBC修复了show process list报错的问题。

  • 修复了表属性ttl_seconds在做完checkpoint之后重启清0的问题。

  • 修复了date/month/year add function。

Apache Doris 2.0.6

3.0.6

20240205

【新增】

  • 支持了Apache Doris 2.0.4的所有功能。

  • 支持了自动Analyze。

  • 支持了宽表导入。

  • 支持了group commit(攒批导入/实时导入)。

  • 支持了in left join infer。

【优化】

  • 优化了导入失败时的错误提示。

  • 提升了稳定性。

【修复】

  • 修复了集群重启可能会导致cluster权限失效的问题。

  • 修复了从SelectDB Core 2.4.x系列版本升级到3.0.x系列版本失败的问题。

  • 修复了SHOW PROCESSLIST指令输出排版错位的问题。

  • 修复了ALTER TABLE TTL属性可能不生效(查询表结构TTL0)的问题。

  • 修复了查询偶尔报"failed to initialize storage reader"的问题。

  • 修复了parquet reader异常路径可能会导致内存泄漏的问题。

  • 修复了外表date_sub,data_add,to_date函数下推的问题。

  • 修复了COLOCATE因为参与balance导致colocate join规划失效的问题。

  • 修复了ALTER COLOCATE属性replay失败的问题。

  • 修复了delete条件带特殊字符导致不能查询数据的问题。

  • 修复了读查询小概率报NOT_IMPLEMENTED_ERROR的问题。

  • 修复了导入时区转换导致数据不正确的问题。

  • 修复了substr()传入负值会导致coredump的问题。

Apache Doris 2.0.4

3.0.5

20231220

【新增】

  • 支持了Apache Doris 2.0.3的所有功能。

    说明

    不建议开启自动Analyze功能。

  • 提供了Stream Load兼容API。

  • 开放了SHOW proc/statistic的白名单。

【优化】

  • 提升了MOW表导入的稳定性。

  • 提升了dynamic table建表速度。

  • 提升了生成plan的性能。

  • 优化了decimal运算行为。

  • 提升了稳定性。

【修复】

  • 修复了OSS buffer不够可能会导致写入卡住的问题。

  • 修复了多集群场景下查询可能会报"failed to find version path"的问题。

  • 修复了多集群场景下plan可能会跨集群的问题。

  • 修复了因为改变VARCHAR长度导致dynamic partition不能新建Partition的问题。

  • 修复了SHOW CREATE TABLE DECIMAL不兼容SmartBI的问题。

  • 修复了列类型转换功能可能会不可用的问题。

  • 修复了行存表属性不生效的问题。

  • 修复了base compaction可能会失败的问题。

  • 修复了点查可能查不到最新数据的问题。

  • 修复了copy into重复文件需要等待超时的问题。

  • 修复了query_parallel_instance_num可能会除以0的问题。

  • 修复了Cache命中率计算可能会不准确的问题。

  • 修复了NGram索引不生效的问题。

Apache Doris 2.0.3

3.0.4

20231123

【新增】

  • 支持了SHOW PROC current_stmt

【优化】

  • 增强了访问控制安全性。

  • 增强了上传数据校验可靠性。

  • 提升了实例元数据服务可用性。

  • 优化了建表dynamic_partition.replication_num的错误提示。

【修复】

  • 修复了SelectDB Core 2.4.x升级到3.0.x可能会导致copy into 失败的问题。

  • 修复了使用external stage导入授权可能会失败的问题。

  • 修复了Routine Load导入可能会失败的问题。

  • 修复了MOW表导入可能会失败的问题。

  • 修复了实时写INSERT语句可能会失败的问题。

  • 修复了tpcds性能下降的问题。

  • 修复了非globalsession variable可能不生效的问题。

  • 修复了queryWHERE大量条件使CPU消耗高而执行慢的问题。

3.0.3

20231102

【新增】

  • 支持了Doris Clean Label。

  • Stream Load云上API兼容了Doris社区行为。

  • 实例内置了JDBC Driver。

【优化】

  • 新优化器top n默认支持了Runtime Filter裁剪。

【修复】

  • 修复了实例因为资源泄漏导致查询响应慢的问题。

  • 修复了function语句禁用不生效的问题。

  • 修复了重排列schema change会失败的问题。

3.0.2

20231017

【新增】

  • 支持了Apache Doris 2.0.2的所有功能。

  • 支持了SelectDB Core 2.3.10以及2.4.4版本的所有功能。

  • 增加了OSS LoadJDBC Driver URL白名单功能。

【优化】

  • 减少了Plan时获取元数据的时间,加快了Plan的生成速度。

  • 增加了Query Profile访问元数据的耗时统计。

  • 均衡优化了资源利用率。

【修复】

  • 修复了设置File Cache TTL之后读写出错的问题。

  • 修复了查询backends表或rowsets表导致服务不可用的问题。

Apache Doris 2.0.2

3.0.1

20230918

【新增】

  • 支持了Apache Doris 2.0.1的所有功能。

  • 支持了SelectDB Core 2.4.3版本的所有功能。

【优化】

  • 优化了Get Version的耗时。

Apache Doris 2.0.1

2.4

说明
  • 云数据库 SelectDB 版内核2.4版本是基于Apache Doris 1.2开发的。更多详情,请参见Apache Doris 1.2

  • 目前云数据库 SelectDB 版内核2.4版本已下线,不再支持新购。

版本号

发布时间

说明

相关文档

2.4.6

20231114

【修复】

  • 修复了若干计算节点内存泄漏的问题。

2.4.5

20231106

【优化】

  • 优化了balance的策略。

【修复】

  • 修复了replace tmp partition导致的查询失败问题。

  • 修复了pthreadbthread混用导致的死锁问题。

2.4.4

20230920

【优化】

  • 支持了SelectDB Core 2.3.92.3.10版本的所有功能。

  • 提升了导入功能的可用性。

【修复】

  • 修复了MySQL Session(请求Truncate Table,该Table包含大量Partition)无响应的问题。

2.4.3

20230911

【新增】

  • 支持了SelectDB Core 2.3.8版本的所有功能。

  • 支持了欠费停服。

【修复】

  • 修复Docker环境时区的问题。

2.4.2

20230828

【新增】

  • 支持了COPY INTO导入方法设置常量值。

【优化】

  • 提升了存储信息统计的准确性。

【修复】

  • 修复了Cloud Stream Load有可能失败的问题。

2.4.1

20230803

【新增】

  • 支持了SelectDB Core 2.3.52.3.6以及2.3.7版本的所有功能

  • 支持了Stream Load导入数据。

  • 支持了已停机的按量付费集群接到查询请求时自动启动。

【修复】

  • 修复了倒排索引查询可能会失败的问题。

2.4.0

20230703

【新增】

  • 支持了通过Session variable控制SQL是否使用缓存。

  • 支持了集群之间导入数据增量数据同步。

  • 支持了基于Table cluster的缓存数据预热功能。

  • 支持了通过SQL查询缓存的使用情况。

  • 支持了按量付费集群闲置时自动停机。

【优化】

  • 增强了数据安全。

  • 提升了查询未命中缓存时的响应速度。

【修复】

  • 修复了SET DEFAULT CLUSTER可能会失败的问题。

  • 修复了升级过程可能会失败的问题。

SelectDB其他历史内核版本的详细信息,请参见SelectDB Cloud的内核发布记录