Databend 开源周报第 98 期

原创于 2023-06-20 10:13:22 发布 · 1.1k 阅读

本内容遵循CC 4.0 BY-SA版权协议

标签

#weekly

Databend近期改进了内置存储引擎FuseTable的后台服务，简化了表维护任务的执行。同时，引入了IceLake，一个纯Rust实现的Iceberg接口，增强数据库系统的集成能力。此外，Databend还添加了对MERGEJOIN的支持，并计划为COPYINTO语句添加VALIDATION_MODE功能。

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

后台服务

Databend 的内置存储引擎 FuseTable 是一种与 Apache Iceberg 类似的日志结构表，需要定期执行表压缩、重聚类和清理以合并小数据块。小数据块合并的过程会涉及按聚类键排序数据或清理不需要的分支等阶段。

先前的实现需要使用不同的驱动，增加了基础设施的复杂性。而且必须部署和维护其他服务来触发驱动事件。为简化这一过程，我们实现了一个后台服务，允许 Databend 执行后台单次作业或以守护进程模式运行 cron 作业。这些作业可以根据条件触发自动压缩/清理/重新聚类等表维护任务，而无需其他服务介入。

此实现包括：

完整的 metasrv 模式定义，以及后台作业与后台任务的设计实现。
用于在元服务上更新和维护后台作业与后台任务状态的 API 。
支持 one_shot、interval、cron 等不同作业类型的作业调度器实现。

后台服务 需要升级至 企业版 。如需了解升级信息，请联系 Databend 团队。

如果你想要了解更多信息，请查看下面列出的资源。

PR | feat: implement Background service for databend

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

IceLake - Iceberg 的纯 Rust 实现

Iceberg 是为分析数据集设计的开放表格式标准。然而，目前 Rust 生态中缺乏成熟的 Iceberg 绑定，使其难以与像 Databend 这样的数据库系统集成。

IceLake 旨在填补这一空白，其致力于建立一个开放生态系统：

用户可以从任何存储服务（如 s3、gcs、azblob、hdfs 等）读写 Iceberg 表。
任何数据库都可以集成 icelake，以支持读写 Iceberg 表。
提供原生的 arrow 格式互转换的能力。
提供多种语言绑定，使其他语言可以享有 Rust 核心带来的 Iceberg 生态支持。

如果你想要了解更多信息，请查看下面列出的资源。

亮点

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

新增对 MERGE JOIN 的支持。
为 CSV 格式实现列位置支持。
阅读 Docs | Computed Columns 以了解如何使用计算列，以及在选择使用何种类型计算列时的一些考量。
阅读 Docs | Subquery-Based Deletions 以理解如何使用子查询和比较运算实现删除。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

为`COPY INTO` 支持 `VALIDATION_MODE`

我们希望为 Databend 的 COPY INTO 语句支持 VALIDATION_MODE ，以验证需要载入的数据，并根据验证选项返回结果。

RETURN_ERRORS: 此模式验证数据并返回所有错误。
RETURN_<number>_ROWS: 此模式验证 <number> 行数据。如果没有错误，就返回数据载入后应当产生的信息。否则，报告对应的错误信息。

Issue #11582 | Feature: copy support VALIDATION_MODE

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者，你可以点击 Add function to infer schema from files(CSV/Parquet) · Issue #6345 · datafuselabs/databend · GitHub 来挑选一个随机问题，祝好运！