数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比（Spark 引擎）

原创 已于 2024-07-11 16:47:44 修改 · 2.5k 阅读 · 8
标签
#spark #大数据 #数据湖 #Iceberg #Hudi
#Deltalake #paimon
于 2024-07-11 12:49:13 首次发布

当前，业界流行的集中数据湖表格式 Hudi/Iceberg/DeltaLake，和最近出现并且在国内比较火的 Paimon。我们现在看到的很多是针对流处理场景的读写性能测试，那么本篇文章我们将回归到大数据最基础的场景，对海量数据的批处理查询。本文主要介绍通过 TPC-DS 3TB 的数据的99个SQL，对这几种数据湖表格式的查询性能做一个全面的测试。

测试环境

我们选择使用 Aamzon EMR Serverless 作为测试的基础环境，版本选择 EMR 最新的 7.1.0。Spark 版本为 3.5.0。

Amazon EMR Serverless 已经集成了 Hudi，Iceberg，Delta Lake，所以我们直接使用集成的版本，而Paimon，是通过外部依赖使用的是 paimon-spark-3.5-0.8.1

测试数据是通过 TPC DS 工具生成好的 3TB 的 parquet 数据文件，我们把着 3TB 的文件分别以这几种表格式的类型写入各自的表中。
每张表的数量如下：

表名 记录数
call_center 48
catalog_page 36000
catalog_returns 432006840
catalog_sales 4320004419
customer 30000000
customer_address 15000000
customer_demograp
最低0.47元/天 解锁文章
Apache Paimon、Apache Hudi、Apache Iceberg对比分析
JustinMars的博客
11-14 1867
开源数据湖产品对比
数据湖Iceberg、Hudi和Paimon比较
热门推荐
marui156的专栏
02-22 1万+
Iceberg 社区基本盘还是在离线处理，它在国外的应用场景主要是离线取代 Hive，它也有强力的竞争对手 Delta，很难调整架构去适配 CDC 流更新。同时，Iceberg 扩展性强，对其它计算引擎也暴露的比较多的优化空间，但是这也导致后续的发展难以迅速，涉及到众多已经对接好的引擎。这并没有什么错，后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势，得到了众多国外厂商的支持。
Hudi、Iceberg 、 Paimon 数据湖选型对比
LXP
05-16 2445
Hudi、Iceberg 和 Paimon 是当前数据湖领域的三大主流开源框架，均致力于解决数据湖场景下的等核心问题，但设计理念和适用场景存在差异。
数据湖三巨头Hudi、Iceberg、Paimon实战对比：从ACID支持到企业应用场景全解析
最新发布
weixin_28323057的博客
03-30 403
本文深入对比数据湖三巨头Hudi、Iceberg和Paimon的核心架构、ACID支持及企业应用场景，帮助技术团队根据实时写入、批处理分析和Schema灵活性等需求做出最优选择。通过性能基准测试和实战案例，全面解析各技术在数据湖架构中的适用场景与最佳实践。
Hudi、lceberg、Paimon谁才是最佳选择？
2301_76419561的博客
09-19 1521
就目前来说，Apache Hudi、Apache Iceberg和Apache Paimon各有优势，选择哪一个作为最佳方案取决于具体的业务需求和技术栈。如果需要一个能够提供高并发写入和增量数据处理的解决方案，Apache Hudi可能是一个好的选择。而如果应用场景主要是实时更新和流式订阅，Apache Paimon则可能是最佳选择。Apache Hudi、Apache Iceberg和Apache Paimon三者在大数据湖或数据仓库中的数据管理和处理方面，各有其独特的优势和适用场景。
Flink Iceberg 测试
L, there!
09-27 1092
本地搭建单节点Hadoop，根据官网示例进行Iceberg功能测试。 组件版本 组件 版本 Java 1.8.251 Scala 1.12.14 Flink 1.12.5 Iceberg 0.12.0 Hadoop 2.9.2 Hive .
Paimon&Iceberg&Hudi&Delta Lake原理学习+开箱性能自测
不稳定态maj
10-16 3310
快速了解不同的数据湖
paimon 类似hudi的compaction过程的对比
LXP
07-03 886
Paimon 虽然未直接使用 “Compaction” 名称，但通过机制实现了与 Hudi Compaction 类似的数据合并功能，核心目标均为优化存储结构、提升查询性能和治理小文件问题。两者的差异主要体现在与计算引擎的集成方式和策略配置细节上，Paimon 更侧重于与 Flink 的深度整合，适合流式数据场景下的自动化优化。
数据湖对比（hudi,iceberg,paimon,Delta）
weixin_40954192的博客
05-24 1994
个人更倾向于paimon的数据湖能力，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。总结一句话就是真正面向实时更新而设计的数据湖格式。在国外的应用场景主要是离线取代 Hive，虽然扩展性强，也导致计算引擎有较多优化空间，后续发展难以迅速，需要涉及众多对接引擎。面向spark，为了解决在hadoop体系内数据更新和增量查询的问题。趋势在不断的在完善面向批处理的架构细节改造，对spark友好，无法彻底适配流处理更新能力。整体架构耦合性强，系统设计复杂，各个引擎之间的兼容性较差，参数众多。
构建Streaming Lakehouse：使用Paimon和Hudi的性能对比
Ververica的博客
02-02 1217
本文将在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，然后分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
【数据湖仓】：Iceberg、Hudi 和 Paimon 对比
欢迎来到我的博客，一起探索代码里的世界！
02-17 1391
适用于需要多计算引擎支持和复杂查询的离线批处理场景。其中立性和灵活性使其成为构建新型数据平台的理想选择。：在需要高频数据更新和高效小文件管理的场景中表现出色，适合实时数据处理和增量数据更新的业务需求。：专为实时流式数据处理设计，适用于对数据实时性要求高的业务场景，如实时数据分析和实时指标监控。通过以上分析，可以看出 Apache Iceberg、Apache Hudi 和 Apache Paimon 各有其独特的优势和适用场景。企业应根据自身业务需求和技术栈选择合适的数据湖仓方案，以充分发挥其价值。
从文件结构、索引、数据更新、版本控制等全面对比Apache hudi和Apache paimon
想~ai抽
10-30 1250
ApacheHudi与Paimon作为主流数据湖框架，在架构设计与应用场景上各具特色。Hudi采用DeltaLog+数据文件的两层结构，提供Copy-on-Write和Merge-on-Read两种更新模式，擅长低延迟增量处理，适合实时数据服务和频繁更新场景。Paimon基于LSM树的三层架构（Manifest+Snapshot+数据文件），通过"增量写入+后台Compaction"机制优化批量读写，更适用于大规模分析和高吞吐混合场景。核心差异体现在索引机制（Hudi侧重主键查询/Pai
湖格式总结
stable_zl的博客
12-26 2807
本文介绍了湖格式带来的优化，以及介绍了目前国内比较热的Iceberg、Hudi、Paimon的文件布局，并且将三者进行了对比
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 3957
数据湖浅析
Data Lake 三剑客—Delta、Hudi、Iceberg 对比分析
微信搜：import_bigdata，大数据领域硬核原创作者
02-08 3144
本文来源于云栖社区：https://yq.aliyun.com/articles/743514作者：xy_xin 共同点 定性上讲，三者均为 Data Lake 的数据存储中间层，其数据管理的功能均是基于一系列的 meta 文件。meta 文件的角色类似于数据库的 catalog/wal，起到 schema 管理、事务管理和数据管理的功能。与数据库不同的是，这些 meta 文件是与数据文件一起存放...
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析
禅与计算机程序设计艺术
04-15 453
通过上面的分析能够看到，三个引擎的初衷场景并不完全相同，Hudi 为了 incremental 的 upserts，Iceberg 定位于高性能的分析与可靠的数据管理，Delta 定位于流批一体的数据处理。这种场景的不同也造成了三者在设计上的差别。尤其是 Hudi，其设计与另外两个相比差别更为明显。随着时间的发展，三者都在不断补齐自己缺失的能力，可能在将来会彼此趋同，互相侵入对方的领地。当然也有可能各自关注自己专长的场景，筑起自己的优势壁垒，因此最终谁赢谁输还是未知之数。
数据湖框架之技术选型-Hudi、Delta Lake、Iceberg和Paimon
weixin_43845733的博客
03-20 7752
大数据数据湖
开源数据湖iceberg, hudi ,delta lake, paimon对比分析
JustinMars的博客
04-07 2046
Iceberg, Hudi, Delta Lake和Paimon都是用于大数据湖（Data Lake）或数据仓库（Data Warehouse）中数据管理和处理的工具或框架，但它们在设计、功能和适用场景上有所不同。
湖仓一体平台构建实践 (基于 Iceberg )
.
07-04 3681
湖仓一体架构如上图所示，采用 Iceberg 来存储数据，数据是在 HDFS 上。入湖的几条链路包括 FIink、Spark 引擎来写入，Spark和Flink可以接入流或者批的数据写入Iceberg，也提供 java 的 API，业务方可以直接通过 API 来写入数据，后台有一个叫做 Magnus 的服务对 Iceberg 的数据进行不断的优化。另外我们也用 Alluxio 来对数据进行缓存加速。我们使用 Trino 来进行交互式分析，对外提供查询接口。
【Iceberg学习五】Iceberg中性能和可靠性保证
qq_33592535的博客
02-05 1002
在Iceberg表中的计划可以在单个节点上完成，因为Iceberg的元数据可以用来剪除不需要的元数据文件，除了过滤不包含匹配数据的数据文件。提交被构建为假设和行动。安全的文件级操作：通过支持原子更改，Iceberg支持新的用例，比如安全地压缩小文件和安全地将延迟数据追加到表中。如果因为另一个写入器已经提交而导致原子交换失败，失败的写入器会通过基于新的当前表状态写出一个新的元数据树来重试。例如，追加通常会为追加的数据文件创建一个新的清单文件，这个清单文件可以在每次尝试时不重写清单的情况下添加到表中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值