数据湖Iceberg、Hudi和Paimon比较

Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。

本篇介绍一个强大的流数据湖平台，Flink官方开创，发展速度迅速，先了解其基本定义、适用场景和原理，然后基于yarn方式部署和测试，最后通过Catalog管理、创建表和修改多个示例了解基本使用

Hudi、Iceberg 和 Paimon 是当前数据湖领域的三大主流开源框架，均致力于解决数据湖场景下的等核心问题，但设计理念和适用场景存在差异。

新一代数据湖存储技术Apache Paimon（Flink Table Store）入门Demo，本文给出了一些简单的flink-paimon样例（example），可供快速学习上手（文中所有代码均已跑通）。

Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。

Iceberg 社区基本盘还是在离线处理，它在国外的应用场景主要是离线取代 Hive，它也有强力的竞争对手 Delta，很难调整架构去适配 CDC 流更新。同时，Iceberg 扩展性强，对其它计算引擎也暴露的比较多的优化空间，但是这也导致后续的发展难以迅速，涉及到众多已经对接好的引擎。这并没有什么错，后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势，得到了众多国外厂商的支持。

Iceberg 社区基本盘还是在离线处理，它在国外的应用场景主要是离线取代 Hive，它也有强力的竞争对手 Delta，很难调整架构去适配 CDC 流更新。同时，Iceberg 扩展性强，对其它计算引擎也暴露的比较多的优化空间，但是这也导致后续的发展难以迅速，涉及到众多已经对接好的引擎。这并没有什么错，后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势，得到了众多国外厂商的支持。

（以上数据为2024年2月21日）可见Apache iceberg和Apache hudi不相伯仲，Apache Paimon成立时间较晚。Uber的工程师分享了大量Hudi的技术细节和内部方案落地，研究官网的近10个PPT已经能较为轻松理解内部细节，此外国内的小伙伴们也在积极地推进社区建设，提供了官方的技术公众号和邮件列表周报。

Iceberg 社区基本盘还是在离线处理，它在国外的应用场景主要是离线取代 Hive，它也有强力的竞争对手 Delta，很难调整架构去适配 CDC 流更新。同时，Iceberg 扩展性强，对其它计算引擎也暴露的比较多的优化空间，但是这也导致后续的发展难以迅速，涉及到众多已经对接好的引擎。这并没有什么错，后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势，得到了众多国外厂商的支持。

本文主要介绍了Apache Paimon的诞生历程和背景，同时从应用场景、系统架构和核心概念等维度全面介绍了Apache Paimon。

Apache Paimon 原名 Flink Table Store(简称FTS)，是Flink 子项目，2023年3月12日进入ASF化器，改名 Apache Paimon。Apache Paimon是一个流数据湖平台,支持 Streaming 实时计算能力和 Lakehouse 新架构优势，支持高速数据摄取、变更日志跟踪和高效的实时分析的能力，提供统一存储的能力。

Paimon（数据湖框架）概述

本文来源于云栖社区：https://yq.aliyun.com/articles/743514作者：xy_xin 共同点 定性上讲，三者均为 Data Lake 的数据存储中间层，其数据管理的功能均是基于一系列的 meta 文件。meta 文件的角色类似于数据库的 catalog/wal，起到 schema 管理、事务管理和数据管理的功能。与数据库不同的是，这些 meta 文件是与数据文件一起存放...

本文介绍了湖格式带来的优化，以及介绍了目前国内比较热的Iceberg、Hudi、Paimon的文件布局，并且将三者进行了对比

目前市面上流行的三大开源数据湖方案分别为：DeltaLake、Apache Iceberg和Apache Hudi。

快速了解不同的数据湖

前段时间 Flink table store 更名为 Apache Pimon ，并重新进入Apache incubator。截止目前，incubator-paimon项目已经在github上收获了600+ Star（https://github.com/apache/incubator-paimon）：之前虽然了解到Fink table store，但是没空去了解它，趁此机会，我也花了2天时间来...