Iceberg 集成 Hive

原创已于 2022-07-26 18:04:27 修改 · 2.9k 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hive #hadoop #大数据

收录于

于 2022-03-10 10:54:22 首次发布

iceberg 专栏收录该内容

2 篇文章

订阅专栏

本文档介绍了如何在Hadoop 2.7.6和Hive 2.3.7环境下启用Apache Iceberg支持。首先，需要将iceberg-hive-runtime-0.13.1.jar和libfb303-0.9.3.jar添加到Hive库，并在hive-site.xml中配置相关参数。然后，通过创建表和插入数据进行基本功能测试，验证Hive对Iceberg的兼容性。在遇到找不到fb303相关类的异常时，可以使用Hive命令行添加jar文件解决。最后，通过查询和检查HDFS目录来确认操作成功。

环境:
hadoop 2.7.6
hive 2.3.7
iceberg 0.13.1

1、在 Hive 中启用 Iceberg 支持

在 https://iceberg.apache.org/releases/ 下载iceberg-hive-runtime-0.13.1.jar
download
将 iceberg-hive-runtime-0.13.1.jar和libfb303-0.9.3.jar移到hive lib目录下，配置hive-site.xml, 添加如下配置:

<!-- iceberg配置 -->
<property>
        <name>iceberg.engine.hive.enabled</name>
        <value>true</value>
</property>

add jar

说明如果写数据时，遇到异常提示return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask，应该找不到fb303相关类路径，可以在Hive命令行中手动执行命令 add jar /Users/XXX/cloudera/cdh5.7/hive/lib/libfb303-0.9.3.jar。