HIVE-TEZ引擎配置安装

最新推荐文章于 2024-08-06 20:14:39 发布

原创

最新推荐文章于 2024-08-06 20:14:39 发布 · 2.2k 阅读

HIVE-TEZ引擎配置安装

基础环境准备
参考安装流程
END!

基础环境准备

由于该文章主要关注TEZ引擎的安装，相关组件均只说明版本信息，配置TEZ过程中的部分组件还是会解释清楚的哈

组件	版本	下边有没？	备注
JDK	1.8.0_322	无	基础环境，无需多言
MAVEN	3.8.6	无	编译TEZ等使用
GIT	2.33.0	无	编译TEZ等使用
HADOOP	3.1.0	无	HIVE安装的基础，无需多言
HIVE	3.1.2	无	弄TEZ干啥，还不是为了他
PROTOBUF	2.5.0	有	protobuf-2.5.0下载
LZO	2.10	有	LZO-2.10下载&LZO-源码下载
TEZ	0.10.1	有	TEZ-源码下载

参考安装流程

还是一样！感谢各位大神在互联网上的种种分享！

1. TEZ环境准备

注：本想重新再装一次，后来发现时间不够了，就用了昨天安装好的，所以例图色调不太一样，另外，我把大致的路径都放出来了，之前看到的一些文章路径描述不清，导致安装软件过程中总是在想我是谁！？！我在哪？！？我在做什么？！？

1. 编译工具

为避免在安装过程中因为编译工具报错，如在编译安装protobuf时下二图，我们预先安装一些编译工具

### 安装编译工具

yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++

错误1
错误2

2. HADOOP

在这里插入图片描述

根据官网所属，我们如果安装TEZ版本0.8.3和更高版本，TEZ需要使用的Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0和更高版本，Tez需要的Apache Hadoop版本为2.7.0或更高版本。
我这里使用的是HADOOP3.1.0，可以根据上述查看自己的版本是否匹配哈

3. PROTOBUF

ProtoBuf（protocol buffers）是一种灵活、高效、自动化机制、语言无关、平台无关、可扩展的序列化结构数据的方法－可类比 XML，但是比 XML 更小、更快、更为简单。可用于（数据）通信协议、数据存储等。
在TEZ编译过程中如果使用的不是2.5.0版本的protobuf则会报错停止MVN编译，为了避免在本就冗长的MVN编译过程中停止重来，预先安装哈
链接:
protobuf-2.5.0下载路径

安装流程

wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

ll
# 目录结构如下
# -rw-r--r--  1 109965 5000  36976 Feb 27  2013 aclocal.m4
# -rwxr-xr--  1 109965 5000   1519 Feb 27  2013 autogen.sh
# -rw-r--r--  1 109965 5000  25312 Feb 27  2013 CHANGES.txt
# -rwxr-xr--  1 109965 5000  44826 Feb 27  2013 config.guess
# -rw-r--r--  1 109965 5000   3709 Feb 27  2013 config.h.in
# -rwxr-xr--  1 109965 5000  35454 Feb 27  2013 config.sub
# -rwxr-xr--  1 109965 5000 599150 Feb 27  2013 configure
# -rw-r--r--  1 109965 5000   4829 Feb 27  2013 configure.ac
# -rw-r--r--  1 109965 5000   3527 Feb 27  2013 CONTRIBUTORS.txt
# -rw-r--r--  1 109965 5000   1732 Feb 27  2013 COPYING.txt
# -rwxr-xr--  1 109965 5000  20334 Feb 27  2013 depcomp
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 editors
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 examples
# -rwxr-xr--  1 109965 5000   1105 Feb 27  2013 generate_descriptor_proto.sh
# drwxr-xr-x 15 109965 5000   4096 Feb 27  2013 gtest
# -rwxr-xr--  1 109965 5000  13998 Feb 27  2013 install-sh
# -rw-r--r--  1 109965 5000   9537 Feb 27  2013 INSTALL.txt
# drwxr-xr-x  3 109965 5000   4096 Feb 27  2013 java
# -rw-r--r--  1 109965 5000 283680 Feb 27  2013 ltmain.sh
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 m4
# -rw-r--r--  1 109965 5000  15189 Feb 27  2013 Makefile.am
# -rw-r--r--  1 109965 5000  41742 Feb 27  2013 Makefile.in
# -rwxr-xr--  1 109965 5000  10346 Feb 27  2013 missing
# -rw-r--r--  1 109965 5000    40