超级会员免费看
本文详细介绍了如何在CentOS7上搭建Hadoop和Hive的环境。首先，文章从安装JDK开始，接着部署MySQL，利用Docker搭建MySQL环境。然后，逐步安装和配置Hadoop，包括配置Hadoop环境变量、修改配置文件和启动服务。最后，安装Hive，替换相关jar，配置环境变量和hive-site.xml，初始化metadata，并提供了本地模式和远程模式的启动服务方法。
一、前言
hadoop是大数据生态中的基础服务，也是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此系统学习和掌握hadoop对学习大数据很有必要；
而Hive则是Hadop生态系统中必不可少的一个数据分析工具，它可以将存储在HDES中的结构化数据映射为数据库中的一张表，并提供了一种SQL方言对其进行查询。这些SQL语句最终会翻译成MapReduce程序执行。Hive的本质就是为了简化用户编写MapReduce程序而生成的一种框架，它本身并不会存储和计算数据，完全依赖于HDFS和MapReduce，所以搭建hive的前提需要安装并启动hadoop服务；
本篇将基于阿里云服务器，搭建一个hive的环境，由于生产环境下，hive的运行需要依赖hadoop的环境，所以需要提前搭建好hadoop环境；
二、安装包版本说明
本文核心软件包主要包括下面几个，请提前根据需需要准备好，并上传值指定目录；
| 名称 |
版本号 |
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
