单机安装hadoop+hbase学习

最新推荐文章于 2026-03-31 10:17:06 发布

原创

最新推荐文章于 2026-03-31 10:17:06 发布 · 406 阅读

标签

#hadoop #centos #大数据

本文档详细介绍了如何在CentOS7环境下，从环境准备到配置，再到启动，一步步搭建Hadoop2.8.4和Hbase2.1.3的单节点集群。包括了服务器设置、软件版本、目录创建、环境变量配置、Hadoop和Hbase相关配置文件的修改，以及文件系统的格式化、服务的启动和测试。此外，还展示了通过Java进行Hbase操作的测试代码示例。

准备环境

服务器：
192.168.1.217
CentOS Linux release 7.8.2003
hostname： master

hostname配置

 vi /etc/hosts

在最后追加服务器ip和host，并重启网络

/etc/rc.d/init.d/network restart

软件版本：
jdk8
Hbase 2.1.3 下载地址 http://archive.apache.org/dist/hbase/2.1.3/
Hadoop 2.8.4 下载地址 http://archive.apache.org/dist/hadoop/core/hadoop-2.8.4/

安装

创建/home/mdata目录
上传hadoop和hbase文件到目录
解压hadoop： tar -xvf hadoop-2.8.4.tar.gz
解压hbase：tar -xvf hbase-2.1.3.tar.gz
在 /home/mdata创建hadoopdata文件夹 mkdir hadoopdata
在hadoopdata创建datanode 和namenode 2个文件夹
在 /home/mdata创建hbasedata文件夹 mkdir hbasedata
在hbasedata创建pids 和tmp 2个文件夹

在这里插入图片描述

配置

服务器环境变量

JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64
export JAVA_HOME
export PATH=$JAVA_HOME/bin:$PATH

HADOOP_HOME=/home/mdata/hadoop-2.8.4
export HADOOP_HOME
export PATH=$HADOOP_HOME/bin:$PATH

HBASE_HOME=/home/hbase/hbase-2.1.3
export HBASE_HOME
export PATH=$HBASE_HOME/bin:$PATH

配置hdoop-env.sh

vim /home/mdata/hadoop-2.8.4/etc/hadoop/hdoop-env.sh

将语句 export JAVA_HOME=$JAVA_HOME
此处JAVA_HOME不会生效，必须修改为 export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64

配置core-site.xml

vim /home/mdata/hadoop-2.8.4/etc/hadoop/core-site.xml

configuration 添加内容为：

<configuration>
		<property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.1.217:9000</value>
        </property>
</configuration>

配置mapred-site.xml
进入文件夹 cd /home/mdata/hadoop-2.8.4/etc/hadoop
复制文件并命名 cp mapred-site.xml.template mapred-site.xml
编辑文件 vim mapred-site.xml

<configuration>
	<property>
		<name>mapred.job.tracker</name>
     	<value>localhost:9001</value>
	</propert

最低0.47元/天解锁文章