Window10下安装配置Hadoop-2.9.2

最新推荐文章于 2024-07-19 00:36:58 发布

原创最新推荐文章于 2024-07-19 00:36:58 发布 · 1.2k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hdfs

大数据专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了在Windows 10环境下安装配置Hadoop-2.9.2的步骤，包括资源下载、安装配置、启动服务以及测试服务。在安装过程中，涉及了Hadoop的目录结构设置、环境变量配置、配置文件修改等关键环节，最后通过检查Hadoop的状态来验证安装成功。

文章目录

一、资源下载
- 1.下载Hadoop-2.9.2
- 2.下载Window环境Bin目录文件
二、安装配置
三、启动服务
四、测试服务

一、资源下载

1.下载Hadoop-2.9.2

下载地址：http://archive.apache.org/dist/hadoop/core

2.下载Window环境Bin目录文件

下载地址：https://github.com/steveloughran/winutils

二、安装配置

1.安装文件

将下载到的文件hadoop-2.9.2.tar.gz解压到e:\hadoop-2.9.2

将winutils-master.zip文件中hadoop-2.8.3\Bin目录中的文件解压到e:\hadoop-2.9.2\Bin目录

创建Hadoop存储目录
e:\hadoop-2.9.2\data
e:\hadoop-2.9.2\data\dfs
e:\hadoop-2.9.2\data\dfs\datanode
e:\hadoop-2.9.2\data\dfs\namenode

将e:\hadoop-2.9.2\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-2.9.2.jar文件复制到e:\hadoop-2.9.2\share\hadoop\yarn\lib目录下（否则YARN Resourc Manager服务会报错）

2.配置环境变量

配置环境变量HADOOP_HOME
在这里插入图片描述

配置环境变量JAVA_HOME
在这里插入图片描述

配置环境变量PATH
在这里插入图片描述

2.配置Hadoop配置文件

配置e:\hadoop-2.9.2\etc\hadoop\core-site.xml文件

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

配置E:\hadoop-2.9.2\etc\hadoop\hdfs-site.xml文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property> 
     	<name>dfs.permissions</name> 
     	<value>false</value> 
    </property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>localhost:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/E:/hadoop-2.9.2/data/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/E:/hadoop-2.9.2/data/dfs/datanode</value>
	</property>
</configuration>

配置e:\hadoop-2.9.2\etc\hadoop\mapred-site.xml文件
将e:\hadoop-2.9.2\etc\hadoop\mapred-site.xml.template文件重命名为mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://localhost:9001</value>
	</property>
</configuration>

配置e:\hadoop-2.9.2\etc\hadoop\yarn-site.xml文件

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

编辑e:\hadoop-2.9.2\etc\hadoop\hadoop-env.cmd文件

set JAVA_HOME=C:\Progra~1\Java\jre1.8.0_192

三、启动服务

格式化HDFS(调出命令行窗口，输入命令hdfs namenode -format)

在这里插入图片描述
启动Hadoop服务(在命令行窗口执行e:\hadoop-2.9.2\sbin>start-all.cmd)

停止Hadoop服务(在命令行窗口执行e:\hadoop-2.9.2\sbin>stop-all.cmd)
在这里插入图片描述

四、测试服务

在浏览器地址栏中输入：http://localhost:50070查看Hadoop状态
在这里插入图片描述

在浏览器地址栏中输入：http://localhost:8088查看Hadoop集群状态
在这里插入图片描述

创建目录（utilities/ Browse the file system）

在这里插入图片描述

上传文件
在这里插入图片描述

在这里插入图片描述