安装篇-Hadoop3.2.1集群的简单化安装

前言：实际环境中会在window上进行程序的开发，打成jar包在放到Linux上的Hadoop集群中运行，所以在window上也安装一下hadoop环境，实用xshell（在windows上操作linux的工具）操做。

环境：
windows：jdk8，hadoop3.2.1，xshell，idea
linxu：jdk8 hadoop3.2.1服务端（集群）

1.预备知识

1.1 linux须知

1. linux微内核的特性，vmware安装linux
2. centos：稳定
3. linux目录：/bin,/usr,/etc
4. xshell:实用xshell操作centos
5. linux记事本：vi/vim

1.2 常用命令

1. 帮助：man
2. 目录：mkdir，rmdir，mv,ls,rm -rf,cd
3. 文件：touch/vi,cat,cp,rm,more，grep
4. 搜索：which,whereis,find
5. 时间：date ,date -s
6. 用户和组管理：useradd…,groupadd…
7. 进程：ps -ef,kill -9 进程id，pkill -p id 或者/-f 进程
8. 网络：netstat -aux
9. 磁盘:df
10. 压缩和解压：zip，unzip，tar

• tar -zcvf 压缩
• tar -zxvf 解压

1. 软件：yum
   • yum list
   • yum install
   • yum remove
   • rpm -ivh,evh:了解
2. 上传、下载：rz，sz
3. 定时任务：crontab -e
   • min,h,d,m,week
   • crontab -l
   • crontab -r:删除

1.3 shell脚本

1. 变量：x,$x

2. 运算符：$[3+6]

3. 判断:if [];then fi

4. 循环：

   for(()) 或者 for x in list

   do

   done

   while []

   do

   done

5. 函数: function fun(){} fun

2.hadoop之windows配置

1. 解压hadoop压缩文件
2. 指定HADOOP_HOME
3. 指定path：/bin，/sbin
4. 测试：hadoop version

3.在linux上搭建hadoop集群

3.1 安装jdk8，hadoop3.2.1

1. 上传压缩文件并解压

2. 设置环境变量

   export JAVA_HOME=/usr/jdk8
   export HADOOP_HOME=/usr/hadoop321
   export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin

3. 激活配置文件

   . /etc/profile

4. 测试：

   hadoop version

3.2 hdfs配置

1. core-site.xml

   fs.defaultFS hdfs://master:9000

2. hdfs-site.xml

   dfs.replication 2 dfs.http.address 0.0.0.0:5700 dfs.namenode.name.dir file:///root/hadoop/dfs/namenode dfs.datanode.data.dir file:///root/hadoop/dfs/datanode dfs.webhdfs.enabled true

3. 初始化namenode：hdfs namenode -format

4. start-dfs.sh,stop-dfs.sh

   #设置用户
   HDFS_NAMENODE_USER=root
   HDFS_DATANODE_USER=root
   HDFS_SECONDARYNAMENODE_USER=root

5. hadoop-env.sh

   export JAVA_HOME=/usr/jdk8

3.3 集群成员配置

1. 域名与ip绑定

   192.168.85.129 master
   192.168.85.130 slave1
   192.168.85.131 slave2

2. 配置workers（工作节点）

   slave1

   slave2

3. 修改副本数量(数据节点数量)

   dfs.replication 2

3.4 yarn配置

1. yarn-site.xml

   yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname master yarn.resourcemanager.webapp.address master:8088 yarn.application.classpath /usr/hadoop321/etc/hadoop:/usr/hadoop321/share/hadoop/common/lib/*:/usr/hadoop321/share/hadoop/common/*:/usr/hadoop321/share/hadoop/hdfs:/usr/hadoop321/share/hadoop/hdfs/lib/*:/usr/hadoop321/share/hadoop/hdfs/*:/usr/hadoop321/share/hadoop/mapreduce/lib/*:/usr/hadoop321/share/hadoop/mapreduce/*:/usr/hadoop321/share/hadoop/yarn:/usr/hadoop321/share/hadoop/yarn/lib/*:/usr/hadoop321/share/hadoop/yarn/*

2. mapred-site.xml

   mapreduce.framework.name yarn

3. start-yarn.sh,stop-yarn.sh

   YARN_RESOURCEMANAGER_USER=root
   YARN_NODEMANAGER_USER=root

3.5 cnetos克隆

1. 修改主机名

   hostnamectl set-hostanme 主机名

2. 删除/tmp目录下的文件，使数据节点在浏览器端能看见(注意：防火墙关闭)

   systemctl disable firewalld(开机不自启)

3.6 master免密登录slave

1. 在root目录创建密钥：

   ssh-keygen

2. authorized_keys拷贝到slave上

cat id_rsa.pub >> authorized_keys

scp 拷贝到salve的.ssh文件夹下

scp authorized_keys root@slave1:/root/.ssh

3.7 启动hadoop集群

1. 在master上启动

   start-all.sh

2. 测试

   jps

3. 查看节点

   hdfs dfsadmin -report