Hadoop学习笔记-2

最新推荐文章于 2024-07-29 14:12:14 发布

原创最新推荐文章于 2024-07-29 14:12:14 发布 · 175 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop

大数据专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍了Hadoop集群中各组件的核心端口，包括NameNode、ResourceManager、HistoryServer等，并提供了格式化、启动进程的方法以及日志位置等关键信息。

hadoop的端口

NameNode：50070
http://namenode:50070/
ResourceManager：8088
http://localhost:8088
HistoryServer：19888
http://hs:19888
Name RPC：8020
hdfs://namenode8020

格式化

只需要在NameNode上做就可以：

hdfs --config /soft/hadoop/etc/hadoop_cluster/ namenode -format

在格式化后产生
/tmp/hadoop-$USER/dfs

# 对应NameNode
/tmp/hadoop-$USER/dfs/name/current
cat VERSION

启动进程

只需在NameNode主机上启动即可。通过ssh可以自动在DataNode上启动相应进程。

start-dfs.sh --config /soft/hadoop/etc/hadoop_cluster/
start-yarn.sh --config /soft/hadoop/etc/hadoop_cluster/

日志位置
安装目录下的logs/
分发配置文件及目录的Shell Script

#!/bin/bash

if [ $# -lt 1 ]; then
	echo "No Path"
	exit 1
fi

myfile=$1
user=`whoami`
filename=`basename $myfile`
dir=`dirname $myfile`

if [ $dir="." ]; then
	$dir=`pwd`
fi

echo "------ rm $myfile on localhost ------"
rm -rf $myfile
echo

for (( i=2;i<=5;i=i+1 )); do
	echo "------ scp $myfile to Node$i ------"
	if [ -d $myfile ]; then
		scp -r $myfile $user@node$i:$dir
	else
		scp $myfile $user@node$i:$dir
	fi
	echo

	echo "------ rm $myfile on Node$i ------"
	ssh node$i rm -rf $dir/$filename
	ssh node$i ls $dir/$filename | xargs #xargs将多行输出变到一行
	echo
done