【Ambari Plus】05.YARN 安装

YARN 安装

HDFS 装好以后,下一层就是 YARN。它负责集群资源管理和任务调度,后面的 MapReduce2、Tez、Hive、Flink、Spark 都会用到它。

本次安装有一个很重要的细节:选择 YARN 时,Ambari Plus 会自动把 MapReduce2 纳入依赖。因此现场安装向导会显示 已选服务 2,一次完成 YARNMAPREDUCE2 两个服务。本文先把 YARN 的安装链路讲清楚,MapReduce2 的角色和确认方式单独放到下一篇。

本次角色分配如下:

主机YARN 角色
hadoop1.test.comRESOURCEMANAGERNODEMANAGERYARN_CLIENT
hadoop2.test.comNODEMANAGERYARN_CLIENT
hadoop3.test.comNODEMANAGERYARN_CLIENT

::: tip
YARN 安装前请先确认 HDFS 已经运行中。YARN 的 Service Check 会使用 HDFS,如果 HDFS 还没稳定,YARN 页面可能装完了,检查任务却过不去。
:::

1. 选择 YARN 服务

进入 服务与组件,点击 新增服务,勾选 YARN

选择 YARN 服务

页面顶部会提示本次安装同时处理 YARNMapReduce2。这是正常现象,不需要手动取消 MapReduce2;后续 MapReduce2 的 HistoryServer 和 Client 会在同一个安装向导里落地。

2. 分配 Master 角色

Master 分配页里,YARN 的核心角色是 RESOURCEMANAGER

组件分配主机
RESOURCEMANAGERhadoop1.test.com

分配 YARN Master

我这里把 ResourceManager 放在 hadoop1.test.com。在单 ResourceManager 的演示环境里,这样后面查看 YARN UI、排查队列和看应用状态都比较集中。

同一个页面还会看到 HISTORYSERVER,它属于 MapReduce2。这里先保留默认分配,下一篇再单独讲它。

3. 分配 NodeManager 和 Client

Slave 与 Client 分配页里,YARN 需要看两类:

角色本次分配
NODEMANAGERhadoop1.test.comhadoop2.test.comhadoop3.test.com
YARN_CLIENThadoop1.test.comhadoop2.test.comhadoop3.test.com

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

NodeManager 是实际承接容器运行的节点。教程环境三台都安装 NodeManager,后续跑 MapReduce、Tez、Hive 或 Spark 测试任务时,资源池会更完整。

Client 组件建议三台都装。这样无论在哪台机器上执行 yarn application -listmapred job -list 这类命令,都不需要临时补客户端包。

4. 查看自动推荐配置

进入自定义配置页后,页面显示 待填写 0,说明没有必填项需要额外补充。

YARN 推荐配置

这里可以重点看三类配置:

配置说明
yarn.nodemanager.resource.memory-mb单台 NodeManager 可提供给容器的总内存。
yarn.scheduler.minimum-allocation-mb单个容器最小内存。
yarn.scheduler.maximum-allocation-mb单个容器最大内存。

演示环境可以先保留推荐值。生产环境建议结合机器内存、HDFS DataNode 内存、Spark/Hive 作业模型重新估算,避免把系统内存全部交给 YARN。

5. 确认安装清单

确认页里要看清楚本次新增服务和角色分配:

检查项本次结果
新增服务YARNMAPREDUCE2
YARN MasterRESOURCEMANAGER -> hadoop1.test.com
YARN SlaveNODEMANAGER -> hadoop1.test.com, hadoop2.test.com, hadoop3.test.com
YARN Client三台主机都安装
配置校验必填项已填写

YARN 安装确认页

确认无误后点击 开始安装

6. 提交 KDC 管理员凭据

当前集群已经开启 Kerberos,新增 YARN 和 MapReduce2 时需要生成服务 Principal 和 keytab。向导会弹出 KDC 管理员凭据

配置项示例值
管理员 Principaladmin/admin@TEST.COM
管理员密码填写实际 KDC 管理员密码

提交 YARN KDC 管理员凭据

填写后点击 提交并继续安装

7. 等待启动和检查

安装进入进度页后,我会重点看 RESOURCEMANAGERNODEMANAGERYARN_SERVICE_CHECK

YARN 启动进度

这个阶段的通过标准很直接:

检查项期望结果
RESOURCEMANAGER启动成功
NODEMANAGER三台主机启动成功
YARN_SERVICE_CHECK执行成功
失败任务0

如果 YARN Service Check 失败,优先看 ResourceManager 日志、NodeManager 日志、Kerberos keytab 是否生成,以及 HDFS 是否可写。

8. 完成安装并回到服务页

向导最后显示 YARNMAPREDUCE2 安装完成。

YARN 安装完成

进入 YARN 服务详情页,服务状态应显示为 运行中

YARN 服务运行中

这里我会看:

检查项期望结果
服务状态YARN 运行中
核心实例ResourceManagerNodeManager 运行中
待刷新配置0
失败请求0

YARN 到这里就装好了。下一篇继续看 MapReduce2,它不是单独再点一次安装,而是在本次 YARN 向导里作为依赖一起完成。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TTBIGDATA

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值