1. What is the maximum amount of virtual memory allocated for each map task before YARN will kill its Container?
Your cluster’s mapred-start.xml includes the following parameters
What is the maximum amount of virtual memory allocated for each map task before YARN will kill its Container?
A. 4 GB B. 17.2 GB C. 8.9GB D. 8.2 GB E. 24.6 GB
问题:
每个map任务,在运行时,虚拟内存能够分配到多大时,就会被Yarn资源管理器kill掉?
解析:
参数yarn.nodemanager.vmen-pmen-ration :
是指每单位的物理内存总量对应的虚拟内存量,默认是2.1,表示每使用1MB的物理内存,最多可以使用2.1MB的虚拟内存总量。
所以map memory 当前设置是4096Mb,那么vm的最大分配为(4096Mb*2.1)/1024Mb=8.4G,那么接近答案的是D.
Your cluster’s mapred-start.xml includes the following parameters
点击(此处)折叠或打开
-
<name>mapreduce.map.memory.mb</name>
-
<value>4096</value>
-
<name>mapreduce.reduce.memory.mb</name>
-
<value>8192</value>
-
And any cluster’s yarn-site.xml includes the following parameters
-
<name>yarn.nodemanager.vmen-pmen-ration</name>
- <value>2.1</value>
A. 4 GB B. 17.2 GB C. 8.9GB D. 8.2 GB E. 24.6 GB
问题:
每个map任务,在运行时,虚拟内存能够分配到多大时,就会被Yarn资源管理器kill掉?
解析:
参数yarn.nodemanager.vmen-pmen-ration :
是指每单位的物理内存总量对应的虚拟内存量,默认是2.1,表示每使用1MB的物理内存,最多可以使用2.1MB的虚拟内存总量。
所以map memory 当前设置是4096Mb,那么vm的最大分配为(4096Mb*2.1)/1024Mb=8.4G,那么接近答案的是D.
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30089851/viewspace-2083030/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/30089851/viewspace-2083030/
本文深入分析了YARN配置参数对MapTask虚拟内存的影响,具体阐述了mapred-start.xml和yarn-site.xml中参数设置如何决定MapTask在YARN中的内存分配上限,并通过计算得出在给定配置下MapTask最大可分配虚拟内存为8.4GB。

1903

被折叠的 条评论
为什么被折叠?



