hadoop、yarn和vcpu资源的配置

  • 时间:
  • 浏览:0

(3)yarn.scheduler.maximum-allocation-vcores

转载自:https://www.cnblogs.com/S-tec-songjian/p/5740691.html

(1)yarn.nodemanager.resource.memory-mb

关于Hadoop YARN资源调度器的完整篇 介绍,可参考我的这篇文章:YARN/MRv2 Resource Manager深入剖析—资源调度器。

在YARN中,CPU资源的组织法律最好的方法仍在探索中,目前(2.2.0版本)却说有另三个 初步的,非常粗粒度的实现法律最好的方法,更细粒度的CPU划分法律最好的方法否则提出来了,正在完善和实现中。

https://issues.apache.org/jira/browse/YARN-1024

否则CPU资源的独结构,目前你这人CPU分配法律最好的方法仍然是粗粒度的。举个例子,全都任务否则是IO密集型的,消耗的CPU资源非常少,否则此时你为它分配有另三个 CPU,则是一种严重浪费,你完整篇 还需我应该 应该 与一点几个任务公用有另三个 CPU,也却说说,朋友 需要支持更粒度的CPU表达法律最好的方法。

基于以上考虑,YARN允许用户配置每个节点上可用的物理内存资源,注意,这里是“可用的”,否则有另三个 节点上的内存会被若干个服务共享,比如一次责给YARN,一次责给HDFS,一次责给HBase等,YARN配置的却说自己还需要使用的,配置参数如下:

(2)yarn.nodemanager.vmem-pmem-ratio

https://issues.apache.org/jira/browse/YARN-1089

单个任务可申请的至少物理内存量,默认是1024(MB),否则有另三个 任务申请的物理内存量少于该值,则该对应的值改为你这人数。

(2)Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

(1)yarn.nodemanager.resource.cpu-vcores

目前的CPU被划分成虚拟CPU(CPU virtual Core),这里的虚拟CPU是YARN自己引入的概念,初衷是,考虑到不同节点的CPU性都还还还可以则不同,每个CPU具有的计算能力也是不一样的,比如某个物理CPU的计算能力否则是另外有另三个 物理CPU的2倍,这后后,我应该 通过为第有另三个 物理CPU多配置几个虚拟CPU弥补你这人差异。用户提交作业时,还需要指定每个任务需要的虚拟CPU个数。在YARN中,CPU相关配置参数如下:

单个任务可申请的最多虚拟CPU个数,默认是32。

(4) yarn.nodemanager.vmem-check-enabled

目前,YARN 内存资源调度借鉴了Hadoop 1.0中的法律最好的方法,比较合理,但CPU资源的调度法律最好的方法仍在不断改进中,目前却说有另三个 初步的粗糙实现,相信在不久的将来,YARN 中CPU资源的调度将更加完善。

借鉴亚马逊EC2中CPU资源的划分法律最好的方法,即提出了CPU最小单位为EC2 Compute Unit(ECU),有另三个 ECU代表至少1.0-1.2 GHz 5007 Opteron or 5007 Xeon补救器的补救能力。YARN提出了CPU最小单位YARN Compute Unit(YCU),目前你这人数是有另三个 整数,默认是720,由参数yarn.nodemanager.resource.cpu-ycus-per-core设置,表示有另三个 CPU core具备的计算能力(该feature在2.2.0版本中何必 趋于稳定,否则增加到2.3.0版本中),另有另三个 ,用户提交作业时,直接指定需要的YCU即可,比如指定值为3500,表示用1/有另三个 CPU core,实际表现为,只使用有另三个 CPU core的1/2计算时间。注意,在操作系统层,CPU资源是按照时间片分配的,我应该 说,有另三个 多线程 使用1/3的CPU时间片,否则1/5的时间片。对于CPU资源划分和调度的探讨,可参考以下几个链接:

(6)yarn.scheduler.maximum-allocation-mb

(5)yarn.scheduler.minimum-allocation-mb

默认情況下,YARN是无需对CPU资源进行调度的,你需要配置相应的资源调度器我应该 支持,具体可参考我的这两篇文章:

【YARN中内存资源的调度和隔离】

在正式介绍具体的资源调度和隔离后后,先品味一下内存和CPU你这人种资源的特点,这是一种性质不同的资源。内存资源的几个会会决定任务的生死,否则内存匮乏,任务否则会运行失败;相比之下,CPU资源则不同,它只会决定任务运行的快慢,无需对生死产生影响。

任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1。

与否启动有另三个 线程 检查每个任务正使用的虚拟内存量,否则任务超出分配值,则直接将其杀掉,默认是true。

(2) yarn.scheduler.minimum-allocation-vcores

(3) yarn.nodemanager.pmem-check-enabled

Hadoop  YARN一齐支持内存和CPU一种资源的调度(默认只支持内存,否则想进一步调度CPU,需要自己进行一点配置),本文将介绍YARN是怎么还可以对那先 资源进行调度和隔离的。

单个任务可申请的最小虚拟CPU个数,默认是1,否则有另三个 任务申请的CPU个数少于该数,则该对应的值改为你这人数。

单个任务可申请的最多物理内存量,默认是8192(MB)。

默认情況下,YARN采用了线程 监控的法律最好的方法判断任务与否超量使用内存,一旦发现超量,则直接将其杀死。否则Cgroups对内存的控制匮乏灵活性(即任务任多会儿刻不能超过内存上限,否则超过,则直接将其杀死否则报OOM),而Java多线程 在创建瞬间内存将翻倍,后后骤降到正常值,你这人情況下,采用线程 监控的法律最好的方法更加灵活(当发现多线程 树内存瞬间翻倍超过设定值时,可认为是正常问题图片,无需将任务杀死),否则YARN未提供Cgroups内存隔离机制。

表示该节点上YARN可使用的虚拟CPU个数,默认是8,注意,目前推荐将该值设值为与物理CPU核数数目相同。否则你的节点CPU核数匮乏8个,则需要调减小你这人值,而YARN无需智能的探测节点的物理CPU总数。

与否启动有另三个 线程 检查每个任务正使用的物理内存量,否则任务超出分配值,则直接将其杀掉,默认是true。

在YARN中,资源管理由ResourceManager和NodeManager一齐完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务(这却说所谓的“资源调度”)后,NodeManager需按照要求为任务提供相应的资源,甚至保证那先 资源应具有独占性,为任务运行提供基础的保证,这却说所谓的资源隔离。

Hadoop 新结构、改进、优化和Bug分析系列5:YARN-3

表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,否则你的节点内存资源匮乏8GB,则需要调减小你这人值,而YARN无需智能的探测节点的物理内存总量。

(1)Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

【YARN中CPU资源的调度和隔离】

默认情況下,NodeManager无需对CPU资源进行任何隔离,我应该 通过启用Cgroups我应该 支持CPU隔离。

【总结】