资源模型

资源经理

资源管理器是跟踪集群中哪些资源的最终仲裁者。资源管理器从XML配置文件加载其资源定义。例如，要定义除CPU和内存之外的新资源，应配置以下属性：

<配置>
  <属性>
    <name> yarn.resource-types </ name>
    <value> resource1，resource2 </ value>
    <说明>
    用于调度的资源。使用resource-types.xml
    指定有关各个资源类型的详细信息。
    </ description>
  </ property>
</ configuration>

有效的资源名称必须以字母开头，并且只能包含字母，数字以及以下任何一个：“。”，“ _”或“-”。有效的资源名称也可以可选地在名称空间之后加上斜杠。有效的名称空间由句点分隔的字母，数字和破折号组成。例如，以下是有效的资源名称：

• 我的资源
• my_resource
• 我的资源01
• com.acme / myresource

以下是无效资源名称的示例：

• 10myresource
• 我的资源
• com / acme / myresource
• $ NS / myresource
• -无-/ myresource

对于定义的每种新资源类型，可以添加可选的单位属性以设置资源类型的默认单位。有效值为：

该属性必须命名为yarn.resource-types。<resource> .units。每个定义的资源还可以具有可选的最小和最大属性。这些属性必须分别命名为yarn.resource-types。<resource> .minimum-allocation和yarn.resource-types。<resource> .maximum-allocation。

所述yarn.resource类型属性和任何单元，mimimum，或最大性能可以以通常的定义纱线的site.xml文件或在一个文件名为资源的types.xml。例如，以下内容可能会出现在两个文件中：

<配置>
  <属性>
    <name> yarn.resource-types </ name>
    <value> resource1，resource2 </ value>
  </ property>

  <属性>
    <name> yarn.resource-types.resource1.units </ name>
    <value> G </ value>
  </ property>

  <属性>
    <name> yarn.resource-types.resource2.minimum-allocation </ name>
    <value> 1 </ value>
  </ property>

  <属性>
    <name> yarn.resource-types.resource2.maximum-allocation </ name>
    <value> 1024 </ value>
  </ property>
</ configuration>

节点管理器

每个节点管理器独立定义该节点可用的资源。通过为每个可用资源设置属性来完成资源定义。该属性必须命名为yarn.nodemanager.resource-type。<resource>，并且可以放置在通常的yarn-site.xml文件或名为noderesources.xml的文件中。该属性的值应为节点提供的资源量。例如：

<配置>
 <属性>
   <name> yarn.nodemanager.resource-type.resource1 </ name>
   <value> 5G </ value>
 </ property>

 <属性>
   <name> yarn.nodemanager.resource-type.resource2 </ name>
   <value> 2m </ value>
 </ property>

</ configuration>

请注意，用于这些资源的单位不必与资源管理器所保存的定义相匹配。如果单位不匹配，资源管理器将自动进行转换。

通过MapReduce使用资源

MapReduce向YARN请求三种不同类型的容器：应用程序主容器，映射容器和reduce容器。对于每种容器类型，都有一组对应的属性可用于设置请求的资源。

在MapReduce中设置资源请求的属性为：

请注意，YARN可以修改这些资源请求，以满足配置的最小和最大资源值，或者是配置的增量的倍数。请参见yarn.scheduler.maximum-allocation-mb，yarn.scheduler.minimum-allocation-mb，yarn.scheduler.increment-allocation-mb，yarn.scheduler.maximum-allocation-vcore，yarn.scheduler.minimum-allocation- YARN调度程序配置中的vcores和yarn.scheduler.increment-allocation-vcores属性。

要求个人资料

当前，分布式外壳程序是唯一支持资源配置文件的客户端。使用分布式外壳，用户可以指定资源配置文件名称，该名称将自动转换为适当的一组资源请求。

例如：

hadoop作业$ DISTSHELL -jar $ DISTSHELL -shell_command run.sh -container_resource_profile small