浅谈Hadoop YARN资源隔离机制

---

本博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等。二维码如下：

---

资源调度和资源隔离是YARN作为一个资源管理系统，最重要和最基础的两个功能。资源调度由ResourceManager完成，而资源隔离由各个NodeManager实现，在文章“Hadoop YARN中内存和CPU两种资源的调度和隔离”中，我已经介绍了YARN的内存和CPU的资源隔离，本文将介绍YARN在资源隔离方面的一些进展。

当谈及到资源时，我们通常指内存，CPU和IO三种资源。默认情况下，YARN不会对任何资源进行隔离，当然，如果采用Java语言编写的程序，则 会使用JVM内置的隔离机制为内存资源进行隔离。随着YARN的逐步完善，在内存，CPU和IO三种资源隔离方面均有重大进展。

首先介绍内存资源隔离。内存资源是YARN从一开始就会管理和调度的资源，考虑到内存资源的特殊性，YARN并没有显式地对内存资源进行强制隔离， 以免在产生内存抖动时，任务被不优雅地杀掉。当然，如果你采用了Java语言编写了任务，则可以使用JVM提供的内存隔离机制，这是一种不错的选择。对于 YARN而言，目前所做的工作是监控每个任务的进程树，如果每个任务的进程树使用的总物理内存或者总虚拟内存量超过了预先设置值，则依次发送TERM和 KILL两个信号将整个进程树杀死。如果你在YARN上运行了一些特殊的任务或者服务，希望使用Cgroups对内存进行严格的隔离，可以关注：https://issues.apache.org/jira/browse/YARN-1856

接下来介绍CPU资源隔离。CPU资源调度从Hadoop 2.2.0开始已经得到了完好的支持，但CPU资源隔离支持的很不好，目前已经完成或者正在做的工作如下；
（1）CPU资源按照百分比进行使用和隔离。通过Cgroup的cpu.shares参数实现的，这种方式能够保证每个节点上的cpu资源得到充分的共享 和使用，从而产生较高的CPU利用率。从hadoop 2.2.0开始已经得到了支持，但是要启用这个功能，还需经过较为复杂的参数配置和调整，相关jira为：https://issues.apache.org/jira/browse/YARN-3

（2）限制每个container的CPU资源使用上限。上一一种CPU隔离方式能够保证每个Contaienr的CPU使用下限，大部分情况下， 可能拿到比自己期望的多的CPU资源；而这种隔离则不同，它会严格限制cpu使用上限，比如你希望使用2个CPU，则会限制你只能使用2个，不能多用，即 使同机器上仍有大量空闲CPU资源，也不会允许你使用。该功能是通过Cgroup的cpu.cfs_quota_us和 cpu.cfs_period_us两个参数实现的，目前已经有可使用的patch，但尚未merge到主干中，具体参考：https://issues.apache.org/jira/browse/YARN-810

（3）限制yarn使用的CPU上限。实现机制与（2）相同，已有可使用的patch，具体参考：https://issues.apache.org/jira/browse/YARN-2440

需要注意的是，YARN允许你配置每个节点上可使用的物理cpu个数，以及物理cpu与虚拟cpu个比例，而用户申请资源时，只能申请虚拟cpu。 默认情况下，物理cpu和虚拟cpu是1：1的，如果你的集群是异构的，某些节点上的CPU拥有更强的计算能力，则可以调整物理cpu和虚拟cpu的比 例。虚拟cpu的概念是借鉴“物理内存和虚拟内存”的，主要目的是消除集群中cpu计算能力的异构性。

最后介绍IO资源。IO资源分为磁盘IO和网络IO两种。目前YARN已经在这两方面展开工作，初步的设计文档已经发布，具体可参考：https://issues.apache.org/jira/browse/YARN-2139 和https://issues.apache.org/jira/browse/YARN-2140。 IO资源的隔离比CPU和内存复杂的多，为了便于用户量化IO资源，YARN仿照“虚拟cpu”的概念，引入了“虚拟磁盘”（vdisk），第一阶段将尝 试使用cgroup的blkio模块实现磁盘IO隔离。当然，在实现该功能之前，还需要将IO资源加入调度器管理的范畴，使得hadoop中的资源调度 器，比如公平调度器或者容量调度器，可以对磁盘IO和网络IO进行调度。

作者：Dong，作者介绍：http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/