资源估算器服务

动机

估计工作资源需求对于企业集群仍然是一个重要且具有挑战性的问题。工作负载的复杂性不断增加，从传统的批处理作业到交互式查询，再到流式传输，再到最近的机器学习作业，这种情况被放大。这导致作业依赖于多个计算框架（例如Tez，MapReduce，Spark等），并且由于共享群集的性质而使问题进一步复杂化。当前的最新解决方案依靠用户的专业知识来估计作业的资源需求（例如：reduceor的数量或容器内存大小等），这既繁琐又效率低下。

根据对集群工作负载的分析，我们观察到很大一部分工作（超过60％）是循环性工作，这使我们有机会根据工作的历史记录自动估算工作资源需求。值得注意的是，作业通常来自不同的计算框架，并且版本可能会在运行之间发生变化。因此，我们想提出一个与框架无关的黑匣子解决方案，以自动进行重复作业的资源需求估算。

目标

• 对于定期作业，请分析其历史日志并预测其对新运行的资源需求。
• 支持各种类型的作业日志。
• 扩展到TB级的作业日志。

建筑

下图说明了资源估计器的实现体系结构。

Hadoop-resourceestimator主要由三个模块组成：转换器，SkylineStore和Estimator。

1. ResourceSkyline用于表征作业生命周期内的资源利用率。更具体地说，它使用RLESparseResourceAllocation（https://github.com/apache/hadoop/blob/b6e7d1369690eaf50ce9ea7968f91a72ecb74de0/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/ /java/org/apache/hadoop/yarn/server/resourcemanager/reservation/RLESparseResourceAllocation.java）来记录容器分配信息。RecurrenceId用于标识循环管道的特定运行。管道可以包含多个作业，每个作业都有一个ResourceSkyline来表征其资源利用率。
2. 转换器分析作业日志，提取其ResourceSkylines，并将其存储到SkylineStore。SingleLineParser解析日志流中的一行并提取ResourceSkyline。LogParser使用SingleLineParser递归解析日志流中的每一行。请注意，日志可能具有不同的存储格式，因此LogParser采用字符串流作为输入，而不是File或其他格式。由于作业日志可能具有各种格式，因此需要不同的SingleLineParser实现，因此LogParser会启动SingleLineParser根据用户配置。当前，Hadoop-resourceestimator为SingleLineParser提供两种实现：NativeSingleLineParser支持一种优化的本机格式，由于RM日志广泛可用（在生产部署中），RMSingleLineParser解析Hadoop系统中生成的YARN ResourceManager日志。
3. SkylineStore充当Hadoop资源估算器的存储层，由两部分组成。HistorySkylineStore存储由Translator提取的ResourceSkylines。它支持四个动作：addHistory，deleteHistory，updateHistory和getHistory。addHistory将新的ResourceSkylines追加到循环管道，而updateHistory删除特定循环管道的所有ResourceSkylines，然后重新插入新的ResourceSkylines。PredictionSkylineStore存储由Estimator生成的预测RLESparseResourceAllocation。它支持两个操作：addEstimation和getEstimation。

   当前，Hadoop资源估计器为SkylineStore提供内存中的实现。

4. Estimator根据其历史记录运行来预测重复管道的资源需求，将预测存储到SkylineStore并向YARN（YARN-5326）进行重复资源保留。Solver读取特定循环管道的所有历史ResourceSkylines，并预测其在RLESparseResourceAllocation中包装的新资源需求。当前，Hadoop-resourceestimator提供了一个LPSOLVER来进行预测（线性编程模型的详细信息可以在本文中找到）。还有一个BaseSolver可以将预测的资源需求转换为ReservationSubmissionRequest 它由不同的求解器实现用于在YARN上进行重复资源保留。
5. ResourceEstimationService将Hadoop-resourceestimator包装为微服务，可以轻松地将其部署在集群中。它提供了一组REST API来允许用户指定解析作业日志，查询管道的历史ResourceSkylines，查询管道的预测资源需求和运行SOLVER如果预测不存在，删除ResourceSkylines在SkylineStore。

步骤1：启动估算器

首先，将配置文件（位于$ ResourceEstimatorServiceHome / conf /中）复制到$ HADOOP_ROOT / etc / hadoop。

启动估算器的脚本是start-estimator.sh。

$ cd $ ResourceEstimatorServiceHome
$ bin / start-estimator.sh

Web服务器已启动，用户可以通过REST API使用资源估计服务。

步骤2：执行估算器

资源估计器服务的URI为http://0.0.0.0，默认服务端口为9998（在$ ResourceEstimatorServiceHome / conf / resourceestimator-config.xml中配置）。在$ ResourceEstimatorServiceHome / data中，有一个示例日志文件resourceEstimatorService.txt，其中包含两次运行的tpch_q12查询作业的日志。

• 解析作业日志：POST http：// URI：port / resourceestimator / translator / LOG_FILE_DIRECTORY

发送POST http://0.0.0.0:9998/resourceestimator/translator/data/resourceEstimatorService.txt。基础估算器将从日志文件中提取ResourceSkylines，并将其存储在jobHistory SkylineStore中。

• 查询作业的历史记录ResourceSkylines：GET http：// URI：port / resourceestimator / skylinestore / history / {pipelineId} / {runId}

发送GET http://0.0.0.0:9998/resourceestimator/skylinestore/history/*/*，基础的估算器将返回历史SkylineStore中的所有记录。您应该能够看到两次运行tpch_q12的ResourceSkylines：tpch_q12_0和tpch_q12_1。请注意，pipelineId和runId字段均支持通配符操作。

• 预测工作的资源需求：GET http：// URI：port / resourceestimator / estimator / {pipelineId}

发送http://0.0.0.0:9998/resourceestimator/estimator/tpch_q12，基础估计器将根据其历史资源SkySky预测新运行的作业资源需求，并将预测的资源需求存储到jobEstimation SkylineStore。

• 查询作业的估计资源状况：GET http：// URI：port / resourceestimator / skylinestore / estimation / {pipelineId}

发送http://0.0.0.0:9998/resourceestimator/skylinestore/estimation/tpch_q12，基础估计器将返回tpch_q12作业的历史资源需求估计。请注意，对于jobEstimation SkylineStore，它不支持通配符操作。

• 删除作业的历史资源天际线：删除http：// URI：port / resourceestimator / skylinestore / history / {pipelineId} / {runId}

发送http://0.0.0.0:9998/resourceestimator/skylinestore/history/tpch_q12/tpch_q12_0，基础估算器将删除tpch_q12_0的ResourceSkyline记录。重新发送GET http://0.0.0.0:9998/resourceestimator/skylinestore/history/*/*，基础估算器将仅返回tpch_q12_1的ResourceSkyline。

步骤3：运行估算器

停止估算器的脚本是stop-estimator.sh。

$ cd $ ResourceEstimatorServiceHome
$ bin / stop-estimator.sh