路由器联盟

联合界面

路由器接收到一个客户端请求，检查状态存储中是否有正确的子集群，并将请求转发到该子集群的活动NameNode。然后，来自NameNode的答复将沿相反方向流动。路由器是无状态的，可以位于负载均衡器之后。对于运行状况检查，可以将/ isActive端点用作运行状况探测器（例如，http：// ROUTER_HOSTNAME：ROUTER_PORT / isActive）。为了提高性能，路由器还缓存远程装载表条目和子群集的状态。为确保已将更改传播到所有路由器，每个路由器会将其状态发送到状态存储。

路由器和状态存储之间的通信被缓存（具有过期时间，以确保更新）。这样可以提高系统的性能。

NameNode心跳

对于此角色，路由器会定期检查NameNode的状态（通常在同一服务器上），并将其高可用性（HA）状态和负载/空间状态报告给状态存储。请注意，这是一个可选角色，因为路由器可以独立于任何子集群。为了提高NameNode HA的性能，路由器使用状态存储中的高可用性状态信息将请求转发到最有可能处于活动状态的NameNode。请注意，可以将该服务嵌入NameNode本身以简化操作。

可用性和容错能力

路由器在多个级别上均出现故障。

• 联合接口HA：路由器是无状态的，元数据操作在NameNode上是原子的。如果路由器不可用，则任何路由器都可以接管它。客户端将其DFS HA客户端（例如，ConfiguredFailoverProvider或RequestHedgingProxyProvider）配置为联盟中的所有路由器作为端点。

• 不可用的状态存储：如果路由器无法联系状态存储，它将进入安全模式状态，从而禁止其处理请求。客户端将以安全模式对待路由器，因为它是一个备用NameNode，然后尝试另一个路由器。有一种手动方法可以管理路由器的安全模式。

可以使用以下命令来管理安全模式状态：

[hdfs] $ $ HADOOP_HOME / bin / hdfs dfsrouteradmin -safemode输入| 离开 得到

• NameNode心跳HA：为了实现高可用性和灵活性，多个路由器可以监视同一个NameNode并将心跳到状态存储中。如果路由器发生故障，这将增加客户端对过时信息的弹性。每个路由器都通过仲裁来解决状态存储中有冲突的NameNode信息。

• 不可用的NameNode：如果路由器无法联系活动的NameNode，则它将尝试子群集中的其他NameNode。它将首先尝试报告为备用的那些，然后尝试不可用的那些。如果路由器无法访问任何NameNode，则它将引发异常。

• 过期的NameNode：如果在状态存储中没有记录NameNode心跳超过心跳间隔的倍数，则监视路由器将记录NameNode已过期，并且没有路由器将尝试访问它。如果随后为NameNode记录了更新的心跳，则监视路由器将把NameNode从过期状态恢复。

介面

为了与用户和管理员进行交互，路由器公开了多个接口。

• RPC：路由器RPC实现了客户端用于与HDFS交互的最常用接口。当前的实现已通过使用以普通MapReduce，Spark和Hive（在Tez，Spark和MapReduce上）编写的分析工作负载进行了测试。快照，加密和分层存储等高级功能留给以后的版本。所有未实现的函数都将引发异常。

• 管理员：管理员可以通过RPC查询群集中的信息并从安装表中添加/删除条目。此界面也通过命令行公开，以从联合身份验证中获取和修改信息。

• Web UI：路由器公开一个Web UI，以可视化联盟的状态，模仿当前的NameNode UI。它显示有关安装表的信息，有关每个子集群的成员资格信息以及路由器的状态。

• WebHDFS：除RPC之外，路由器还提供HDFS REST接口（WebHDFS）。

• JMX：它通过模仿NameNode的JMX公开指标。Web UI使用它来获取集群状态。

一些操作在基于路由器的联合中不可用。路由器为此抛出异常。用户可能遇到的示例包括以下内容。

• 在两个不同的名称服务中重命名文件/文件夹。
• 用两个不同的名称服务复制文件/文件夹。
• 写入要重新平衡的文件/文件夹。

配额

基于路由器的联合支持在装入表级别支持全局配额。装入表条目可能会分散多个子集群，并且将在这些子集群中考虑全局配额。

联邦管理工具支持为指定的安装表条目设置配额：

[hdfs] $ $ HADOOP_HOME / bin / hdfs dfsrouteradmin -setQuota / path -nsQuota 100 -ssQuota 1024

上面的命令意味着我们允许路径最多包含100个文件/目录，并最多使用1024个字节的存储空间。ssQuota的参数支持多个大小单位后缀（例如1k为1KB，5m为5MB）。如果未指定后缀，则假定为字节。

ls命令将为每个装入表条目显示以下信息：

源目标所有者组模式配额/用法
/ path ns0-> / path根超级组rwxr-xr-x [NsQuota：50/0，SsQuota：100 B / 0 B]

多个子类

挂载点还支持映射多个子群集。例如，创建一个将点存储在子集群ns1和ns2中的安装点。

[hdfs] $ $ HADOOP_HOME / bin / hdfs dfsrouteradmin -add / data ns1，ns2 / data -order空格

列出/ data时，它将显示两个子群集中的所有文件夹和文件。为了确定要在哪里创建新文件/文件夹，它使用了order参数，它目前支持以下方法：

• 哈希：在第一级遵循一致的哈希。更深层次将在父级之一中。
• 本地：尝试在本地子群集中写入数据。
• RANDOM：随机子集群。这通常对于平衡负载非常有用。文件夹在所有子群集中创建。
• HASH_ALL：在所有级别上遵循一致的哈希。这种方法试图平衡子群集之间的读取和写入。文件夹在所有子群集中创建。
• 空间：尝试在具有最大可用空间的子集群中写入数据。文件夹在所有子群集中创建。

对于基于散列的方法，不同之处在于HASH将使文件夹中的所有文件/文件夹都属于同一子群集，而HASH_ALL将在安装点下散布所有文件。例如，假设我们有一个用于/ data / hash的HASH挂载点，则/ data / hash / folder0下的文件和文件夹将全部位于同一子群集中。另一方面，/ data / hash_all的HASH_ALL挂载点将在/ data / hash_all / folder0下的文件分布在该挂载点的所有子集群中（子文件夹将创建到所有子集群）。

RANDOM可用于从不同的子集群读取数据或将数据写入不同的子集群。此方法的常见用法是在多个子群集中具有相同的数据，并平衡各个子群集中的读取。例如，如果成千上万个容器需要读取相同的数据（例如，一个库），则可以使用RANDOM从任何子群集中读取数据。

请注意，路由器无法保证子群集之间数据的一致性。

连接到名称节点

路由器将客户端请求转发到NameNodes。它使用连接池来减少创建连接的延迟。