Hadoop 文档

General

Common

HDFS

MapReduce

MapReduce REST APIs

YARN

YARN REST APIs

YARN Service

Submarine

Hadoop Compatible File Systems

Auth

Tools

Reference

Configuration

Apache Hadoop 3.2.1在以前的主要发行版本(hadoop-3.2)上进行了许多重大改进。

该版本普遍可用(GA),这意味着它代表了我们认为已经可以投入生产的API稳定性和质量。

总览

鼓励用户阅读全套发行说明。此页面概述了主要更改。

YARN中的节点属性支持

节点属性有助于根据节点的属性在节点上标记多个标签,并支持基于这些标签的表达来放置容器。

节点属性文档中提供了更多详细信息。

YARN上的Hadoop潜水艇

Hadoop Submarine使数据工程师可以在数据驻留的同一Hadoop YARN集群上轻松开发,训练和部署深度学习模型(在TensorFlow中)。

Hadoop Submarine文档中提供了更多详细信息。

存储策略满意度

支持HDFS(Hadoop分布式文件系统)应用程序,以便在文件/目录上设置存储策略时在存储类型之间移动块。

存储策略满意度文档中提供了更多详细信息。

ABFS文件系统连接器

支持最新的Azure Datalake Gen2存储。

增强型S3A连接器

支持增强的S3A连接器,包括对受限制的AWS S3和DynamoDB IO的更好的弹性。

升级YARN长期服务

通过YARN本机服务API和CLI支持长期运行的容器的就地无缝升级。

YARN服务升级文档中提供了更多详细信息。

入门

Hadoop文档包含开始使用Hadoop所需的信息。从单节点设置开始,该向导向您展示如何设置单节点Hadoop安装。然后转到“ 群集设置”以了解如何设置多节点Hadoop安装。