Hadoop 文档

General

Common

HDFS

MapReduce

MapReduce REST APIs

YARN

YARN REST APIs

YARN Service

Submarine

Hadoop Compatible File Systems

Auth

Tools

Reference

Configuration

目的

使用CLI MiniCluster,用户只需使用一个命令即可简单地启动和停止单节点Hadoop集群,而无需设置任何环境变量或管理配置文件。CLI MiniCluster会同时启动YARN / MapReduceHDFS集群。

对于用户想要快速试验真实的Hadoop集群或测试依赖于重要Hadoop功能的非Java程序的情况,这很有用。

Hadoop Tarball

您应该能够从该发行版中获取Hadoop tarball。另外,您可以直接从源代码创建一个tarball:

$ mvn全新安装-DskipTests
$ mvn软件包-Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意:您将需要安装协议2.5.0

压缩包应在hadoop-dist / target /目录中可用。

运行MiniCluster

在解压缩的tarball的根目录中,可以使用以下命令启动CLI MiniCluster:

$ bin / mapred minicluster -rmport RM_PORT -jhsport JHS_PORT

在上面的示例命令中,应将RM_PORTJHS_PORT替换为用户选择的这些端口号。如果未指定,将使用随机空闲端口。

用户可以使用许多命令行参数来控制启动哪些服务以及传递其他配置属性。可用的命令行参数:

$ -D <property = value>传递给配置对象的选项
$ -datanodes <arg>要启动的数据节点数(默认为1)
$ -format格式化DFS(默认为false)
$ -help打印选项帮助。
$ -jhsport <arg> JobHistoryServer端口(默认0-我们选择)
$ -namenode <arg>名称节点的URL(默认为DFS
$群集或临时目录)
$ -nnport <arg> NameNode端口(默认为0-我们选择)
$ -nnhttpport <arg> NameNode HTTP端口(默认为0-我们选择)
$ -nodemanagers <arg>要启动多少个节点管理器(默认为1)
$ -nodfs不要启动小型DFS集群
$ -nomr不要启动迷你MR群集
$ -rmport <arg> ResourceManager端口(默认0-我们选择)
$ -writeConfig <路径>将配置保存到此XML文件。
$ -writeDetails <path>将基本信息写入此JSON文件。

要显示可用参数的完整列表,用户可以将-help参数传递给上述命令。