Hadoop：CLI MiniCluster。

目的

使用 CLI MiniCluster，用户只需一个命令即可轻松启动和停止单节点 Hadoop 集群，而无需设置任何环境变量或管理配置文件。CLI MiniCluster 同时启动YARN/MapReduce 和 HDFS 集群。

这对于用户希望快速试验真正的 Hadoop 集群或测试依赖于重要 Hadoop 功能的非 Java 程序的情况非常有用。

Hadoop Tarball

您应该能够从发行版中获取 Hadoop tarball。此外，您还可以直接从源代码创建 tarball

$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意：您需要安装 protoc 2.5.0。

tarball 应位于 hadoop-dist/target/ 目录中。

运行 MiniCluster

在解压后的 tarball 的根目录中，您可以使用以下命令启动 CLI MiniCluster

$ bin/mapred minicluster -rmport RM_PORT -jhsport JHS_PORT

在上面的示例命令中，RM_PORT 和 JHS_PORT 应替换为用户选择的这些端口号。如果未指定，将使用随机空闲端口。

用户可以使用许多命令行参数来控制要启动哪些服务，并传递其他配置属性。可用的命令行参数

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       How many datanodes to start (default 1)
$ -format                Format the DFS (default false)
$ -help                  Prints option help.
$ -jhsport <arg>         JobHistoryServer port (default 0--we choose)
$ -namenode <arg>        URL of the namenode (default is either the DFS
$                        cluster or a temporary dir)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nnhttpport <arg>      NameNode HTTP port (default 0--we choose)
$ -nodemanagers <arg>    How many nodemanagers to start (default 1)
$ -nodfs                 Don't start a mini DFS cluster
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager port (default 0--we choose)
$ -writeConfig <path>    Save configuration to this XML file.
$ -writeDetails <path>   Write basic information to this JSON file.

要显示可用参数的完整列表，用户可以将 -help 参数传递给上述命令。