本示例基于CentOS 8操作系统，采用Apache Hadoop 3.3.6版本进行单机伪分布式集群环境搭建，它仅适用于开发或者测试环境，且不可用做生产环境。

1. 安装与配置前置条件

在安装Apache Hadoop 3.3.6 之前，我们需要安装与配置一些前置条件。

1.1 Java Development Kit (JDK)安装

Hadoop 3.3.6 建议使用 JDK 8 或更高版本，本示例采用的是“jdk-11.0.22_linux-x64_bin.tar.gz”。确保正确地安装好JDK后，并在“ /etc/profile”文件中配置好PATH参数，如下所示：

export JAVA_HOME=/usr/local/jdk-11.0.22 
export PATH=${JAVA_HOME}/bin:$PATH

执行“source /etc/profile”使配置生效，执行“java -version”检查JDK安装是否正确。

1.2 配置SSH免密登录

首先，执行下面的指令生成密钥对：

ssh-keygen -t rsa

命令执行期间，所有要求输入项都一直“回车”即可，生产成功之后如下图所示：

其次，执行下面的指令将公钥添加到“~/.ssh/authorized_keys”文件：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

添加完成之后，可以执行下面的指令查看文件中是否有密钥对：

cat ~/.ssh/authorized_keys

执行结果如下图所示：

最后，必须使用“systemctl restart sshd”命令重启ssh服务，再使用“ssh localhost"验证测试是否可以直接连接到本机。

首次执行“ssh localhost”时，如果出现是否继续连接的提示输入 “yes” 回车即可，再次“ssh localhost"验证则直接登录。

1.3 配置防火墙

本示例因为仅在内部开发与测试环境中使用，为了方便就直接关闭防火墙，如下所示：

#查看防火墙状态 
systemctl status firewalld 
#关闭防火墙 
systemctl stop firewalld 
#设置开机禁用防火墙 
systemctl disable firewalld.service

2. Hadoop下载与安装

Apache Hadoop 3.3.6可以直接去官方网站进行下载，链接地址为：https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/ ，本示例选择的是“hadoop-3.3.6.tar.gz”文件，如下图所示：

下载完成之后，执行“tar -zxvf hadoop-3.3.6.tar.gz”指令进行解压安装（本示例直接安装到“/opt”目录下），如下图所示：

解压完成，接下来就需要配置Hadoop PATH环境变量。

即执行“vim /etc/profile”命令，在 “/etc/profile” 文件中加入以下环境变量：

export HADOOP_HOME=/opt/hadoop-3.3.6 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

如下图所示：

添加完Hadoop PATH环境变量后，执行“source /etc/profile”命令使配置生效。

通过“hadoop version”命令查看安装情况，如下图所示：

3. Hadoop 文件配置

执行“cd /opt/hadoop-3.3.6/etc/hadoop”命令，进入文件目录，对相关文件进行配置修改。

3.1 core-site.xml

core-site.xml 文件用于配置 Hadoop 核心服务的相关属性，这里主要配置了如下两个配置项：

1）fs.defaultFS

定义Hadoop Master的URI和端口；

2）hadoop.tmp.dir

Hadoop 的临时目录，用于存储中间数据和日志文件。

配置示例如下所示：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.0.101:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/opt/hadoop-3.3.6/tmp</value>
</property>

3.2 hdfs-site.xml

hdfs-site.xml文件用于配置与HDFS相关属性，这里主要配置了如下三个配置项：

1）dfs.replication

指定数据块的副本数量；

2）dfs.namenode.name.dir

指定NameNode存储文件的本地目录，可以配置成多个目录用逗号隔开，且每个目录存放内容相同，通过冗余增加了可靠性；

3）dfs.datanode.data.dir

指定DataNode存储数据块的本地目录，可以配置成多个目录用逗号隔开，每个目录存储的数据不一样（数据不是副本）。

配置示例如下所示：

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/hadoop-3.3.6/data/dfs/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop-3.3.6/data/dfs/datanode</value>
</property>

3.3 mapred-site.xml

mapred-stie.xml文件用于配置与MapReduce相关属性，，这里主要配置了如下一个配置项：

1）mapreduce.framework.name

本示例设置值为“yarn”，即指定 MapReduce 程序运行在 Yarn 上, 默认是local 就是本地模式。

配置示例如下所示：

<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property>

3.4 hadoop-env.sh

配置 hadoop-env.sh，为各个角色指定相关的用户。配置示例如下所示：

export HDFS_SECONDARYNAMENODE_USER="root" 
export HDFS_NAMENODE_USER="root" 
export HDFS_DATANODE_USER="root" 
export YARN_RESOURCEMANAGER_USER="root" 
export YARN_NODEMANAGER_USER="root" 
export JAVA_HOME=/usr/local/jdk-11.0.22 
export HADOOP_HOME=/opt/hadoop-3.3.6

4. Hadoop启动与访问

4.1 HDFS格式化

首次启动Hadoop HDFS集群时，必须对主节点进行格式化处理。值得注意的是，格式化意味着集群的数据会被全部删除，因此只有首次启动才执行，之后启动HDFS就别再执行该指令了。当然，如果你考虑再重新格式化HDFS则可以执行该指令，但重新格式化前需考虑原有数据的备份或转移问题。

执行格式化指令如下：

hdfs namenode -format

执行结果如下图所示：

4.2 启动/停止

启动Hadoop，你可以通过一次执行start-all.sh进行启动，或者分别启动hdfs和yarn，如下所示：

start-all.sh 
#------------------------- 
# 启动hdfs 
start-dfs.sh 
# 启动yarn 
start-yarn.sh

停止与启动一样，你可以通过一次执行stop-all.sh进行停止，或者分别停止hdfs和yarn，如下所示：

stop-all.sh 
#------------------------- 
# 停止hdfs 
stop-dfs.sh 
# 停止yarn 
stop-yarn.sh

最后，你可以使用"jps"指令来查看相关进程的启动情况，如下图所示：

4.3 Web访问

你可以通过访问“http://IP:9870” 来查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件，如下图所示：

你还可以通过访问“http://IP:8088”来查看ResourceManager 界面，如下图所示：