目录

步骤：

下载hadoop

配置环境变量

设置ssh

添加编辑开始和关闭脚本

修改配置文件

关闭防火墙

启动

来源：

hdfs的块设成一个

步骤：

下载hadoop

配置环境变量

设置ssh

原因：不管是Hadoop的伪分布还是全分布，Hadoop的名称结点（NameNode）都需要启动集群中所有机器的Hadoop守护进程，而这个过程可以通过SSH登录来实现。由于Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，就需要对其进行SSH的免密登录配置。

设置ssh分发公钥到自己的机器

(32条消息) 【Linux】ssh免密登录_岱宗夫如何、的博客-CSDN博客 

添加编辑开始和关闭脚本

如果不添加只能在hadoop的所属用户下进行运行

如下图，因为我是在atguigu用户下安装的hadoop,所属为atguigu用户，所以hadoop只能用该用户来启动

 如果用其他用户会报错

Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.

如想要所有用户都可以启动，有两种方法

1.

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

 2. 编辑开始和关闭脚本

cd hadoop-3.1.3/sbin

vim start-dfs.sh

HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 

vim stop-dfs.sh

HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 

vim start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vim stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

原因是：

To prevent accidents, shell commands be (superficially) locked to only allow certain users to execute certain subcommands.

为了防止发生意外，仅（部分）锁定shell命令以仅允许某些用户执行某些子命令。

It uses the format of (command)_(subcommand)_USER.For example, to limit who can execute the namenode command,export HDFS_NAMENODE_USER=hdfs

使用“命令_子命令_用户”，例如，通过使用export HDFS_NAMENODE_USER=hdfs来限制哪个用户可以执行namenode命令。

修改配置文件

cd /opt/module/hadoop-3.1.3/etc/hadoop

vim core-site.xml

fs.defaultFShdfs://hadoop100:8020hadoop.tmp.dir/opt/module/hadoop-3.1.3/data
hadoop.http.staticuser.useratguigu

vim hdfs-site.xml

dfs.replication1#因为搭的是伪分布式，所以值为1，全分布式这里会有不同


dfs.namenode.http-addresshadoop100:9870
dfs.namenode.secondary.http-addresshadoop100:9868

~                    

vim yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamehadoop100yarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME

vim mapred-site.xml

mapreduce.framework.nameyarn

关闭防火墙

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service
systemctl status firewalld.service

启动

hadoop namenode -format
start-all.sh
jps

来源：

尚硅谷的集群配置

Hadoop - 未定义HDFS_NAMENODE_USER、HDFS_DATANODE_USER 和HDFS_SECONDARYNAMENODE_USER - Stack Overflow

(32条消息) ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation._ssh error: but there is no hdfs_namenode_user defi_yaoshengting的博客-CSDN博客

Hadoop起步之图解SSH、免密登录原理和实现 - Kefi123 - 博客园 (cnblogs.com)