1 在虚拟机安装centos7
2 安装网络工具
centos7最小化安装没有ifconfig命令
yum -y install net-tools
3 centos7 修改网卡名字为eth0
修改网卡名字为eth0
4 修改主机名
vim /etc/sysconfig/network
NETWORKING=yesHOSTNAME=node1
最后还要分别 修改/etc/hostname
5 修改 IP 地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFROUTE="yes"IPV6_FAILURE_FATAL="no"IPV6_ADDR_GEN_MODE="stable-privacy"NAME="eth0"UUID="41203fac-73cf-4b2d-bd9d-d7c5f72d7aa8"DEVICE="eth0"ONBOOT="yes"IPADDR="192.168.73.101"NETMASK="255.255.255.0"GATEWAY="192.168.73.2"
6 设置 DNS 解析
vi /etc/resolv.conf
# Generated by NetworkManagernameserver 192.168.73.2
7 修改 hosts 文件
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.73.101 node1192.168.73.102 node2192.168.73.103 node3192.168.73.104 node4
8 将yum源改为阿里云
改变yum源为阿里云
9 安装配置JDK
9.1 检查是否已经安装
rpm -qa | grep jdk
9.2 安装JDK 包
rpm -i /PATH/TO/PACKAGE_FILE-h: 以#显示进度；每个#表示2%; -v: 显示详细过程 -vv: 更详细的过程rpm -ivh /PATH/TO/PACKAGE_FILE –nodeps: 忽略依赖关系； –replacepkgs: 重新安装，替rpm换原有安装； –force: 强行安装，可以实现重装或降级；
rpm -ivh --prefix=/usr/apps jdk-8u181-linux-x64.rpm
9.3 配置环境变量
配置环境变量：编辑/etc/profile 或者 ~/.bash_profileexport JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
9.4 让 vim 显示行号
10 克隆节点
10.1 修改新节点的IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
删掉HWADDR（物理地址）和UUID，重启系统会自动创建，根据个人情况修改成如下配置
TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFROUTE="yes"IPV6_FAILURE_FATAL="no"IPV6_ADDR_GEN_MODE="stable-privacy"NAME="eth0"DEVICE="eth0"ONBOOT="yes"IPADDR="192.168.73.102"NETMASK="255.255.255.0"GATEWAY="192.168.73.2"
10.2 修改主机名
vim /etc/sysconfig/network
# Created by anacondaNETWORKING=yesHOSTNAME=node2
10.3 其他节点进行类似的操作
11 配置免密登录
11.1 生成密钥对
ssh-keygen
11.2 将密钥对配置到node1,node2,node3,node4
12 添加hadoop 用户
四个节点同时操作
useradd hadooppasswd hadoop
12.1 为 Hadoop 用户添加sudo 权限
vim /etc/sudoers
13 配置hadoop
13.1 安装文件上传工具
yum -y install lrzsz
13.2 在 /home/hadoop 目录下新建apps 文件夹，将源码压缩包上传
13.3 解压
tar -zxvf hadoop-2.7.6.tar.gz
13.4 配置 hadoop 环境变量
sudo vim /etc/profile
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
将配置文件拷贝到node2,node3,node4
sudo scp /etc/profile node2:/etc/
同时操作所有节点，重新加载配置文件
source /etc/profile
13.5 配置各类 xml 文件
配置文件所在目录/home/hadoop/apps/hadoop-2.7.6/etc/hadoop
13.5.1 配置hadoop-env.sh
13.5.2 配置core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hdpdata</value></property></configuration>
13.5.3 配置hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>2</value></property></configuration>
13.5.4 配置mapred-site.xml.template
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
重命名mv mapred-site.xml.template mapred-site.xml
13.5.5 配置yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
13.6 一键启动配置
/home/hadoop/apps/hadoop-2.7.6/etc/hadoop/slaves
node2node3node4
13.7 把配置文件分发到各个节点
scp -r apps node2:/home/hadoop/
13.8 格式化 NameNode
hadoop namenode -format
13.9 测试安装
13.9.1 启动HDFSstart-dfs.sh
发现报错：
[hadoop@node1 ~]$ start-dfs.shStarting namenodes on [node1]node1: chown: changing ownership of ‘/home/hadoop/apps/hadoop-2.7.6/logs’: Operation not permittednode1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop-namenode-node1.outnode1: /home/hadoop/apps/hadoop-2.7.6/sbin/hadoop-daemon.sh: line 159: /home/hadoop/apps/hadoop-2.7.6/logs/hadoop-hadoop-namenode-node1.out: Permission denied
解决方法：将hadoop主目录授权给当前用户(各节点都操作一次)
sudo chown -R hadoop /home/hadoop
再次启动hdfs
13.9.2 启动YARN
13.9.3 网页管理界面
将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件
前提要关闭 节点上的防火墙，关闭防火墙开机启动 centos7关闭防火墙
启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld 开机禁用 ： systemctl disable firewalld开机启用 ： systemctl enable firewalld
HDFS管理界面http://node1:50070
Mapreduce 管理界面http://node1:8088
