Hadoop运行环境搭建

软件：VMware Workstationn

搭建环境：CentOS-7.5-x86-1804、jdk1.8.0_212、hadoop-3.1.3。思路：先搭建好一个虚拟机模板环境hadoop100，然后克隆出hadoop102、hadoop103、hadoop104三台机器做后续的hadoop集群、脚本分发、主机名访问等等。

虚拟机的安装这里不赘述，自己网上查教程，关于IP要以自己的局域网实际情况修改，虚拟机的网络的连接方式我是桥接，因为虚拟机我是部署在台式上，笔记本要访问。

主机名	IP	说明
hadoop100	192.168.31.100	虚拟机模版
hadoop102	192.168.31.102
Hadoop103	192.168.31.103
Hadoop104	192.168.31.104

以下是hadoop100的环境安装一些笔记：

虚拟机模板环境准备

安装模板虚拟机hadoop100，IP地址192.168.31.100、主机名称hadoop100、内存4G、硬盘50G。

1. 使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况：

   [wenwl@hadoop102 ~]$ ping www.baidu.com
   PING www.a.shifen.com (183.2.172.185) 56(84) bytes of data.
   64 bytes from 183.2.172.185 (183.2.172.185): icmp_seq=1 ttl=52 time=7.17 ms
   

2. 安装epel-release，Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

   yum install -y epel-release
   

3. 如果Linux安装的是最小系统版，还需要安装如下工具，如果安装的是Linux桌面标准版，不需要执行如下操作：

   yum install -y net-tools
   yum install -y vim
   

4. 关闭防火墙，关闭防火墙开机自启。在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

   systemctl stop firewalld
   systemctl disable firewalld.service
   

5. 创建你的用户，并修改用户的密码, 如果在安装CentOS就配置了，可以忽略。

   useradd wenwl
   passwd 123456
   

6. 配置你的用户，使其具有root权限，方便后期加sudo执行root权限的命令：

   vim /etc/sudoers
   

   修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：

   ## Allow root to run any commands anywhere
   root    ALL=(ALL)     ALL
   
   ## Allows people in group wheel to run all commands
   %wheel  ALL=(ALL)       ALL
   wenwl   ALL=(ALL)     NOPASSWD:ALL
   

   注意：wenwl这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以wenwl要放到%wheel这行下面。

7. 软件目录建议，在/opt目录下创建module、software文件夹

   • module：存放安装的软件
   • software：存放软件的压缩包

   mkdir /opt/module
   mkdir /opt/software
   

   修改module、software文件夹的所有者和所属组均为wenwl用户

   chown wenwl:wenwl /opt/module
   chown wenwl:wenwl /opt/software
   

8. 卸载虚拟机自带的JDK，如果你的系统是最小化安装不需要执行这一步

   rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
   

   • rpm -qa：查询所安装的所有rpm软件包
   • grep -i：忽略大小写
   • xargs -n1：表示每次只传递一个参数
   • rpm -e –nodeps：强制卸载软件

9. 修改主机名称映射hosts文件：

   vim /etc/hosts
   

   添加以下映射（以自己的网络配置实际情况修改）：

   192.168.31.100 hadoop100
   192.168.31.101 hadoop101
   192.168.31.102 hadoop102
   192.168.31.103 hadoop103
   192.168.31.104 hadoop104
   192.168.31.105 hadoop105
   192.168.31.106 hadoop106
   192.168.31.107 hadoop107
   192.168.31.108 hadoop108
   

10. 重启虚拟机

    reboot
    
    

克隆虚拟机

1. 利用模板机hadoop100，克隆三台虚拟机：hadoop102、hadoop103、hadoop104

2. 改克隆机IP，注意以自己的网络实际情况修改，以hadoop102举例说明：

   vim /etc/sysconfig/network-scripts/ifcfg-ens33
   

   改成：

   DEVICE=ens33
   TYPE=Ethernet
   ONBOOT=yes
   BOOTPROTO=static
   NAME="ens33"
   IPADDR=192.168.31.102
   PREFIX=24
   GATEWAY=192.168.31.1
   DNS1=192.168.31.1
   

3. 修改克隆机主机名，以hadoop102举例说明：

   vim /etc/hostname
   hadoop102
   

4. 重启克隆机，reboot

Hadoop102安装JDK

1. 卸载自带的JDK：

   rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
   

2. 上传下载的JDK压缩包，解压安装：

   tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
   

3. 配置JDK环境变量：

   sudo vim /etc/profile.d/my_env.sh
   

   添加如下内容：

   #JAVA_HOME
   export JAVA_HOME=/opt/module/jdk1.8.0_212
   export PATH=$PATH:$JAVA_HOME/bin
   

   保存退出后，刷新配置，让新的环境变量PATH生效：

   source /etc/profile
   

4. 测试JDK是否安装成功

   java -version
   

Hadoop102安装Hadoop

1. 下载Hadoop，并解压缩，下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

   tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
   

2. 将Hadoop添加到环境变量：

   sudo vim /etc/profile.d/my_env.sh
   

   添加如下内容：

   #HADOOP_HOME
   export HADOOP_HOME=/opt/module/hadoop-3.1.3
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin
   

   保存退出后，刷新配置，让新的环境变量PATH生效：

   source /etc/profile
   

3. 测试JDK是否安装成功

   hadoop version
   Hadoop 3.1.3
   

Hadoop目录结构

以下是hadoop目录结构的说明：

1. bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
2. etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
3. lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
4. sbin目录：存放启动或停止Hadoop相关服务的脚本
5. share目录：存放Hadoop的依赖jar包、文档、和官方案例