Hadoop伪分布式模式安装

2021年11月24日 阅读数:11
这篇文章主要向大家介绍Hadoop伪分布式模式安装,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

Hadoop伪分布式模式安装java

实验环境node

·操做机:Windows 7linux

实验工具shell

·Web浏览器:经常使用的有谷歌浏览器,火狐浏览器等apache

·Xshell6:是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。segmentfault

·Xftp6:是一个功能强大的SFTP、FTP 文件传输软件。centos

·VMware Workstation Pro:是一款功能强大的桌面虚拟计算机软件。浏览器

实验内容安全

Hadoop单节点伪分布式就是在一台主机模拟多主机,NameNode,DataNode,JobTracker,TaskTracker这些守护进程都在同一台机器上运行,是相互独立的java进程。网络

本实验经过单节点的虚拟机环境,进行hadoop伪分布式的搭建,从虚拟机的搭建,再到hadoop环境的配置。

实验步骤

1.虚拟机的配置

(1)右击网络图标,点击打开网络和共享中心

图片.png

(2)点击更改适配器设置,右击VMnet8属性,打开VMnet8的适配器设置查看ipv4地址

图片.png
(3)点击Internet协议版本4(TCP/IPv4),选择属性,查看IP地址

图片.png

(4)打开Vmware点击 编辑->虚拟网络编辑器

图片.png

(5)点击VMnet8.将子网地址设置和本地在同一个网段

图片.png

(6)点击NAT设置网关为同一个网段:
图片.png
须要记住:

子网掩码:255.255.255.0

网关:192.168.129.2

(7)下载CentOS 7镜像文件

http://mirror.lzu.edu.cn/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso

2.建立虚拟机

(1)打开VMware Workstation->文件->新建虚拟机

图片.png
(2)选择典型(推荐)点击下一步
图片.png

(3)选择刚下载好的CentOS.iso文件做为安装程序光盘映像文件,点击下一步

图片.png

(4)修改虚拟机名称,修改虚拟机安装位置(名称、位置随意),点击下一步

图片.png
(5)默认最大磁盘大小20.0GB,下一步;点击完成,打开虚拟机。

注(未出现错误跳过这部):打开虚拟机时若出现以下错误:

图片.png

重启按F1(联想台式机)进入BIOS界面将在Security中找到Intel (R) Virtualization Technology,将它设置成Enabled(开启)

图片.png

(6)设置虚拟机中的网络适配器,选择自定义VMnet8(NAT模式)

图片.png

(7)开启虚拟机后选择安装CentOS 7,回车后等待一分钟。

图片.png

(8)出现以下界面,选择English语言,点击Continue

图片.png

(9)点击INSTALLATION DESTINA TION

图片.png

(10)默认选项,点击Done退出

(11)点击Begin Installation后出现

图片.png

(12)分别点击进去设置root帐户密码和普通帐户

图片.png

(13)点击Done退出等待安装(几分钟),完成后重启

(14)使用用户名root,密码123456(前面设置的)登录

图片.png

3.虚拟机配置

(1)关闭防火墙

systemctl stop firewalld.service

关闭开机启动防火墙

systemctl disable firewalld.service

图片.png
(2)配置网络

cd /etc/sysconfig/network-scripts/

vi ifcfg-ens33
图片.png

修改数据:

BOOTPROTO=static            ### 手动设置IP
#UUID=...                   ### 注释掉UUID方便后面clone虚拟机
IPADDR=192.168.129.100        ### 本机IP 为 192.168.2.100
NETMASK=255.255.255.0       ### 子网掩码
GATEWAY=192.168.129.2         ### 默认网关 对应咱们NAT设置里查看的网关IP
DNS1=8.8.8.8                ### DNS 设置为Google的
ONBOOT=yes                  ### 开机启动

图片.png

(3)重启网络

/etc/init.d/network restart

图片.png

(4)测试网络

ping www.baidu.com

图片.png

4.使用xshell和xftp链接虚拟机

(1)下载xshell和xftp,下载地址:https://www.netsarang.com/zh/...

(2)打开下载好的xshell,链接虚拟机,点击文件->新建,填写主机ip地址,
图片.png
图片.png

(3)双击新建的会话

图片.png
图片.png

5.安装jdk,hadoop

(1)使用下载好的xftp链接虚拟机,点击文件->新建

(2)输入主机地址,用户名密码,点击确认

图片.png
(3)点击新建立的回话,链接

图片.png
(4)JDK下载地址:

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

(5)hadoop下载地址:

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

(6)将下载好的jdk,hadoop直接拖到新建会话中

图片.png

(7)能够在xshell中看到上传的文件

图片.png
(8)在/opt/下建立soft文件夹来安装的软件,将jdk、hadoop解压到/opt/soft

tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/soft/

tar -zxvf hadoop-2.7.7.tar.gz -C /opt/soft/

图片.png

(9)修改环境变量:

vi /etc/profile

(10)在文件最后添加:

图片.png

(11)刷新配置文件

source /etc/profile

(12)查看jdk、hadoop版本

图片.png
图片.png

(13)修改主机名:

hostnamectl set-hostname hadoop1

图片.png

(14)添加地址与主机名的映射

vi /etc/hosts

图片.png

(15)设置免密:

图片.png

图片.png

6.修改hadoop配置

(1)在hadoop2.7.7文件下建立tmp name data三个文件夹

图片.png

(2)修改配置文件

cd /opt/soft/hadoop-2.7.7/etc/hadoop

vi hadoop-env.sh

找到以下内容修改JAVA_HOME:

图片.png

(3)修改core-site.xml

图片.png

(4)修改hdfs-site.xml

图片.png
(5)修改mapred-site.xml

先修更名字:

mv mapred-site.xml.template mapred-site.xml

再修改mapred-site.xml配置

图片.png

(6)修改yarn-site.xml

图片.png

7.启动hadoop

(1)第一次启动须要格式化,在hadoop-2.7.7目录下:

./bin/hdfs namenode -format

图片.png

图片.png

(2)启动hdfs

图片.png

(3)启动yarn

图片.png

8.测试hadoop

(1)启动完成,经过浏览器测试hdfs:输入192.168.129.100:50070
图片.png

(2)测试yarn:输入192.168.129.100:8088

图片.png