《大数据技术实战案例教程》实验指导书-实验1部署全分布模式Hadoop集群.docx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《《大数据技术实战案例教程》实验指导书-实验1部署全分布模式Hadoop集群.docx》由用户(momomo)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大数据技术实战案例教程 数据 技术 实战 案例 教程 课件 实验 指导书 部署 分布 模式 Hadoop 集群
- 资源描述:
-
1、大数据技术实战案例教程实验指导书 实验1部署全分布模式Hadoop集群实验1 部署全分布模式Hadoop集群1.1 实验目的1. 熟练掌握Linux基本命令。2. 掌握静态IP地址的配置、主机名和域名映射的修改。3. 掌握Linux环境下Java的安装、环境变量的配置、Java基本命令的使用。4. 理解为何需要配置SSH免密登录,掌握Linux环境下SSH的安装、免密登录的配置。5. 熟练掌握在Linux环境下部署全分布模式Hadoop集群。1.2 实验环境本实验所需的软硬件环境包括PC、VMware Workstation Pro、CentOS安装包、Oracle JDK安装包、Hadoop
2、安装包。1.3 实验内容1. 规划部署。2. 准备机器。3. 准备软件环境:配置静态IP;修改主机名;编辑域名映射;安装和配置Java;安装和配置SSH免密登录。4. 获取和安装Hadoop。5. 配置全分布模式Hadoop集群。6. 关闭防火墙。7. 格式化文件系统。8. 启动和验证Hadoop。9. 关闭Hadoop。1.4 实验原理1.4.1 Linux基本命令Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议,它支持32位和64位硬件。Linux继承了
3、Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991年10月5日。Linux存在着许多不同的版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。严格来讲,Linux这个词本身只表示Linux内核,但实际上人们已经习惯用Linux来形容整个基于Linux内核且使用GNU工程各种工具和数据库的操作系统。此处将介绍实验中涉及到的一些Linux操作系统的基本命令。1)查看当前目录pwd命令用于显示当前目录,效果如下所示。xuluhuilocalhost $
4、 pwd/home/xuluhui2)切换目录cd命令用来切换目录,效果如下所示。xuluhuilocalhost $ cd /usr/localxuluhuilocalhost local$ pwd/usr/local3)罗列文件ls命令用于查看文件与目录,效果如下所示。xuluhuilocalhost $ lsDesktop Documents Downloads Music Pictures Public Templates Videos4)创建目录mkdir命令用于创建目录,效果如下所示。xuluhuilocalhost $ mkdir TestDataxuluhuilocalhost
5、 $ lsDesktop Downloads Pictures Templates VideosDocuments Music Public TestData5)拷贝文件或目录cp命令用于拷贝文件,若拷贝的对象为目录,则需要使用-r参数,效果如下所示。xuluhuilocalhost $ cp -r TestData TestData2xuluhuilocalhost $ lsDesktop Downloads Pictures Templates TestData2Documents Music Public TestData Videos6)移动或重命名文件或目录mv命令用于移动文件,在实
6、际使用中,也常用于重命名文件或目录,效果如下所示。xuluhuilocalhost $ mv TestData2 TestDataxlhxuluhuilocalhost $ lsDesktop Downloads Pictures Templates TestDataxlhDocuments Music Public TestData Videos7)删除文件或目录rm命令用于删除文件,若删除的对象为目录,则需要使用-r参数,效果如下所示。xuluhuilocalhost $ rm -rf TestDataxlhxuluhuilocalhost $ lsDesktop Downloads Pi
7、ctures Templates VideosDocuments Music Public TestData8)查看进程ps命令用于显示当前运行中进程的相关信息,效果如下所示。xuluhuilocalhost $ ps PID TTY TIME CMD 69780 pts/0 00:00:00 bash 71680 pts/0 00:00:00 ps9)压缩与解压文件tar命令用于文件压缩与解压,参数中的c表示压缩,x表示解压缩,效果如下所示。rootlocalhost local# tar -zxvf /home/xuluhui/Downloads/hadoop-2.9.2.tar.gz10
8、)查看文件内容cat命令用于查看文件内容,效果如下所示。xuluhuilocalhost # cat /usr/local/hadoop-2.9.2/etc/hadoop/core-site.xml11)查看机器IP配置ip address命令用于查看机器IP配置,效果如下所示。xuluhuilocalhost $ ip address1: lo: mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127
9、.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 :1/128 scope host valid_lft forever preferred_lft forever2: ens33: mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:6d:5d:c9 brd ff:ff:ff:ff:ff:ff inet 192.168.18.128/24 brd 192.168.18.255 scope global
10、 noprefixroute dynamic ens33 valid_lft 1795sec preferred_lft 1795sec inet6 fe80:6bb8:6e80:d029:10f2/64 scope link noprefixroute valid_lft forever preferred_lft forever3: virbr0: mtu 1500 qdisc noqueue state DOWN group default qlen 1000 link/ether 52:54:00:0b:74:1b brd ff:ff:ff:ff:ff:ff inet 192.168.
11、122.1/24 brd 192.168.122.255 scope global virbr0 valid_lft forever preferred_lft forever4: virbr0-nic: mtu 1500 qdisc pfifo_fast master virbr0 state DOWN group default qlen 1000 link/ether 52:54:00:0b:74:1b brd ff:ff:ff:ff:ff:ffifconfig命令也可用于查看机器IP配置,效果如下所示。xuluhuilocalhost $ ifconfigens33: flags=41
12、63 mtu 1500 inet 192.168.18.128 netmask 255.255.255.0 broadcast 192.168.18.255 inet6 fe80:6bb8:6e80:d029:10f2 prefixlen 64 scopeid 0x20 ether 00:0c:29:6d:5d:c9 txqueuelen 1000 (Ethernet) RX packets 11319 bytes 732632 (715.4 KiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 492 bytes 51674 (50
13、.4 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0lo: flags=73 mtu 65536 inet 127.0.0.1 netmask 255.0.0.0 inet6 :1 prefixlen 128 scopeid 0x10 loop txqueuelen 1000 (Local Loopback) RX packets 2228 bytes 193268 (188.7 KiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 2228 bytes 193
14、268 (188.7 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0virbr0: flags=4099 mtu 1500 inet 192.168.122.1 netmask 255.255.255.0 broadcast 192.168.122.255 ether 52:54:00:0b:74:1b txqueuelen 1000 (Ethernet) RX packets 0 bytes 0 (0.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 0
15、bytes 0 (0.0 B) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 01.4.2 vim编辑器vim是一个类似于vi的著名的功能强大、高度可定制的文本编辑器,在vi的基础上改进和增加了很多特性,vim是vi的加强版,比vi更容易使用,vi的命令几乎全部都可以在vim上使用。vi/vim共分为三种工作模式:命令模式(Command mode)、输入模式(Insert mode)和末行模式(Last line mode)。用户刚刚启动vi/vim,便进入了命令模式,此状态下敲击键盘动作会被vim识别为命令,而非输入字符,命令模
16、式下是常用的几个命令包括:“i”切换到输入模式,以输入字符;“x”删除当前光标所在处的字符;“:”切换到末行模式,以在最底端一行输入命令。在命令模式下按下“i”就进入了输入模式,在输入模式中,可以使用若干按键完成相应任务,例如字符按键以及Shift组合,输入字符;Insert按键切换光标为输入/替换模式,光标将变成竖线/下划线;ESC按键退出输入模式,切换到命令模式等。在命令模式下按下“:”(英文冒号)就进入末行模式,末行模式下可以输入单个或多个字符的命令,可用的命令非常多,例“q”可以退出程序,“w”用于保存文件等,按ESC键可随时退出末行模式。vi/vim三种工作模式的转换如图1-1所示。
17、命令模式输入模式末行模式输入i,a,oESC键:ESC键vi/vim 文件名进入:wq保存退出图1-1 vi/vim三种工作模式vim是实验中用到最多的文件编辑命令。在命令行输入“vim 文件名”后,默认进入“命令模式”,不可编辑文档,需按“i”键,方可编辑文档,编辑结束后,需按“ESC”键,先退回命令模式,再按“:”进入末行模式,接着输入“wq”方可保存退出。1.4.3 Java基本命令在安装和配置Java后,可以使用Java命令来编译、运行或者打包Java程序。1)查看Java版本rootlocalhost # java -versionjava version 1.8.0_191Java
18、(TM) SE Runtime Environment (build 1.8.0_191-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)2)查看当前所有Java进程jps(Java Virtual Machine Process Status Tool)是Java提供的一个显示当前所有Java进程pid的命令,适合在linux/unix平台上简单察看当前Java进程的一些简单情况,如下所示。rootlocalhost $ jps11973 Jps3)编译Java程序rootlocalhost # java
19、c HelloWorld.java4)运行Java程序rootlocalhost # java HelloWorldWelcome to Java.5)打包Java程序rootlocalhost # jar -cvf HelloWorld.jar HelloWorld.classadded manifestadding: HelloWorld.class(in = 430) (out= 295)(deflated 31%)由于打包时并没有指定manifest文件,因此该jar包无法直接运行,如下所示。rootlocalhost # java -jar HelloWorld.jarno main
20、 manifest attribute, in HelloWorld.jar6)打包携带manifest文件的Java程序manifest.mf文件用于描述整个Java项目,最常用的功能是指定项目的入口类,新建文件“manifest.mf”,文件内容输入“Main-Class: HelloWorld”。rootlocalhost # vim manifest.mf打包时,加入-m参数,并指定manifest文件名。rootlocalhost # jar -cvfm HelloWorld.jar manifest.mf HelloWorld.classadded manifestadding:
21、HelloWorld.class(in = 430) (out= 295)(deflated 31%)7)运行jar包可使用“java”命令直接运行jar包。rootlocalhost # java -jar HelloWorld.jarWelcome to Java.1.4.4 SSH安全通信协议对于远程管理其它机器,一般使用远程桌面或者telnet。Linux安装时自带了telnet,但是telnet的缺点是通信不加密,存在不安全因素,只适合内网访问。为解决这个问题,推出了安全通信协议即SSH(Secure Shell),通过SSH可以安全地进行网络数据传输,这得益于SSH采用的是非对称加
22、密体系,传输内容使用RSA或者DSA加密,可以避免网络窃听。非对称加密的工作流程包括以下几个步骤:服务端接受到远程客户端登陆请求,将自己的公钥发送给客户端;客户端利用这个公钥对数据进行加密;客户端将加密的信息发送给服务端;服务端利用自己的私钥进行解密,验证其合法性;验证结果返回客户端响应。不过需要注意的是,Hadoop并不是通过SSH协议进行数据传输的,而是Hadoop控制脚本需要依赖SSH来执行针对整个集群的操作。Hadoop在启动和停止HDFS、YARN的时候,需要主节点上的进程通过SSH协议启动或停止从节点上的各种守护进程。也就是说如果不配置SSH免密登录对Hadoop的使用没有任何影响
展开阅读全文