4) 停止命令,依次执行:sbin/stop-dfs.sh、sbin/stop-yarn.sh
至此,hadoop配置完成了。
四、Hadoop入门之HelloWorld程序
摘要:初步接触Hadoop,必不可少的就是运行属于Hadoop的Helloworld程序——wordcount,统计文件中各单词的数目。安装好的Hadoop集群上已有相应的程序。我们来验证一下。
4.1准备数据
在/home/hadoop下创建file文件夹,里面生成file1.txt,file2.txt,file3.txt,file4.txt四个文件
4.2然后把数据put到HDFS里
4.3进入hadoop-mapreduce-examples-2.7.3.jar所在文件夹,使用pwd输出当前目录的路径
4.4在/home/hadoop/hadoop-2.7.3目录下执行命令:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output2
INFO mapreduce.Job: Job job_1480100450381_0001 completed successfully
意味着运行成功,否则就要根据出错信息或者日志排错。其中,/output2是执行结果输出目录(因为之前已经存在了output文件夹了),到此,HelloWorld就顺利执行了,你可以用hadoopfs -cat /output2/part-r-*命令来查看结果.
4.5结果如下:
查看之前的文件内容,对比上图的结果。
五、引用来源
提示:从安装到配置再到成功运行hadoop的wordcount程序,借鉴了来自以下网页中的智慧,根据实际情况稍做修改。在此表示感谢! 1、CentOS7安装
Hadoop2.7完整流程 - OPEN 开发经验库
http://www.open-open.com/lib/view/open1435761287778.html 2、CentOS 7.1下SSH远程登录服务器详解 http://www.linuxidc.com/Linux/2016-03/129204.htm 3、ssh连接失败,排错经验
http://www.cnblogs.com/starof/p/4709805.html 4、CentOS7安装Hadoop2.7完整步骤
http://www.linuxidc.com/Linux/2015-11/124800.htm 5、CentOS上JDK的安装与环境变量的配置 http://blog.csdn.net/jcncsdn/article/details/51044177 6、CentOS7.0分布式安装HADOOP 2.6.0笔记 http://www.dataguru.cn/thread-495508-1-1.html 7、hadoop自带例子程序wordcount详解 https://my.oschina.net/osandy/blog/413227
8、CentOS7中安装Hadoop2.6.4,能够正常启动,但datanode的数目为0的解决方法
http://blog.csdn.net/fireblue1990/article/details/51096350 9、集群配置虚拟主机及部署Hadoop集群碰到的问题 http://www.cnblogs.com/Su-30MKK/p/5578569.html 10、Hadoop在master查看live nodes为0解决方案 http://www.linuxidc.com/Linux/2012-03/57749.htm 11、hadoop环境报failed on connection exception http://blog.csdn.net/wqetfg/article/details/50715541 12、hadoop节点nodemanager启动失败原因小结~ http://blog.csdn.net/ling811/article/details/51887569 13、Hadoop实战之三~ Hello World
http://www.cnblogs.com/HouZhiHouJueBlogs/p/3977826.html 14、CentOS安装jdk的三种方法
http://www.mamicode.com/info-detail-613410.html
15、利用SecureCRT上传、下载文件(使用sz与rz命令),超实用! http://blog.csdn.net/lioncode/article/details/7921525 16、vi编辑文件的命令
相关推荐: