第一范文网 - 专业文章范例文档资料分享平台

Centos7安装和配置hadoop2.7.3的流程和总结

来源:用户分享 时间:2025/8/9 9:12:04 本文由loading 分享 下载这篇文档手机版
说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:xxxxxxx或QQ:xxxxxx 处理(尽可能给您提供完整文档),感谢您的支持与谅解。

4) 停止命令,依次执行:sbin/stop-dfs.sh、sbin/stop-yarn.sh

至此,hadoop配置完成了。

四、Hadoop入门之HelloWorld程序

摘要:初步接触Hadoop,必不可少的就是运行属于Hadoop的Helloworld程序——wordcount,统计文件中各单词的数目。安装好的Hadoop集群上已有相应的程序。我们来验证一下。

4.1准备数据

在/home/hadoop下创建file文件夹,里面生成file1.txt,file2.txt,file3.txt,file4.txt四个文件

4.2然后把数据put到HDFS里

4.3进入hadoop-mapreduce-examples-2.7.3.jar所在文件夹,使用pwd输出当前目录的路径

4.4在/home/hadoop/hadoop-2.7.3目录下执行命令:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output2

INFO mapreduce.Job: Job job_1480100450381_0001 completed successfully

意味着运行成功,否则就要根据出错信息或者日志排错。其中,/output2是执行结果输出目录(因为之前已经存在了output文件夹了),到此,HelloWorld就顺利执行了,你可以用hadoopfs -cat /output2/part-r-*命令来查看结果.

4.5结果如下:

查看之前的文件内容,对比上图的结果。

五、引用来源

提示:从安装到配置再到成功运行hadoop的wordcount程序,借鉴了来自以下网页中的智慧,根据实际情况稍做修改。在此表示感谢! 1、CentOS7安装

Hadoop2.7完整流程 - OPEN 开发经验库

http://www.open-open.com/lib/view/open1435761287778.html 2、CentOS 7.1下SSH远程登录服务器详解 http://www.linuxidc.com/Linux/2016-03/129204.htm 3、ssh连接失败,排错经验

http://www.cnblogs.com/starof/p/4709805.html 4、CentOS7安装Hadoop2.7完整步骤

http://www.linuxidc.com/Linux/2015-11/124800.htm 5、CentOS上JDK的安装与环境变量的配置 http://blog.csdn.net/jcncsdn/article/details/51044177 6、CentOS7.0分布式安装HADOOP 2.6.0笔记 http://www.dataguru.cn/thread-495508-1-1.html 7、hadoop自带例子程序wordcount详解 https://my.oschina.net/osandy/blog/413227

8、CentOS7中安装Hadoop2.6.4,能够正常启动,但datanode的数目为0的解决方法

http://blog.csdn.net/fireblue1990/article/details/51096350 9、集群配置虚拟主机及部署Hadoop集群碰到的问题 http://www.cnblogs.com/Su-30MKK/p/5578569.html 10、Hadoop在master查看live nodes为0解决方案 http://www.linuxidc.com/Linux/2012-03/57749.htm 11、hadoop环境报failed on connection exception http://blog.csdn.net/wqetfg/article/details/50715541 12、hadoop节点nodemanager启动失败原因小结~ http://blog.csdn.net/ling811/article/details/51887569 13、Hadoop实战之三~ Hello World

http://www.cnblogs.com/HouZhiHouJueBlogs/p/3977826.html 14、CentOS安装jdk的三种方法

http://www.mamicode.com/info-detail-613410.html

15、利用SecureCRT上传、下载文件(使用sz与rz命令),超实用! http://blog.csdn.net/lioncode/article/details/7921525 16、vi编辑文件的命令

Centos7安装和配置hadoop2.7.3的流程和总结.doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印
本文链接:https://www.diyifanwen.net/c5139z18fti0sr9z0p01l1xu1x81dzc00o8i_4.html(转载请注明文章来源)
热门推荐
Copyright © 2012-2023 第一范文网 版权所有 免责声明 | 联系我们
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ:xxxxxx 邮箱:xxxxxx@qq.com
渝ICP备2023013149号
Top