物联网数据处理 - 实验指导书zx(1) - 图文

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

六、注意事项

熟悉Hadoop的配置文件。

七、预习与思考题

单机版与伪分布式的配置。

- 12 -

实验四：Hadoop初级实践（2学时）

一、实验目的与要求

1、理解 Hadoop平台运行原理。 2、熟悉wordcount程序。

二、实验类型

设计型

三、实验原理及说明

通过实际操作，使学生对Hadoop的使用有一个更深刻的理解；熟悉Hadoop的开发环境及程序结构。

四、实验仪器

安装Ubuntu系统的计算机若干台

五、实验内容和步骤

单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版\，该程序的完整代码可以在Hadoop安装包的\目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。以\用户登录Hadoop服务器。

1. 创建本地的示例数据文件：

并在这个目录下创建2个文件分别命名为【myTest1.txt】和【myTest2.txt】或者你想要的任何文件名。

- 13 -

分别在这2个文件中输入下列示例语句：

2. 在HDFS上创建输入文件夹 调出终端，输入下面指令：

$cd /usr/local/hadoop $./bin/hadoop fs -mkdir hdfsInput

执行这个命令时可能会提示类似安全的问题，如果提示了，请使用

$./bin/hadoop dfsadmin -safemode leave

来退出安全模式。

当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。

3. 上传本地file中文件到集群的hdfsInput目录下

在终端依次输入下面指令：

cd hadoop-1.2.1

$./bin/hadoop fs -put file/myTest*.txt hdfsInput

4. 运行例子：

在终端输入下面指令：

$./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount hdfsInput hdfsOutput

注意，这里的示例程序是1.2.1版本的，可能每个机器有所不一致，那么请用*通配符代替版本号

- 14 -

$./bin/hadoop jar hadoop-examples-*.jar wordcount hdfsInput hdfsOutput

应该出现下面结果：

Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：job_201202292213_0002，而且得知输入文件有两个（Total input paths to process : 2），同时还可以了解map的输入输出记录（record数及字节数），以及reduce输入输出记录。

查看HDFS上hdfsOutput目录内容：

在终端输入下面指令：

bin/hadoop fs -ls hdfsOutput

从上图中知道生成了三个文件，我们的结果在\中。

使用下面指令查看结果输出文件内容

bin/hadoop fs -cat output/part-r-00000

- 15 -