HDFS学习笔记

sudo -u hdfs hdfs oev -i edits_inprogress_0000000000000000522 -o ./edit.xml -p XML 最新传的文件access_log元数据信息在里面

这个时候fsimage里面还没有文件access_log元数据信息 说明：

1、写?editlog 2、读?fsimage

重启HDFS服务

查看hdfs是否处于安全模式

sudo -u hdfs hdfs dfsadmin -safemode get

ls –lrt，可以看到fsimage更新

此时再导出fsimage元数据信息，access_log在里面了 说明editlog与fsimage合并

元数据保护

视频中配置文件是这样的

我们是这样的

？我的节点没有hadoop-hdfs-namenode服务（因为管理方式不同）

以上实验可以这样做： 1、在CM中添加nn2

2、再重启此NameNode

3、nn2这个目录就出现了

查看块大小

客户优先级最高的配置：vim /etc/hadoop/conf/hdfs-site.xml

dfs.blocksize 134217728

块最小值：1048576 http://elephant:50070

Browse Directory—uitilities—Browse the file system

Sqoop实验

Oracle官网下载mysql-connector-java-5.1.40.tar.gz，解压并将mysql-connector-java-5.1.40-bin.jar拷贝到目录monkey:/usr/lib/sqoop

elephant、monkey主机安装mysql客户端： yum install mysql

monkey主机安装mysql 服务器端：

yum install mysql-server yum install mysql-devel 数据库字符集设置

mysql配置文件/etc/my.cnf中加入default-character-set=utf8 启动mysql服务：

service mysqld start或者/etc/init.d/mysqld start 创建root管理员：

mysqladmin -u root password 123456 登录：

mysql -u root -p输入密码123456即可

授权在elephant主机可以登录monkey节点的mysql-server端

GRANT ALL PRIVILEGES ON *.* TO 'root'@'elephant' IDENTIFIED BY '123456' WITH GRANT OPTION;

创建数据库

create database testDB; 创建用户

CREATE USER 'enmoedu'@'192.169.91.130' IDENTIFIED BY '123456'; 授权

grant all privileges on testDB.* to 'enmoedu'@'monkey' identified by '123456'; grant all privileges on testDB.* to 'enmoedu'@'elephant' identified by '123456';

flush privileges;

在monkey节点enmoedu登录： use testDB;

创建表并insert几条记录

create table book(isbn char(20), title varchar(100) not null, price numeric(6,2) not null, press varchar(100), year int not null, stock int default 0, primary key(isbn), check(stock >=0))

insert into book values('7-04-011049-0','数据库系统概念',59.50,'高等教育出版社',2002,5);

insert into book values('7-111-14111-3','高效程序的奥秘',28.50,'机械工业出版社',2004,0); 加一行

insert into book values('7-04-010095-9','C语言程序设计',54.50,'高等教育出版社',2001,7);

describe book;

再验证下在elephant节点登录

导出：

sqoop import-all-tables -m 12 --connect jdbc:mysql://monkey:3306/testDB --username=enmoedu --password=123456 --compression-codec=snappy --as-avrodatafile --warehouse-dir=/user/enmoedu/sqooptest