Hadoop与大数据的关系
1、HDFS+MapReduce 2、大数据生态系统
何谓大数据之大？多大称得上大？ 打孔纸带（西文字符集）?
磁盘设备（顺序存，缺点：碎片不能利用）?
文件系统（有效的管理，磁盘/分区/FS，有的应用不用FS，如Oracle的ASM直接管理裸盘，缺点：并发性/安全性问题）? 数据库（信息建立一个联系），层次型(二叉树，单向指针)/网络型(复杂，层次式+双向)/关系型(IBM理论?论文?Oracle，最大数据量百T级别，数据量大到RDBMS处理不了)? 大数据平台（DFS+Nosql）
Doug Cutting?Cloudera，很多组件的发明者都在Cloudera这家公司
不同文件系统支持的文件大小：
?在hdfs 上创建enmoedu用户的家目录
hadoop fs -ls
ls: `.': No such file or directory
创建家目录
sudo -u hdfs hadoop fs -mkdir /user/enmoedu 修改权限
sudo -u hdfs hadoop fs -chown -R enmoedu:enmoedu /user/enmoedu
删除的目录放在.Trash/Current的目录下，怎么彻底删掉？
?上传文件到hdfs
hadoop fs -put ~/training materials/admin/data/shakespeare.txt
到elephant节点查看家目录，目录与shakespeare.txt文件都有了，是咋回事？
Monkey节点jps没有返回了？
上传文件
hadoop fs -put 20161130
?配置文件信息所在目录
/etc/hadoop/conf/hdfs-site.xml
查看元数据信息
sudo -u hdfs hdfs oiv -i fsimage_0000000000000000502 -o ./fsimage.xml -p XML
？我上传了新文件，就这个变了，重新导出的fsimage.xml内容也没有变
通过元数据信息找数据块 vim fsimage.xml
Xml中并没有存块的位置信息 到dn目录去找
/dfs/dn/current/BP-1935755242-192.168.91.129-1479914912771/current/finalized/subdir0
可以直接查看内容
more ./subdir0/blk_1073741886
块在哪台机器的信息：内存中
文件系统、数据库、HDFS的元数据、数据类比
fsimage与editlog在namenode进程重启时合并
edits_inprogress：当前被编辑的元数据信息
相关推荐：
loading