`

hadoop的hdfs的设计

 
阅读更多

一、hdfs的设计,hdfs以流式数据访问模式来存储超大文件

1:hdfs的构建思路,一次写入,多次读取

2:hdfs是为高数据吞吐量应用优化的,这可能会以提高时间延迟为代价

3:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量。(大量的小文件)

4:hdfs中的文件可能只有一个writer,而且写操作总是将数据添加在文件的末尾,不支持具有多个写入者的操作,也不支持在文件的任意位置修改。

 

二、hdfs的概念

磁盘块:

文件系统块:

 

hdfs上的文件也被划分为块大小的多个分块,作为独立的存储单元,但hdfs中小与一个快大小的文件不会占据整个快的空间。

hdfs的块比磁盘的块大,目的最小化寻址的开销,但不会设置过大,mapReduce中的map任务通常一次只处理一个块中的数据,因此如果任务数太少,作业的运行速度就会比较慢。

 

分布式文件系统中的块进行抽象带来的好处:

1、一个文件的大小可以大于网络中任意一个磁盘的容量。文件的所有块并不需要存储在同一个磁盘上。

2、使用抽象块而非整个文件作为存储单元,大大简化了存储子系统的设计

 

 

 

三、namenode(管理者)和datanode(工作者)

namenode:维护着文件系统树及整棵树内所有的文件和目录。也纪录每个文件中各个块所在数据节点的信息,但他并不永久保存块的位置信息,因为这些信息会在系统启动时由数据节点重建

 

datanode:是文件系统的工作节点,他们根据需要存储并检索数据块,并且向namenode发送他们所存储的块的列表

 

namenode的容错机制

1:备份

2:辅助namenode

 

联邦hdfs

namenode在内存中保存文件系统中每个文件和每个数据块的引用关系,这意味着对于一个拥有大量文件的超大集群来说,内存将成为限制系统横向扩展的瓶颈。2.x发行版本系列中引入的联邦hdfs允许系统增加namenode实现扩展。

 

四、hdfs的常用命令

    hadoop fs -mkdir /tmp/input              在HDFS上新建文件夹

    hadoop fs -put input1.txt /tmp/input  把本地文件input1.txt传到HDFS的/tmp/input目录下

    hadoop fs -get  input1.txt /tmp/input/input1.txt  把HDFS文件拉到本地

    hadoop fs -ls /tmp/output                  列出HDFS的某目录
    hadoop fs -cat /tmp/ouput/output1.txt  查看HDFS上的文件

    hadoop fs -rmr /home/less/hadoop/tmp/output  删除HDFS上的目录

    hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况

    hadoop dfsadmin -safemode leave  离开安全模式

    hadoop dfsadmin -safemode enter  进入安全模式

 

五、hadoop的文件系统是一个抽象的概念,java提供一个抽象类FileSystem,hdfs只是其中的一个实现,实现类DistributedFileSystem 

 

六、java的提供一些接口

1、从hadoop url读取数据

2、通过filesystem api读取数据

3、写入数据

4、创建目录

5、查询文件系统

6、删除数据

 

七、数据流

1、读取

hdfs客户端-->open分布式文件系统-->namenode-->read (FSData InputStream)-->datanode

 

2、写入

hdfs客户端-->create分布式文件系统-->create namenode -->write(FSData OutputStream)-->datanode-->close 分布式文件系统-->complete namenode

 

3、通过Flume和Sqoop导入数据

Flume是一个将大规模流数据导入HDFS的工具,应用场景是从另外一个系统中收集日志数据,并实现在hdfs中的聚集操作以便用于后期的分析操作

Sqoop是为了将数据从结构化存储设备批量导入hdfs中的设计。应用场景,是将白天生产的数据库中的数据导入hive数据仓库中进行分析。

 

4、通过distcp并行复制,应用场景是在两个hdfs集群之间传输数据。

5、hadoop存档:每个文件按块方式存储,每个块的元数据存储在namenode的内存中,因为hadoop存储小文件会低效。hadoop存档文件(har文件)是一个更高效的文档存储工具,他将文件存入hdfs块,可以减少namenode的内存,允许文件进行透明访问。hadoop存档文件可以用做mapreduce的输入。

 

八、hadoop的I/O操作

hdfs的数据完整性:hdfs会对写入的所有数据计算交验和,并在读取数据时验整校验和。datanode负责在收到数据后存储该数据及其验证校验和。

hadoop的LocalFileSystem执行客户端校验和验证。localfileSystem通过checksumfilesystem来完成任务。

 

压缩格式和算法

DEFLATE,Gzip,bizp2,lzo,lz4,snappy

deflate,deflate,bizp2,lzo,lz4,snappy

 

在mapreduce中使用压缩

如果输入文件是压缩的,那么在根据文件扩展名推断出相应的codec后,mapreduce会在读取文件是自动解压缩文件

想要压缩mapreduce作业的输出,应在作业配置文件设置,还可以fileoutputformat来设置

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics