1.Hadoop’s SequenceFile
SequenceFile 是 Hadoop 的一个重要数据文件类型,它提供key-value的存储,但与传统key-value存储(比如hash表,btree)不同的是,它是 appendonly的,于是你不能对已存在的key进行写操作。每一个key-value记录如下图,不仅保存了key,value值,也保存了他们的 长度。
SequenceFile 有三种压缩态:
Uncompressed – 未进行压缩的状态
Record Compressed - 对每一条记录的value值进行了压缩(文件头中包含上使用哪种压缩算法的信息)
Block-Compressed – 当数据量达到一定大小后,将停止写入进行整体压缩,整体压缩的方法是把所有的keylength,key,vlength,value 分别合在一起进行整体压缩
文件的压缩态标识在文件开头的header数据中。在header数据之后是一个Metadata数据,他是简单的属性/值对,标识文件的一些其他信息。
Metadata 在文件创建时就写好了,所以也是不能更改的。
2.MapFile, SetFile, ArrayFile 及 BloomMapFile
SequenceFile 是Hadoop 的一个基础数据文件格式,后续讲的 MapFile, SetFile, ArrayFile 及 BloomMapFile 都是基于它来实现的。
MapFile – 一个key-value 对应的查找数据结构,由数据文件/data 和索引文件 /index 组成,数据文件中包含所有需要存储的key-value对,按key的顺序排列。索引文件包含一部分key值,用以指向数据文件的关键位置。
SetFile – 基于 MapFile 实现的,他只有key,value为不可变的数据。
ArrayFile – 也是基于 MapFile 实现,他就像我们使用的数组一样,key值为序列化的数字。
BloomMapFile – 他在 MapFile 的基础上增加了一个 /bloom 文件,包含的是二进制的过滤表,在每一次写操作完成时,会更新这个过滤表。
相关推荐
王家林的云计算分布式大数据Hadoop深入浅出案例驱动实战
Hadoop深入浅出之Zookeeper介绍.pptx
Hadoop深入浅出分享资料 hadoop课程详细笔记 Hadoop深入浅出配套PPT VMWare视频同步讲义 ZooKeeper应用场景 如何把hadoop源码关联到eclipse工程中
Python+Spark 2.0+Hadoop机器学习与大数据实战完整高清带书签的PDF压缩包
hadoop3.1.3学习资料
haddoop-1.2.1.tar.gz hadoop基础学习之hadoop jar hadoop 学习
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
Hadoop学习资料总结,值得推荐阅读学习 很好 非常好 值得拥有
1、 hadoop官方网站,首页会有最新动态。 2、 Nutch ->谷歌GFS论文->doug 根据GFS设计了NDFS、06年启动hadoop项目。 3、 环境支持 操作系统 Linux 、WINDOWS-Cygwin、hadoop-for-windows JDK支持 下载jdk,解压jdk...
025.Hadoop架构分析之启动脚本分析(start-dfs.cmd与hadoop-conf.cmd).mp4 026.Hadoop架构分析之启动脚本分析(hadoop.cmd命令).mp4 027.Hadoop架构分析之启动脚本分析(数据格式化与hdfs.cmd命令).mp4 028....
Hadoop深入浅出之Sqoop介绍.pptx
Hadoop深入浅出之MapReduce介绍.pptx
Hadoop深入浅出之Hive介绍.pptx
Hadoop深入浅出之HDFS介绍.pptx
Hadoop深入浅出之HBASE介绍.pptx
Hadoop深入浅出之Cluster介绍.pptx
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
有计划的安排大数据的学习之路,可以在对Hadoop的学习规划上有一个更清晰的目标!
Hadoop的学习路径
hadoop的 学习体系总结,hadoop的 学习体系总结,hadoop的 学习体系总结