hadoop和hbase中的压缩怎么配置

这篇文章主要讲解了“hadoop和hbase中的压缩怎么配置”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“hadoop和hbase中的压缩怎么配置”吧！

网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了郾城免费建站欢迎大家使用！

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持

下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。

通常情况下，想在CPU和IO之间取得平衡的话，用Snappy和lzo比较常见一些。

Comparison between compression algorithms

Algorithm	% remaining	Encoding	Decoding
GZIP	13.4%	21 MB/s	118 MB/s
LZO	20.5%	135 MB/s	410 MB/s
Snappy	22.2%	172 MB/s	409 MB/s

对于数据格式为TextFile，Sequence，以及其他用户自定义的文件格式的文件，都可以采用以上的压缩算法进行压缩；

TextFile在压缩以后，不能split，压缩出来的数据当做job的输入是一个文件作为一个map。SequenceFile本身是分块的， 加上lzo的压缩格式，文件可以实现lzo方式的split操作，可以按照record、block进行压缩，一般采用block效率更高一些。

一、hadoop(hive)对mapreduce压缩参数设置
1、mapreduce的中间结果对压缩的支持

方法一：

hadoop 中 mapred-site.xml

mapred.compress.map.output

true

mapred.map.output.compression.codec

com.hadoop.compression.lzo.LzoCodec

 方法二

hive中hive-site.xml

  hive.exec.compress.intermediate
  true
  Should the outputs of the maps be compressed before being
               sent across the network. Uses SequenceFile compression.
 


  hive.intermediate.compression.codec
  org.apache.hadoop.io.compress.LzoCodec
  If the map outputs are compressed, how should they be
               compressed?
 

方法三
hive中shell
set hive.exec.compress.intermediate=true;

set hive.intermediate.compression.codec="org.apache.hadoop.io.compress.LzoCodec";

2、mapreduce的输出结果对压缩的支持

hive-site.xml中配置：

  hive.exec.compress.output
  true
  Should the job outputs be compressed?
 


  mapred.output.compression.codec
  org.apache.hadoop.io.compress.LzoCodec
  If the job outputs are compressed, how should they be compressed?
 

或者在hadoop-site.xml中添加：

  io.compression.codecs
  org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.LzoCodec
  A list of the compression codec classes that can be used
               for compression/decompression.


  mapred.output.compress
  true
  Should the job outputs be compressed?
 


  mapred.output.compression.codec
  org.apache.hadoop.io.compress.LzoCodec
  If the job outputs are compressed, how should they be compressed?
 

二、HBASE对这三种压缩格式的支持

HBase中可以对HFile进行gzip、lzo、snappy方式的压缩存储。

1、对于gzip压缩的支持
hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'GZ' }

或者alter 'testtable'，不过要先disable table，完成压缩后，再enable table

2、对于lzo的支持，需要系统安装lzo动态库，以及hadoop lzo相关的native库，后把native库jar文件copy到hadoop/lib/native 及 hbase/lib/native中
   同时在core-site.xml中，配置lzo压缩
     
      
         io.compression.codecs
         org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
       
      
     
        io.compression.codec.lzo.class
        com.hadoop.compression.lzo.LzoCodec
     

org.apache.hadoop.io.compress.DefaultCodec是hadoop默认的zlib压缩

hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'lzo' }
 3、  对于synappy的支持，需要安装snappy，并且 将 hadoop-snappy-0.0.1-SNAPSHOT.tar.gz 的native中的动态静态链接库文件拷到hadoop以及hbase lib的native下面，将hadoop-snappy-0.0.1-SNAPSHOT.jar考到hadoop 以及hbase 的lib下
   在core-site.xml中，配置lzo压缩
     
      
         io.compression.codecs
         org.apache.hadoop.io.compress.SnappyCodec
       
      

hbase(main):001:0> create 'testtable', { NAME => 'colfam1',
COMPRESSION => 'synappy' }

感谢各位的阅读，以上就是“hadoop和hbase中的压缩怎么配置”的内容了，经过本文的学习后，相信大家对hadoop和hbase中的压缩怎么配置这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！

当前文章：hadoop和hbase中的压缩怎么配置
本文来源：http://cdxtjz.cn/article/jgjogd.html