HBase中的压缩
HBase中的压缩
提问于 2012-08-22 08:01:57
我使用HBase来存储大量的传感器数据。
我尝试使用txt文件来存储传感器数据，对于一个20MB的文件，如果我压缩它，它会在磁盘上减少到1MB。
我的问题是:在将数据存储到磁盘时，HBase本身会自动执行压缩吗？
谢谢
回答 2
Stack Overflow用户
发布于 2012-08-22 09:25:38
您可以使用lzo、gzip或snappy进行hbase压缩。如果您希望将lzo/snappy用于hbase压缩(包括gzip)，则需要自己设置它们。
通常- lzo比gzip压缩更快，尽管gzip压缩比通常更好。Snappy在压缩时是健壮的，但压缩比通常更差。
在创建表时-您可以指定压缩/压缩库-如果使用压缩(读取时需要解压缩)，hfiles将在写入磁盘时进行压缩。
希望能有所帮助
Stack Overflow用户
发布于 2012-08-24 14:15:09
您还可以更改您的表，以便稍后添加压缩支持。然后，您的数据将在下一次压缩时真正压缩(正如ali所说，因为新的HFile将被写入磁盘)。据我所知，压缩算法是在块级别使用的，而不是在整个HFile上使用。这意味着当读取数据时，它不必解压缩几GB的HFile，而只需解压缩几KB的数据块。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/12064709
复制相关文章
相似问题
腾讯云开发者
