我有一个使用Hortonworks数据平台2.6.1构建的HBase集群。现在,我需要对HBase表应用快速压缩。
在没有安装Snappy的情况下,我执行了压缩测试,并获得了成功的输出。我使用了以下命令。
hbase org.apache.hadoop.hbase.util.CompressionTest file:///tmp/test.txt snappy
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://hbase.primary.namenode:8020/tmp/test1.txt snappy
在got下面,这两个命令的响应。
2017-10-30 11:25:18,454 INFO [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:18,671 INFO [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:18,679 INFO [main] compress.CodecPool: Got brand-new compressor [.snappy]
2017-10-30 11:25:21,560 INFO [main] hfile.CacheConfig: CacheConfig:disabled
2017-10-30 11:25:22,366 INFO [main] compress.CodecPool: Got brand-new decompressor [.snappy]
SUCCESS
我在路径/usr/hdp/2.6.1.0-129/hadoop/lib/lib/中也看到了下面的库。
libhadoop.a
libhadooppipes.a
libhadoop.so
libhadoop.so.1.0.0
libhadooputils.a
libhdfs.a
libsnappy.so
libsnappy.so.1
libsnappy.so.1.1.4
默认情况下,HDP支持snappy压缩吗?
如果是这样的话,我可以不安装Snappy就压缩HBase表吗?
发布于 2017-11-01 02:35:38
在没有安装Snappy的情况下,我执行了压缩测试,并获得了成功的输出。
Ambari在集群安装期间安装了它,所以是的,这些命令正在工作。
默认情况下,HDP支持snappy压缩吗?
是的,HDP-UTILS存储库提供了snappy库。
我可以在不安装Snappy的情况下压缩HBase表吗?
Hbase提供其他压缩算法,所以是的
https://stackoverflow.com/questions/47029697
复制相似问题