Hbase，区域服务器，存储文件大小，索引
Hbase，区域服务器，存储文件大小，索引
提问于 2016-12-12 08:27:04
在Hbase中，对索引表使用压缩吗？如果是，您使用什么类型的压缩？
我注意到索引表的大小很大，而且每天都在增长.在添加了新的存储后，其大小甚至更大。
我有A桌，尺寸为108.3 G
在/app/hbase/data/data/default，索引表的大小为380.0 G，
在/apps/hbase/data/archive/data/default中，索引表的大小为1.2T
你能告诉我如何处理索引表的大小吗？
为什么HDFS档案中的数据如此之大? /apps/hbase/ data / archive /data/default
HDFS上存档目录的大小能以某种方式管理吗？归档占用了我HDFS空间的2/3。
我还注意到，我在三张桌子上有一百多张“分割区域”，其他表没有“分割区域”。你知道原因是什么吗？
回答 2
Stack Overflow用户
回答已采纳
发布于 2016-12-14 11:02:06
我在舞台环境中发现，在/app/ hbase / data /archive/中产生大量数据的原因是每天运行在cron上的hbase快照。
所以，现在我将重写脚本，只保留一两张表快照。
Stack Overflow用户
发布于 2016-12-12 11:57:43
是的，我用了这样的快感.
create 't1', { NAME => 'cf1', COMPRESSION => 'SNAPPY' }压缩支撑检查
要验证snappy支持是否启用，可以在集群的所有节点上加载库：
$ hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://host/path/to/hbase snappy对于你以上的大部分问题。压缩会有帮助。还请看我的回答。它有多大帮助
我还注意到，我在三张桌子上有一百多张“分割区域”，其他表没有“分割区域”。你知道原因是什么吗？
- 确保将表预先拆分为有限的数，例如0-9。
- 在表区域上运行压缩。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/41096775
复制相关文章
相似问题
腾讯云开发者
