如果我正确理解Hadoop生态系统,我可以从HDFS或HBase运行我的HBase作业源数据。假设前面的假设是正确的,我为什么要选择一个而另一个呢?使用HBase作为MR源是否有性能、可靠性、成本或易用性的好处?
我能找到的最好的一句话是:"HBase是在需要实时读写随机访问非常大的数据集时使用的Hadoop应用程序。“- this (2009) Hadoop:权威指南,第1版。
我总共有10个节点。3个节点运行Zookeeper,其余7个节点运行HDFS和Hbase。而且Hbase已经存储了很多数据。我错误地初始化了Zookeeper节点的(I'm using Cloudera, by mistake clicked the Initialize Button)。我想知道这3个Zookeeper节点是否丢失了可能是Hbase mata数据的持久数据。或者说,Hbase将元数据存储在Hmaster中,而Zookeeper只存储一些内存数据。
我加入了3个巨大的表格(十亿行表格)在HIVE。收集了所有的统计数据,但性能仍然很差(查询需要40分钟以上)。
是否有可以在配置单元提示中设置的参数以获得更好的性能?
当我尝试执行时,我看到的信息如下
Sep 4, 2015 7:40:23 AM INFO: parquet.hadoop.ParquetInputFormat: Total input paths to process : 1
Sep 4, 2015 7:40:23 AM INFO: parquet.hadoop.ParquetFileReader: reading another 1 footers
所有的表都是在BigSql