我在hbase中有一个很大的项目数据集，我想要加载到spark rdd中进行处理。我的理解是，hbase针对hadoop上的低延迟单项目搜索进行了优化，所以我想知道是否有可能在hbase中高效地查询1亿个项目(大约10TB大小)？
浏览 1提问于2017-10-25得票数 0
1回答
我在Hbase中有一个表，比方说"tbl“，我想使用Hive查询它。");select * from tbl", "select id from tbl", "select id, data真的很快。但是像这样的查询
select id from tbl where data["777"
浏览 1提问于2015-05-06得票数 9
我使用c#的thrift接口从Hbase获取实时数据。我的问题是，过滤查询花费了太多的时间来响应hbase。Console.Write("{0} => ", rowkey);
}我的问题是：
1)有多少方法可以提高Thrift查询对hbase的性能(优化)？2)如何在Hbase上缓存Thrift查询响应。3)如何在Master节点上管理Thrift服
浏览 2提问于2014-01-14得票数 0
1回答
提高HBase查询性能
、、、、
我有一个大约5亿行的大型HBase表，大约有100列(每行不同)的数据。我有什么选择？我是否继续使用HBase存储数据？或者和Solr或者ElasticSearch一起使用？
浏览 2提问于2014-03-03得票数 1
1回答
我最近正在学习基于hbase的apache phoenix。我在凤凰城创建表格。在这里，我发现phoenix并没有创建多个柱族，而是使用名称为'0‘的单个柱族。这是否会影响hbase的性能？
浏览 2提问于2016-04-22得票数 0
2回答
我有一个数据仓库问题，需要查询一个大型数据集。就本例而言，假设一个典型的状态有3000万个用户，每个用户都有活动统计数据。现在我正在考虑使用Solr来查询HBase。虽然我相信HBase可以扩展到满足需求，但我还是担心Solr。它作为搜索引擎进行了优化，即结果的第一页在最后一页之前返回，并且不支持数据库游标之类的东西。例如，比较在社区版Infobright中检索一半可用用户(最终返回500MB数据的用户)的查询在一分钟内完成，而对于Solr则需要12分钟。
除了Solr之外，还有其他更适
浏览 6提问于2013-02-08得票数 1
我之所以问这个问题，是因为我想知道在数据库或共享键值存储上运行mapreduce查询是否有效？
浏览 0提问于2010-03-09得票数 2
回答已采纳
我正在使用Apache菲尼克斯简化我在Hbase上的数据检索/更新操作。但是我想知道从性能的角度来看，哪一个更好？使用Hbase本机API的凤凰包装还是自定义包装？
浏览 5提问于2015-02-06得票数 5
回答已采纳
1回答
我想使用Hbase来存储网络事件，行键将是事件的时间戳。这将在Hbase中创建热点，为了避免这种情况，我将在行键中添加一个盐分前缀。这将使行均匀地分布在所有区域。到目前为止没问题。但是我也想使用Cloudera来使用SQL查询这些数据。有可能用黑斑羚加盐吗？还是需要* sql查询才能获得所有结果？
浏览 3提问于2013-12-11得票数 0
1回答
我正在将数据从SQL迁移到Hadoop，其中我也使用了HBase & Hadoop。我已经成功地将数据从SQL导入到Hadoop、HBase和Hive。但问题在于系统的性能。在SQL中，我在5-10分钟内得到了数百万条条目的结果，但是从HBase & Hive获取1000万个数据需要花费大约1小时的时间。有人能帮我提高Hadoop系统的性能吗？
浏览 5提问于2015-11-20得票数 0
回答已采纳
2回答
Hbase模式设计
、、、
我必须设计一个Hbase表来存储用户信息，这些信息是针对社交网络的，比如:年龄、性别、教育程度、爱好、读书、旅行的国家.注:我们可以在未来增加更多的信息，我们现在不知道所有的信息。因此，可以将任何条件添加到搜索查询中。谢谢
浏览 2提问于2013-04-14得票数 0
回答已采纳
1回答
优化多表连接的配置单元查询
、、、、
custImg1.IMAGE_ID 我有一个连接查询，我正在连接巨大的表，并且我正在尝试优化这个hive查询。我在aws中运行了这个蜂巢查询。有人能帮我理解这里的主要瓶颈吗？此作业仅处理实际数据的一个子集。Total MapReduce CPU Time
浏览 3提问于2014-03-27得票数 2
我正在使用带有puts的context.write()从映射器写入HBase。根据这个，context.write()不会立即刷新，而是等待缓冲区填满，然后才将它们异步设置到服务器。目的是通过调整缓冲区大小来减少对HBase表的RPC调用。
浏览 6提问于2015-08-07得票数 0
2回答
我会收到像SELECT * FROM table WHERE colA = X or colB = X这样的查询。为了进行优化，我在colA和colB中索引了MySQL。现在，我想在HBase中构建这个数据库，提供相同的查询。但是我知道HBase没有索引，我需要设计好的行键。复制MySQL中的每一行。好的:我只需要一个查询。即返回行键前缀为X的所有行
在保持性能的同时提高空间效率的替代方法是什么呢？
浏览 0提问于2018-11-09得票数 0
回答已采纳
1回答
我试着比较SparkSql在Parquet上的表现和HBase上的菲尼克斯的表现。我正在执行的查询具有联接和聚合，我尝试检查Parquet性能上的Spark的方式是执行以下操作：我的问题是：
这是测试Spark执行所需时间的正确和最简单的方法吗我正在Spark中直接执行菲尼克斯查询。有什么方法可以让我做一些优化吗？
浏览 1提问于2018-09-20得票数 0
我在服务器(远程)中安装了一个独立的HBase。我编写了一个Java客户机，它使用凤凰进行通信，并看到它尝试了36次尝试，因此抛出了异常。HBase-Version : 1.1.5ConnectionString：Exception in thread "main" java.sql.SQLException: org.apache.ha
浏览 6提问于2016-10-17得票数 1
回答已采纳
3回答
由于使用group查询的聚合比较慢，所以我希望尝试禁用特定hbase表的块缓存。我尝试了几种方法，但都没能成功。我正在验证是否通过hbase describe 'my_table‘命令启用/禁用了块缓存。
浏览 5提问于2016-03-25得票数 0
1回答
最近，我正在开发一个将用户的search log/query log存储到HBase表中的解决方案。让我们简化原始查询日志：数据访问模式：
<query>_<timestamp>
但是查询可能很长，或者采用不同的编码方式，直接将query放入rowkey似乎是不明智的。我在寻找优化<
浏览 2提问于2014-01-22得票数 0
回答已采纳
2回答
作为开发人员，我通过使用HBase从现有的MySQL表导入数据，为我们的项目创建了sqoop job表。问题是我们的数据分析团队熟悉MySQL语法，这意味着他们可以轻松地查询HIVE表。对于他们，我需要在蜂巢中公开HBase表。我不想通过在蜂巢中再次填充数据来复制数据。此外，重复数据今后可能存在一致性问题。
我可以在不复制数据的情况下在HBase 中公开表吗？如果是，我该怎么做？此外，如果我在我的insert/update/delete数据在我的HBase表中会出现更新的数据在蜂巢中没
浏览 5提问于2015-05-08得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
