如何降低全表扫描对Hbase集群的影响？
降低全表扫描对Hbase集群的影响可以通过以下几种方式：
- 数据分区：将数据按照某种规则进行分区，使得每个分区的数据量相对较小。这样在进行全表扫描时，只需要扫描部分分区，减少了扫描的数据量和对集群的影响。可以使用Hbase的预分区功能来实现数据分区。
- 列族设计：合理设计列族，将经常一起访问的列放在同一个列族中。这样在进行全表扫描时，只需要扫描需要的列族，减少了不必要的数据读取和网络传输，提高了扫描效率。
- 使用过滤器：Hbase提供了多种过滤器，可以根据条件过滤出需要的数据，减少全表扫描的数据量。常用的过滤器包括前缀过滤器、列值过滤器、时间戳过滤器等。根据具体需求选择合适的过滤器进行优化。
- 数据压缩：对Hbase中的数据进行压缩可以减少存储空间的占用，同时也减少了全表扫描时的数据传输量，提高了扫描效率。Hbase支持多种压缩算法，如Snappy、LZO等。
- 数据预取：通过调整Hbase的Scanner缓存大小和批量读取的行数，可以提高全表扫描的效率。合理设置缓存大小和批量读取行数，可以减少网络传输次数和IO操作，提高扫描性能。
- 数据缓存：Hbase提供了数据缓存功能，可以将热点数据缓存在内存中，减少磁盘IO操作。通过合理设置缓存大小和缓存策略，可以提高全表扫描的性能。
- 数据预分区：根据实际业务需求，将数据预先分区存储，避免全表扫描。可以根据业务特点将数据按照时间、地理位置等进行分区，提高查询效率。
腾讯云相关产品和产品介绍链接地址：
- HBase产品介绍：https://cloud.tencent.com/product/hbase
- 数据库产品：https://cloud.tencent.com/product/cdb
- 云服务器产品：https://cloud.tencent.com/product/cvm
- 云原生产品：https://cloud.tencent.com/product/tke
- 人工智能产品：https://cloud.tencent.com/product/ai
- 物联网产品：https://cloud.tencent.com/product/iotexplorer
- 移动开发产品：https://cloud.tencent.com/product/mobiledv
- 存储产品：https://cloud.tencent.com/product/cos
- 区块链产品：https://cloud.tencent.com/product/baas
- 元宇宙产品：https://cloud.tencent.com/product/vr
相关·内容
2回答
嗨，我开发了一个应用程序，我必须第一次存储TB数据，然后每月以xml的形式存储20 GB的增量，比如insert/update/delete，它将应用于这5TB数据之上。最后，在请求的基础上，我必须生成所有数据的完整快照，并根据逻辑创建5K文本文件，以便相应的数据应该在各自的文件中。
我使用HBase完成了这个项目。我已经在HBase中创建了35个表，其区域范围为10到500。我的数据在我的HDFS和使用mapreduce I批量加载数据到接受Hbase表。
之后，我用java编写了SAX解析器应用程序来解析所有传入的xml增量文件和更新HBase表，.The文件的频率约为每分钟10个xml文
浏览 3提问于2017-05-20得票数 2
回答已采纳
我的客户有一个计算场景，一些数据存储在集群A的Hive中，另一些数据存储在集群B的Hbase中，然后他们想要对这两种表进行一些连接操作。
那么有没有一种方法可以让我在Hive中这样做：
select hive_table.col1, hbase_table.col2 from hive_table inner join hbase_table on hive_table.id = hbase_table.id
配置单元表和hbase表存在于不同的集群中。
浏览 1提问于2018-05-26得票数 1
有没有可能限制糟糕的查询对Hbase集群的影响？
如果是，需要实现什么？
我是否需要kerberos来识别用户并限制其查询的影响，或者为他们分配资源？
来自phoenix的糟糕的查询可能会杀死整个Hbase集群，这是我真的想要改变的。我将非常感谢在这个主题中的任何提示。
浏览 23提问于2016-09-24得票数 2
我已经将数据从水槽插入到HBase。我要检查数据的一致性。
我的意思是HBase提供了命令"count"，它提供了表的总行数。
问题是“计数”不能与“筛选”一起使用。
有什么方法可以用某些特定的条件(如过滤器)来进行行计数吗？
我感谢你提前提供帮助。
浏览 6提问于2017-05-11得票数 0
回答已采纳
我正在尝试使用HBase表中的前缀筛选器扫描一些行。我上的是HBase 0.96。
我希望提高每个RPC调用的吞吐量，以减少访问该区域的请求数量。
我在扫描对象上尝试了getCaching(int)和setCacheBlocks(true)。我还尝试添加resultScanner.next(int)。使用所有这些组合，我仍然无法减少RPC调用的数量。我仍然按每个键的HBase区域，而不是在每个RPC调用中带多个键。
HBase区域服务器/数据节点有足够的CPU和内存分配。而且，我的数据平均分布在不同的区域服务器上。另外，我带回来的数据不是很多。
我注意到，当我向表中添加更多数据时，请求所需的时
浏览 1提问于2015-04-18得票数 0
回答已采纳
我的意思是，有两个选择: 1.在Hadoop集群上安装HBase，这也是离线计算，所以只有1个hadoop集群。2.安装一个用于离线计算的Hadoop集群，然后再安装一个仅供HBase使用其HDFS的Hadoop集群。
因此，有两个选项:一个是集成集群，另一个实际上是2个集群。
这两个选项的优缺点是什么？
浏览 2提问于2013-07-11得票数 1
我正在尝试从Talend BigData工作室访问基于区域的Hbase表记录。我们是否有任何选项来根据区域过滤tHBaseInput组件中的记录。还有，如何过滤tHBaseInput中的记录，以基于日期列过滤增量记录？
浏览 2提问于2017-04-18得票数 1
我一直在读关于我应该在Hbase中禁用块缓存以进行大扫描的文章。
我认为如果我不使用块缓存，我应该赢得时间，因为GC不必如此频繁地执行。我也从Cloudera那里发现了一个关于这个问题的问题，我真的不喜欢这个测试题的任何可能的回答，我想这应该是事实。那么，如果您禁用了块缓存，您是否可以获得更好的大型(全表)扫描性能？原因何在？
浏览 0提问于2014-04-10得票数 2
1回答
当我们在Hbase列上启动SQL with condition时，hbase是否每次都会进行完全扫描？或者，drill使用了某种索引机制来避免完全扫描？
另外，我们是否需要在每个区域服务器上安装drillbits以获得最佳数据局部性？
浏览 0提问于2018-03-22得票数 0
1回答
HBase模式设计示例
、、、、
我想要一些关于HBase模式设计的建议。例如，有2000名患者，1.每个病人都有姓名、性别、年龄、hospital_ID。2.每名患者每分钟都会记录心脏部位、位置和步骤等活动数据。3.每名病人将接受几份问卷。
如何组织HBase表？
非常感谢你的帮助
我目前的想法是使用patient_ID作为行键。每个病人在HBase表中只有一行。但是，所有活动数据都将在嵌套表中分组。活动数据表将有数百万行。因此，这张表将有三个列族。CF1:info，CF2:activity_data，CF3:问卷。
然后，CF1:info包括(姓名、性别、年龄、ID)
CF2:activity_data (数据(嵌套表))
浏览 2提问于2017-05-05得票数 1
在Hbase中，包含30列但有单列族的表
create 'my_table', { NAME => 'my_family', VERSIONS => 5 }
想要将版本增加到10,000
create 'my_table', { NAME => 'my_family', VERSIONS => 10000 }
当将版本更改为10K时，它将更改为所有列，但可以只要求更改2列。
在这两种情况下，性能的影响是什么？
创建两个不同的列族并相应地更改版本
更改后的所有列的版本
浏览 3提问于2016-04-13得票数 0
1回答
我在Hbase中有一个表，比方说"tbl“，我想使用Hive查询它。因此，我将表映射为单元，如下所示：
CREATE EXTERNAL TABLE tbl(id string, data map<string,string>)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,data:")
TBLPROPERTIES("hbase.tabl
浏览 1提问于2015-05-06得票数 9
我想知道在RowKey扫描中HBase是否支持通配符。类似于：
select * from TABLE where KEY like '%SEARCH_KEY%';
我知道，如果我们对行键的前缀有一定的了解，我们就可以使用部分键扫描( HBase对这种扫描非常有效)。但是，如果我们没有信息前缀(这意味着搜索键可能在RowKey中的任何位置)，那么Hbase必须运行全表扫描，对吗？
另外，如何在HBase中形成这样的查询(无论是代码还是通过shell)？
浏览 2提问于2013-04-25得票数 4
3回答
Hadoop Hbase查询
、、、、
我有下面的设置
2节点hadoop/hbase集群，在hbase上运行第三层服务器。
Hbase有一个有1000万行的表。
我需要在hbase表上运行聚合查询(如sum() )，以便在web上显示它(图表目的)。
目前，我正在使用python(节俭客户端)获取数据集并进行显示。
我正在寻找数据库(Hbase)级别的聚合功能来使用在网络上。
有什么想法吗？
浏览 0提问于2012-09-25得票数 0
如果HBase中有以下行键：
abc_DFS_20
sjd_eir_21
skd_err_22
...
..
sdf_rie_100
现在，我想使用HBase Shell查询*_ * _number在30-40中的所有行键，如下所示
scan 'table', {STARTROW => '*_*_30', ENDROW => '*_*_40'}
实际上，上面的查询不起作用。有人能给我一个想法来实现这一点吗？
浏览 4提问于2014-01-23得票数 2
我是Hbase的新手，下面的问题可能看起来很傻！(我预先道歉:)
我们有一个用例，我们需要在Hbase中存储一些大型数据，每一行几乎是30 5MB，我们将其存储在6列中，每个列为5MB，为一些元数据存储在一个列家族中的2列。我们有两种类型的数据，我们使用Hbase作为，一些大队列！
我们在Hbase中创建了两个表，名为TableA和TableB。我们必须插入数据(从类型A或B)，并且我们有一个拉函数，它应该得到一行(A或B类型)，返回它并从表中删除它。
我们有三个集群节点，具有4GB内存和足够的存储空间。
对于这项工作，我在Java中创建一个ResultScanner，获取第一行的键，并使用G
浏览 1提问于2015-09-15得票数 0
回答已采纳
我需要在HBase表上扫描我的即席查询。目前我只使用了一个节点。我想知道在多台机器上以分布式模式运行HBase是否会更快。目前，在m1.large EC2机器上扫描300万行数据大约需要5分钟。任何关于如何使扫描更快的想法都是受欢迎的。目前，我启用了scan.setCaching，这对我有很大帮助
浏览 2提问于2012-02-16得票数 2
回答已采纳
我们有一个带有hadoop-1.0.1的hbase-0.94集群。我们不希望在使用hadoop-2.5.1升级到hbase-0.98时此群集出现宕机
我使用hadoop-2.5.1配置了另一个hbase-0.98集群，并希望将hbase-0.94表复制到hbase-0.98。Hbase CopyTable似乎不适用于此目的。
请建议一种执行上述任务的方法。
浏览 2提问于2016-07-27得票数 2
我目前有一个运行HBase的AWS EMR集群。我正在将数据保存到S3。我想将数据迁移到同一帐户上的新EMR集群。将数据从一个电子病历迁移到另一个电子病历的正确方法是什么？谢谢
浏览 1提问于2021-03-06得票数 0
我不知道为什么我使用前缀过滤器来查询会很慢。谁能解释一下查询HBase最好的方法是什么，谢谢。
hbase(main):002:0> scan 'userlib',{FILTER=>org.apache.hadoop.hbase.filter.PrefixFilter.new(org.apache.hadoop.hbase.util.Bytes.toBytes('0000115831F8'))}
ROW COLUMN+CELL
浏览 0提问于2012-06-08得票数 10
回答已采纳
我有一个hbase表，其中的行键模式是{ id1 }，{ id2 }，{id2}，我需要获取开始和结束毫秒之间的所有行键，保持id1或id2不变，我如何在hbase中实现？我使用的是java客户端。
谢谢
浏览 4提问于2014-01-02得票数 0
我想从hbase版本0.98集群复制一个表到hbase版本1.2.0cdh5.7.3集群。
运行以下命令：
hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapreduce.job.queuename= -Dhbase.import.version=0.98 -Dmapreduce.map.speculative=false -Dmapreduce.reduce.speculative=false
但我犯了这样的错误：
Error: java.lang.IllegalArgumentException: Row length is 0
浏览 2提问于2017-04-18得票数 0
我使用python流(只有mapper函数实现)写了一段mapreduce代码，并使用happybase从Hbase读取数据。当我在5个节点的发行版中运行mapreduce代码时，由于python流代码具有从hbase读取记录并分布在整个集群中的扫描功能，因此所有创建的映射器实例都在从hbase提取/读取的相同数据集上进行处理。
示例：
for key, data in table.scan(row_start='1'):
Somecompute( key, data)
在这里，如果我在hbase中有100行，集群中产生的所有映射器实例都在处理来自hbase的相同的1
浏览 0提问于2014-09-29得票数 0
5回答
我有一个由5个节点组成的集群，我在该集群上创建了几个HBase表，并用数据填充其中。其中一个节点出现故障，现在我可以列出HBase上的所有表，但扫描或禁用其中两个表会显示
NativeException: org.apache.hadoop.hbase.client.NoServerForRegionException: No server address listed in .META. for region TableName,,1295871604968
我想删除这个表，但无法解决这个问题。为此，我使用了hbase shell。
浏览 0提问于2011-01-25得票数 3
回答已采纳
我目前正在探索HBase协处理器，以便在服务器端实现对HBase集群上特定表的行更新的一些算法处理。我们的集群在多个生产应用程序之间共享。
我们不想仅仅为了支持在这个1表上使用协处理器而重新启动/重建我们的集群。
你们中有没有人有过这样的经历？如果是这样的话，很高兴听到您可能遇到/实现的任何问题/解决方案。
浏览 3提问于2013-07-23得票数 0
回答已采纳
我从中读到，根据查询的选择性，全表扫描比索引扫描更快。考虑到这些知识，我实验了一个包含12个WHERE条件和一个HAVING条件的查询，该查询的表中有500万行，与以前的相同。我观察到，与具有4列索引(160秒)的索引扫描相比，全表扫描仍然要快得多(为7.7秒)，选择性为3% (161341/5000000)。
我的问题是：“，为什么选择3%的索引扫描仍比全表扫描慢20倍?有没有办法使索引扫描更快？。”
浏览 4提问于2011-09-17得票数 1
我正在使用pyspark通过shc访问hbase的表。这个表有大量的记录，但是我的spark集群只有三台服务器，性能很差。我认为从hbase表中读取全部数据，然后用spark的过滤器处理它是不合理的，那么我如何使用pyspark和shc从hbase中读取部分数据呢？例如，我希望筛选行键具有起始值、结束值或筛选列
这里有一个基本的write和read方法，谢谢
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('localhost').appName('test_1')
浏览 1提问于2019-07-20得票数 0
我之前创建了一个在RDMS中存储特定实体的每日数据的项目，方法是为每天创建一个表，而不是在这个表中存储当天的数据。
但是现在我想把我的数据库从RDMS转移到HBase。因此，我的问题是，我是否应该创建一个单一的表，并将所有日子的数据存储在该表中，还是应该使用我先前的概念，即为每天创建一个单独的表，我想根据hbase的性能来比较这两种情况。
抱歉，如果你觉得这个问题很愚蠢的话
浏览 1提问于2017-08-31得票数 2
回答已采纳
我正在做一个POC，在POC中，我使用Pheonix进行一次写入，在写入之后更新数据库。因此，我不能批量更新写入。作为TPS，我每秒得到一个事务。我有3个节点的EMR集群。我使用HBase和S3作为后端。
我尝试了调优参数，我在网上发现，我创建了线程应用程序，但性能仍然非常缓慢。
我已经编写了一个线程程序来批量插入数据到菲尼克斯。我使用菲尼克斯是因为二级索引能力。我在写作方面的表现非常缓慢。
解释查询如下所示
0: jdbc:菲尼克斯:localhost:2181:/hbase> VBQL_PHOENIX_TRANSCRIPT5中的选择计数(1)。。。。。。。。。。。。。。。。。。.&g
浏览 1提问于2018-07-11得票数 0
回答已采纳
我已经使用Phoenix SQL create table query和指定的salt_buckets创建了一个hbase表。Salting会像预期的那样向行键添加前缀。
我已经创建了一个外部配置单元表，以使用hbase serde映射到此hbase表。问题是，当我通过筛选rowkey来查询此表时：
其中key = "value“
它不起作用，因为我认为salt前缀也是为了密钥而获取的。这限制了过滤key上的数据的能力。选项：
"where rowkey like "%value“
工作，但它可能需要很长的时间，因为整个表扫描。
我的问题是如何在hive中有效地查询这个
浏览 1提问于2017-06-15得票数 0
我正在尝试使用rest api在hbase中获取表的列名。网址：
我只能获取列族名称("Info")。但是我需要获得表中的所有列名。请告诉我如何使用rest api获取它。提前谢谢。
浏览 1提问于2018-02-16得票数 1
我必须在不同的集群中创建一个表，并且我只有hbase表的描述作为方便。如何在不同集群中创建新的hbase表？
浏览 0提问于2016-11-25得票数 1
所有人
我是Hadoop的新手，我对Hbase的加入有一些问题。
我有两个集群，A组的Hbase有员工表，B组的Hbase有部门表。
那么，如何加入开发人员和部门呢？
我需要安装蜂巢吗？
浏览 4提问于2016-03-28得票数 1
回答已采纳
2回答
问题
我正试图用凤凰号建立一个二级索引。创建索引需要几个小时。这似乎是由于缓慢的HBase扫描，因为我注意到了以下性能：
我可能需要2个小时来扫描这个表，而其他开发人员报告了几分钟的时间来处理较大的表(1亿行)。
HBase shell可以在大约的时间内计数行数。每秒10.000次，这意味着3800秒(>1小时！)若要计数此表的所有行，请执行以下操作。
同时使用HBase外壳和Java扫描器。
注:GET(按行键)操作性能良好(约0.5s)。
上下文
3800万行/ 1000列/单列族/ 96Go与GZ压缩。
集群有6个节点(126 24，24个核心)和5个区域
浏览 2提问于2015-05-06得票数 14
回答已采纳
我是否应该在firestore中为不同类型的用户创建单独的集合。如果我有大量的用户，会影响性能吗？例如，假设类型A的用户和类型B的用户。类型A的模式与类型B不同。 将这些用户放在不同的集合中会有什么好处吗？
浏览 15提问于2021-01-30得票数 0
1回答
hbase真的是线性的吗？
、、、、
我开始学习hbase，我不明白它是如何线性扩展的。
问题是，在安装hbase之前，您必须有一个hdfs集群。HDFS集群有一个主节点，只能是整个集群中的一个节点，因此它是一个瓶颈。当然，我们可以多运行一个主节点(只可能多运行一个主节点)，但它将处于待机状态。据我所知，hbase使用HDFS集群来存储数据。因此，从逻辑上讲，运行多个Hmaster是没有意义的，因为所有请求都将转到hdfs活动主程序，如果我们有太多的请求，其性能可能会受到影响。
另外，我也不明白，我们是否需要将hbase安装在hdfs的相同节点上，或者单独安装。如果我们单独运行hbase和HDFS，有什么好处。就我而言，在具有hd
浏览 1提问于2016-08-02得票数 2
回答已采纳
在我的Hbase集群中的一个区域服务器上，我观察到堆的大小逐渐增加(在旧的gen中)。这导致了旧的gen运行，导致Hbase进程的停滞，从而导致更高的延迟。
堆大小图(最大堆大小=24 max)
我还在区域服务器日志中看到以下异常：
2022-09-27 00:25:49,839 INFO RS_COMPACTED_FILES_DISCHARGER-regionserver/hbase-rs-1:16020-1 regionserver.HStore:无法存档压缩文件hdfs://{root-dir}/apps/hbase/data/data/default/{table-name}/
浏览 7提问于2022-11-07得票数 0
5回答
有没有什么办法我们可以创建一个Hbase表作为hbase查询的输出？假设我有一个巨大的hbase表，然后我使用filter查询hbase表。我想把结果存储回Hbase表中。有可能吗？
浏览 4提问于2015-08-29得票数 0
嗨，我正在尝试将Hbase表快照导出到我的本地hdfs，这样我就可以运行mapreduce了。
我使用以下命令获取了Hbase表的快照
snapshot 'FundamentalAnalytic','FundamentalAnalyticSnapshot'
此外，当我运行list_snapshots命令时，我也可以看到我的快照。
我已经使用下面的命令将Hbase表快照导出到本地HDFS目录，并成功复制。
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot FundamentalAnaly
浏览 7提问于2017-05-31得票数 0
回答已采纳
1回答
我们在hadoop hbase数据库中创建了一个数据仓库，其中有一个包含hbase数据库的hadoop集群和一个drill sql引擎集群。我想让一个用户访问hbase的每个表，所有用户都不能看到所有的数据库表。我们如何在此platform.how中具有安全性和身份验证?在钻取过程中，我们可以控制对hbase表的访问吗？我知道hbase有身份验证。但我不知道它和drill是怎么工作的？我们必须在hbase上更改我们的sql引擎吗？如何使用drill连接hbase和身份验证？
浏览 18提问于2017-01-23得票数 0
1回答
是否可以同时在两个不同的hbase表中写入不同版本的hbase表，在使用hbase Java API的不同集群上，但只使用一个客户端？
浏览 6提问于2015-04-22得票数 0
回答已采纳
4回答
SQL 2000
NED表有一个指向符号表NED.RowID to SIGN.RowID的外键
SIGN表具有指向NED.SignID的NED表SIGN.SignID的外键
RowID和SignID是集群主键，它们是GUID(不是我的选择)
WHERE子句是：
FROM
[SIGN] A
INNER JOIN NED N ON A.SIGNID = N.SIGNID
INNER JOIN Wizard S ON A.WizardID = S.WizardID
INNER JOIN [Level] SL ON N.LevelID = SL.Leve
浏览 0提问于2009-07-21得票数 18
回答已采纳
我有一个关于负载均衡器的基本问题。我刚刚完成向hadoop(2.3)集群添加新节点，该集群也有hbase v0.98。添加后，在hadoop和hbase中的所有节点都在线，
hbase如何受到hadoop再平衡器的影响？在hadoop再平衡之后，我是否需要显式地尝试重新平衡hbase？
我的Hadoop集群完全被hbase占用。设置balancer_switch=true，它会自动重新平衡hbase和hadoop吗？
怎样才能确保hadoop和hbase都被重新平衡并且工作得很好呢？
浏览 11提问于2014-05-15得票数 18
我正在设计一个在hbase上运行的应用程序，并希望交互式地浏览我的集群的内容。我在hbase shell中，我想对以字符"abc“开头的所有键执行扫描。这样的键可能包含"abc4“、"abc92”、"abc20014“等。我试过扫描
hbase(main):003:0> scan 'mytable', {STARTROW => 'abc', ENDROW => 'abc'}
但这似乎不会返回任何内容，因为从技术上讲，没有行键"abc“，只有以"abc”开头的行键。
我想要的是这样的
浏览 3提问于2013-07-10得票数 34
回答已采纳
1回答
我在相同的hdfs上设置了一个3节点hadoop集群(1个Namenode，2个数据节点)和hbase。每个节点都是在我的windows 8机器上运行的512 MB Ubuntu Virtual box映像(英特尔i5，4 MB，2.4 RAM )
我已经根据这个博客配置了hbase-hadoop。
我已经写了一个程序，它分析美国人口普查数据，这是大约有500,000条记录(缩减集)。我只是在MAP任务中读取文件(从hdfs)，并将其存储在HBASE中。以及稍后基于过滤器来检索数据。
当我在一个独立的(512MB虚拟机) hadoop-hbase中运行该程序时，大约需要23分钟。但是当我在集群
浏览 2提问于2013-02-22得票数 0
2回答
我的问题很琐碎，但没有人真正问我。
我们有一个带有火花风暴hbase和hdfs的ambari集群(除其他外)。
我不明白想要使用这个集群的用户是如何使用它的。
例如，用户希望将文件复制到hdfs，运行星火壳或在hbase shell中创建新表。他应该在运行厨师响应服务的服务器上获得一个本地帐户吗？他不应该使用第三方机器(比如他自己的笔记本电脑)吗？如果是这样的话，我们应该如何使用hadoop，就没有办法像火花-shell那样指定服务器ip了。
从用户预置运行所有这些任务的正常/正确/预期方式是什么？
谢谢。
浏览 4提问于2017-06-26得票数 0
回答已采纳
我在hbase中有一个数据集，它足够大，需要几个小时才能在整个数据集上运行mapreduce作业。我希望能够使用预先计算的索引来分解数据:每天一次映射整个数据集并将其分解为多个索引：
所有用户的1%样本
参与某一特定A/B实验的所有用户
所有用户在夜间预告频道。
所有用户都有一个庭院式的评论(或者我们本周感兴趣的任何标准)
我的想法是只存储相关记录的行ID列表，然后人们就可以在这些行上执行小mapreduce作业。但是，1%的示例仍然是100万行数据，我不知道如何在包含一百万行的列表上构造mapreduce作业。
如果有一百万个不同的扫描对象组成查询，那么使用initT
浏览 2提问于2014-02-11得票数 0
回答已采纳
2回答
我在hbase( hdfs)表中有一些数据，并将其复制到本地文件系统中。然后，在我的第二台计算机上，我使用copyFromLocal hadoop命令将数据从本地复制到hdfs。现在，当我在hbase中运行命令"list“时(在第二台计算机上)。这表明没有桌子。我在hdfs中的一个目录(即hbase的数据目录)中复制了表，所以这个表应该出现在hbase中。
问题出在哪里？在这两台机器上，hbase和hadoop的版本是相同的。如何将hbase表从一个集群复制到第二个集群？
浏览 1提问于2014-12-29得票数 1
回答已采纳
在基于Cloudera的HBase部署上运行一些测试代码时，我遇到了这个奇怪的问题。假设这些是我的行键(实际行键结构的简化版本)：
a_1
a_2
a_3
b_1
b_2
b_3
c_1
c_2
c_3
然后用start、stop= b_2、c_2 (exlusive)进行扫描，得到行：
b_2
b_3
c_1
当我为保持相同开始停止的"?_2“添加一个模糊筛选器时，它似乎忽略了开始停止并返回以下行：
a_2
b_2
c_2
然而，我希望：
b_2
因为a_2和c_2超出了我的扫描范围。
这就是它变得有趣的地方，我在我的PC上安装了一个独立的伪分布式HBase v2.0.4，在这个设置
浏览 0提问于2019-04-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
