Hbase 2.2.5外壳扫描表出现问题
HBase是一个开源的分布式数据库，它构建在Hadoop的HDFS上，并使用Hadoop作为其底层的文件系统。它被设计用于处理大规模数据集，并提供了高可靠性、高性能和高可扩展性。
关于Hbase 2.2.5外壳扫描表出现问题的情况，可能有以下几个原因和解决方案：
- 版本兼容性问题：首先，需要确保使用的HBase版本和HBase外壳（Shell）版本相匹配。如果版本不匹配可能会导致不兼容的问题，建议检查并更新HBase Shell到与HBase版本相匹配的版本。
- 配置错误：外壳扫描表出现问题还可能是由于配置错误引起的。可以检查HBase外壳的配置文件，比如"hbase-site.xml"，确保其中的相关配置参数正确设置，例如HBase连接信息、权限设置等。
- 表不存在：在执行扫描操作之前，需要确保要扫描的表存在。可以使用HBase Shell的"list"命令来列出所有存在的表，检查目标表是否存在，若不存在，可以先创建表再进行扫描操作。
- 语法错误：在使用HBase外壳扫描表时，可能会出现语法错误导致操作失败。建议仔细检查命令语法，确保命令中的表名、列族等信息正确无误。
如果以上方法都没有解决问题，可以尝试查看HBase的日志文件，以获取更详细的错误信息。同时，也可以参考腾讯云提供的HBase相关文档和资源，如腾讯云HBase产品介绍（https://cloud.tencent.com/document/product/452/597）和HBase Shell使用指南（https://cloud.tencent.com/document/product/452/9253），以获取更多帮助和支持。
相关·内容
假设在此表上运行了一个支持版本控制的HBase表--默认情况下，在map阶段读取了多少版本，以及如何更改此行为？
浏览 2提问于2014-05-29得票数 0
回答已采纳
2回答
问题
我正试图用凤凰号建立一个二级索引。创建索引需要几个小时。这似乎是由于缓慢的HBase扫描，因为我注意到了以下性能：
我可能需要2个小时来扫描这个表，而其他开发人员报告了几分钟的时间来处理较大的表(1亿行)。
HBase shell可以在大约的时间内计数行数。每秒10.000次，这意味着3800秒(>1小时！)若要计数此表的所有行，请执行以下操作。
同时使用HBase外壳和Java扫描器。
注:GET(按行键)操作性能良好(约0.5s)。
上下文
3800万行/ 1000列/单列族/ 96Go与GZ压缩。
集群有6个节点(126 24，24个核心)和5个区域
浏览 2提问于2015-05-06得票数 14
回答已采纳
1回答
我是Hadoop和hbase的新手。有人能帮助我使用扫描和过滤命令吗？
我试图使用过滤器从hbase中提取某一特定药物的一系列行的记录。当我给出这个外壳命令时：scan 'Mytable', {COLUMNS => ['abc'], FILTER => "avil",STARTROW => "1100",STOPROW => "1121"}
它向我显示了一个错误：Incorrect Filter String
我正在尝试使用这个命令作为参考：
hbase> scan 't1&
浏览 0提问于2014-08-21得票数 3
回答已采纳
我想从hbase版本0.98集群复制一个表到hbase版本1.2.0cdh5.7.3集群。
运行以下命令：
hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapreduce.job.queuename= -Dhbase.import.version=0.98 -Dmapreduce.map.speculative=false -Dmapreduce.reduce.speculative=false
但我犯了这样的错误：
Error: java.lang.IllegalArgumentException: Row length is 0
浏览 2提问于2017-04-18得票数 0
在HBase 1.2中，我有：
具有全局特权'RW‘和以下授权的用户testShellUser : testShell_visY
表testShellTable中具有以下可见性标签的单元格: testShell_visY
下面是testShellUser的授权和特权的“证据”：
hbase(main):001:0> get_auths 'testShellUser'
testShell_visY
0 row(s) in 1.3290 seconds
hbase(main):003:0> user_permission 'testSh
浏览 1提问于2017-07-17得票数 0
回答已采纳
1回答
按时间戳搜索最新行
、、、、
我正在寻找如何搜索由Nutch 2.3加载的hbase表中的最新行。
我使用的是快乐和节俭，我发现的唯一例子是在这个链接中。
浏览 4提问于2016-10-01得票数 2
2回答
嗨，我开发了一个应用程序，我必须第一次存储TB数据，然后每月以xml的形式存储20 GB的增量，比如insert/update/delete，它将应用于这5TB数据之上。最后，在请求的基础上，我必须生成所有数据的完整快照，并根据逻辑创建5K文本文件，以便相应的数据应该在各自的文件中。
我使用HBase完成了这个项目。我已经在HBase中创建了35个表，其区域范围为10到500。我的数据在我的HDFS和使用mapreduce I批量加载数据到接受Hbase表。
之后，我用java编写了SAX解析器应用程序来解析所有传入的xml增量文件和更新HBase表，.The文件的频率约为每分钟10个xml文
浏览 3提问于2017-05-20得票数 2
回答已采纳
2回答
我正在尝试将Java连接到远程服务器中的HBase。
情况如下：
java类在我的本地计算机中(192.168.111.165)
Hadoop文件系统和HBase位于另一个服务器中(192.168.11.7)
下面是我的Hadoop的核心-site.xml( 192.168.11.7)：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.11.7:9000</value>
<
浏览 1提问于2016-09-28得票数 0
2回答
我想实际观察一下HBase中的恢复是如何工作的，我使用了以下代码片段
Put p=new Put(Bytes.toBytes("name10"));
p.setWriteAheadLog(true);
p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some Value 10"));
table.setAutoFlush(true);
table.put(p);
在执行上述代码之后，我重新启动了VM (不停止HB
浏览 3提问于2013-03-18得票数 0
回答已采纳
我正在试验一些hbase代码。我意识到，当我使用put命令通过hbase shell插入数据时，所有内容(包括数字和字符串)都被放入字符串：
hbase(main):001:0> create 'employee', {NAME => 'f'}
hbase(main):003:0> put 'employee', 'ganesh','f:age',30
hbase(main):004:0> put 'employee', 'ganesh','f:des
浏览 3提问于2016-07-08得票数 1
回答已采纳
有没有一种方法可以从hbase数据库中获得所有列族的所有数据，而不需要提到键。实际上，我想了解一下获取所有数据的查询。
浏览 0提问于2011-12-02得票数 1
1回答
如下面所述，使用Impala阅读Cloudera文档可以将Hive表与HBase较小的表连接起来，如果没有诸如OBDA这样的大数据设备和可变的大型HBase维度表：
如果有join查询对大型事实表进行聚合操作，并将结果与小维度表连接，请考虑使用Impala作为事实表，使用HBase处理维度表。(因为在本例中，Impala对HBase表执行完全扫描，而不是基于join列执行单行HBase查找，所以只在HBase表足够小以至于执行完整表扫描不会导致查询性能瓶颈的情况下才使用这种技术。)
有什么办法能让那把钥匙以另一种方式向上看吗？
此外，我还注意到了关于KUDU和HDFS的以下内容，大概是
浏览 4提问于2017-06-06得票数 0
回答已采纳
1回答
我对create external table在蜂巢中的行为有点迷惑。
如果我执行以下操作：
CREATE EXTERNAL TABLE hive_hbase_table ( key INT,
name map<STRING,STRING>,
info map<STRING,STRING>)
STORED BY 'org.apache.hadoop.hive.hbase. HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,Custo
浏览 1提问于2015-02-06得票数 0
2回答
我使用的是Hadoop2.4.0 / Hbase 0.98.0 / Hive 0.14.0
在我重启我的HMaster之前，Hadoop和HBase都运行得很好。hbase-hduser-master-master.log文件中出现以下错误：
2015-02-17 05:46:15,157 INFO [master:master:60000] master.TableNamespaceManager: Namespace table not found. Creating...
2015-02-17 05:46:15,193 DEBUG [master:master:60000]
浏览 2提问于2015-02-17得票数 4
回答已采纳
1回答
我在Hbase中有一个表，比方说"tbl“，我想使用Hive查询它。因此，我将表映射为单元，如下所示：
CREATE EXTERNAL TABLE tbl(id string, data map<string,string>)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,data:")
TBLPROPERTIES("hbase.tabl
浏览 1提问于2015-05-06得票数 9
如果我使用hbase shell并发出：
put 'test', 'rowkey1','cf:foo', 'bar'
scan 'test'
我将以字符串形式看到结果，而不是以字节形式。
如果我使用happybase并发出以下命令：
import happybase
connection = happybase.Connection('<hostname>')
table = connection.table('test')
table.put('rowkey2&
浏览 3提问于2014-01-15得票数 0
3回答
我已经在Linux平台上手动安装了HBase和Cloudera。我可以在上面创建表，但是当我创建一个名称空间时，它在两个安装上都会出现一个类似这样的错误。
hbase(main):004:0> create_namespace 'my_ns'
NoMethodError: undefined method `create_namespace' for #<Object:0x699dbc28>
Hbase版本0.94.12请在这方面帮助我。谢谢,
浏览 0提问于2013-12-07得票数 3
1回答
如果我在HBase外壳上运行带有前缀过滤器的扫描，那么无论我对前缀使用了什么，我都会在不到1秒内得到响应。(0vs9或"a“vs )在响应速度上没有区别)。
但是，当我从微软HBase库(在C#中)进行相同的查询时，得到答案可能需要长达90秒。有趣的是，如果我选择一个更接近于0的前缀，它会更快，我从0移动得越远，它所用的时间就越长。(作为前缀过滤器，“a”比"f“更快)。
不确定如何确定shell的操作与restful查询不同，也不确定如何使restful查询更具表现性。
一些细节：
这个表中有20,000,000多条记录。
行键设计为guid_inverse时间戳，例
浏览 1提问于2018-10-05得票数 1
回答已采纳
1回答
我在hbase .I上看到了hive外部表，在镶木地板上的hive表中，我们需要做刷新表来获得最新的数据。我们是否也需要在hbase上的hive中进行相同的操作？
浏览 2提问于2019-01-29得票数 0
1回答
我知道我可以使用表上的'describe‘来检查列族级别的TTL。有没有类似的shell命令可以在Cell级别上设置TTL？
这个答案谈到了通过HBase应用程序接口检索它的能力，而不是从HBase外壳程序检索它的能力，所以我认为应该有一种方法在外壳程序上检查这一点。
浏览 0提问于2018-06-14得票数 0
我已经使用Phoenix SQL create table query和指定的salt_buckets创建了一个hbase表。Salting会像预期的那样向行键添加前缀。
我已经创建了一个外部配置单元表，以使用hbase serde映射到此hbase表。问题是，当我通过筛选rowkey来查询此表时：
其中key = "value“
它不起作用，因为我认为salt前缀也是为了密钥而获取的。这限制了过滤key上的数据的能力。选项：
"where rowkey like "%value“
工作，但它可能需要很长的时间，因为整个表扫描。
我的问题是如何在hive中有效地查询这个
浏览 1提问于2017-06-15得票数 0
我运行的是Hbase 1.0.1/Hadoop 2.5.2。我正试图在一个表上运行扫描，但是我得到了RPC超时。
我已经将Hbase RPC超时更改为2分钟，我可以从UI中确认...
<property>
<name>hbase.rpc.timeout</name>
<value>120000</value>
<source>hbase-site.xml</source>
</property>
..。但我的委托人到了60岁还在超时...
Caused by: java.io.IOExc
浏览 7提问于2015-06-19得票数 11
1回答
我是Apache Hbase的新手，我正在使用hbase-0.98.13，并且我已经创建了一个包含列族sample_family的表示例表。并且我已经将pig脚本的输出加载到hbase表中。当我尝试根据列族中的一列来扫描表时，需要花费2分钟以上的时间。
下面是查询
scan 'sample', {FILTER=>"SingleColumnValueFilter('sample_family','id',=,'binary:1000')"}
谁能告诉我如何在一到两秒钟内完成这个过程？
是否需要对此进行任何配置更
浏览 0提问于2015-11-25得票数 1
1回答
我正在尝试扫描表Employee(已经在hbase中创建)。但是我说NameError时出错了。但是在hbase和命令匹配中创建的表的名称。可能的错误是什么？
下面是来自常年的片段：
hbase(主)：001:0>表
ARCHIVE_CALMAIL
ARCHIVE_USERSYNC
CALMAIL_DELETE_RECORDS
CAL_MAIL
CAL_MAIL_ARCHIEVE
CAL_MAIL_DELETE
CAL_MAIL_IOT
CONTACT_DETAILS
对话
客户
DIFF_SYNC
雇员
EmployeeInfo
FAILED_REQUESTS
GENERAL_INFO
浏览 4提问于2017-12-28得票数 0
3回答
Hadoop Hbase查询
、、、、
我有下面的设置
2节点hadoop/hbase集群，在hbase上运行第三层服务器。
Hbase有一个有1000万行的表。
我需要在hbase表上运行聚合查询(如sum() )，以便在web上显示它(图表目的)。
目前，我正在使用python(节俭客户端)获取数据集并进行显示。
我正在寻找数据库(Hbase)级别的聚合功能来使用在网络上。
有什么想法吗？
浏览 0提问于2012-09-25得票数 0
1回答
我需要计算HBase表上的聚合。
假设我有这个hbase表：‘元数据’列族:M列:n
这里元数据对象有一个字符串列表。
类元数据{列表标记；
}
我需要计算我正在考虑使用的标记的数量，或者使用mapreduce或者直接在hbase上扫描。
结果必须动态返回，。那么在这个场景中我可以使用哪一个呢？扫描hbase并计算聚合还是mapreduce？
Mapreduce最终将扫描hbase并计算计数。
使用这两种方法的利弊是什么？
浏览 0提问于2014-11-21得票数 1
回答已采纳
4回答
我编写作业mapreduce.The输入是hbase中的一个表。
当作业运行时，有错误：
自上次调用以来，org.apache.hadoop.hbase.client.ScannerTimeoutException:通过了88557ms，目前，在org.apache.hadoop.hbase.client.HTable$ClientScanner.next(HTable.java:1196) at org.apache.hadoop.hbase.mapreduce.TableRecordReaderImpl.nextKeyValue(TableRecordReaderImpl.java:13
浏览 4提问于2012-07-13得票数 12
1回答
我希望将hbase表数据作为.txt文件从hbase导出到hadoop，以便可以使用其他工具将.txt文件导入Server。我尝试了hbase org.apache.hadoop.hbase.mapreduce.Export test /usr/hadoop/hadoop-2.2.0/test，它只给了我一个文件文件夹，而不是txt文件。
有人能帮忙吗？
谢谢
浏览 3提问于2015-03-13得票数 0
回答已采纳
1回答
我有一个包含'a‘和'b’列族的HBase表。每行在族'a‘中至少有一列，但在族'b’中不能有任何列。如何只选择不包含'b‘族中的列的行？(我使用的是HBase Java API)
浏览 0提问于2014-05-26得票数 0
count命令的HBase shell帮助说明：
计算表中的行数。此操作可能需要很长时间(运行“$hadoop_HOME/bin/hadoop jar mapreduce rowcount”以运行计数hbase.jar作业)。
它是否应该通过JobTracker以正常方式运行此MapReduce作业？我应该在JobTracker历史中看到它吗？
浏览 0提问于2011-09-10得票数 0
回答已采纳
1回答
我正在尝试计算Hbase表中的行数。我可以用scannner做到这一点，但是使用RowCounter从Hbase table.Is获取行号是一个笨重的process.Want，我可以通过任何方式在Java代码中使用它。有没有可用的示例或代码片段。通过使用以下命令，直接使用rowcounter非常简单:-
/hbase org.apache.hadoop.hbase.mapreduce.RowCounter [TABLE_NAME]
请提供任何代码片段以在Java代码中使用相同的代码片段。
谢谢
浏览 2提问于2015-08-26得票数 1
鉴于这些数据：
row_key cf1:c1 cf1:c2 timestamp
------------------------------------------------------------
1 x t1
1 y t2
HBase 返回x和y，我通常希望它只返回y(因为这是最新的时间戳)。但事实并非如此。
有几种方法可以解决这个问题。
使用g
浏览 1提问于2018-05-31得票数 0
我正在尝试使用HBase表中的前缀筛选器扫描一些行。我上的是HBase 0.96。
我希望提高每个RPC调用的吞吐量，以减少访问该区域的请求数量。
我在扫描对象上尝试了getCaching(int)和setCacheBlocks(true)。我还尝试添加resultScanner.next(int)。使用所有这些组合，我仍然无法减少RPC调用的数量。我仍然按每个键的HBase区域，而不是在每个RPC调用中带多个键。
HBase区域服务器/数据节点有足够的CPU和内存分配。而且，我的数据平均分布在不同的区域服务器上。另外，我带回来的数据不是很多。
我注意到，当我向表中添加更多数据时，请求所需的时
浏览 1提问于2015-04-18得票数 0
回答已采纳
2回答
我已经使用hive在hbase中创建了一个表：
hive> CREATE TABLE hbase_table_emp(id int, name string, role string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:role")
TBLPROPERTIES ("hbase.table.name" =
浏览 3提问于2015-01-30得票数 1
回答已采纳
2回答
我使用的是Hbase版本2.0.2和phoenix V5.0.0。我在上面有一个HBase表，我们已经创建了Phoenix视图，使用以下步骤 hbase(main):007:0> create 'phownix_test','details'
hbase(main):008:0> put 'phownix_test','1','details:MAC','1234567'
Took 1.5056 seconds
hbase(main):009:0> put
浏览 96提问于2021-01-04得票数 2
回答已采纳
3回答
如何拍摄Hbase表快照？
、、、、
我是Hbase的新手，我正在寻找Hbase备份和恢复解决方案。CAn请您提到如何拍摄Hbase或Hbase表的快照，并将其恢复为恢复解决方案的一部分？
提前感谢！
浏览 4提问于2012-07-12得票数 1
我正在尝试通过JAVA api在HBase中创建一个表。我的代码如下：
Configuration config = HBaseConfiguration.create();
config.set("hbase.zookeeper.quorum", "127.0.0.1");
config.set("hbase.client.retries.number", "1");
config.set("zookeeper.session.timeout", "40000");
config.set("
浏览 0提问于2015-04-15得票数 0
有没有办法将hbase shell中的扫描结果输出到文件中？我假设这很容易，但我在文档中找不到任何东西。
浏览 2提问于2012-04-06得票数 30
回答已采纳
3回答
我正在抓取不同的行业数据，并将数据存储到单个hbase表中。例如，我正在抓取电子和计算机行业，并将其存储在一个名为‘industries _tbl’的表中。现在，我想在电子和计算机行业的数据集上运行map reduce，并使用收集的不同数据集生成减速器输出，但目前hbase正在获取这两个行业的全部数据，并给出我无法按行业区分的缩减结果。
关于如何解决这个问题，有什么帮助或想法吗？
浏览 3提问于2011-12-30得票数 0
我有两个版本的python脚本，它在while循环中用1000行扫描hbase中的表。第一次使用愉快基础，如在
while variable:
for key, data in hbase.table(tablename).scan(row_start=new_key, batch_size=1000, limit=1000):
print key
new_key = key
在中使用hbase节俭接口的第二种
scanner_id = hbase.scannerOpenWithStop(tablename, '', '', []
浏览 0提问于2015-06-19得票数 0
3回答
我有一个问题，关于hbase扫描使用timerange。我创建了一个'test‘表，它有一个家族'cf’和一个版本，在我将4行数据放在那个表中之后，然后使用timerange扫描那个表，但是，我在timerange中得到了一个旧版本行。
例如：
create 'test',{NAME=>'cf',VERSIONS=>1}
put 'test','row1','cf:u','value1'
put 'test','row2','
浏览 2提问于2012-06-21得票数 3
我想使用连接到rest服务器的node-hbase模块将HBase表中的记录转换为Node.JS代码。但是我无法在第一批之后获得下一组记录。所以我的最终计数是1000(这是批量大小)。但实际规模超过7000。
var hbase = require('hbase');
var client = hbase({ host: 'localhost', port: '17001', headers: { 'Connection': 'Keep-Alive' } });
var scanner = client
浏览 7提问于2018-04-10得票数 1
我已经将数据从水槽插入到HBase。我要检查数据的一致性。
我的意思是HBase提供了命令"count"，它提供了表的总行数。
问题是“计数”不能与“筛选”一起使用。
有什么方法可以用某些特定的条件(如过滤器)来进行行计数吗？
我感谢你提前提供帮助。
浏览 6提问于2017-05-11得票数 0
回答已采纳
1回答
微策略- HBase连接
、、、、
我们试图连接MS9.4与HBase通过黑帕拉连接器。
首先，我们创建了与HBase表相似的hive表，下面是create (正如我们在文档中看到的那样)：
CREATE TABLE hiveTableName1
(key int, columnName1 codClient, columnName2 clientName)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,c
浏览 0提问于2015-08-21得票数 2
回答已采纳
我尝试从hbase表加载所有数据。里面有10093条记录。这是我的猪剧本
register 'zookeeper.jar'
register 'hbase-server-0.98.6-cdh5.3.2.jar'
result = LOAD 'hbase://clf_transaction_train'
USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
'cf:features cf:content', '-loadKey true')
浏览 2提问于2017-01-23得票数 1
回答已采纳
使用插入的时间戳根据时间段获取hbase表行数的最简单方法是什么？我只发现使用：
hbase> count ‘t1’, INTERVAL => 100000
这并不能解决我的问题。似乎还有另一个选择，但我得到的结果是0吗？
hbase> get 'hbase_output', '*', {TIMERANGE => [1445212800,1445299200]}
COLUMN CELL
0 row(s) in 0.0900 seconds
这是做这件事的唯一两个选择吗？
浏览 0提问于2015-10-21得票数 0
嗨，我正在尝试将Hbase表快照导出到我的本地hdfs，这样我就可以运行mapreduce了。
我使用以下命令获取了Hbase表的快照
snapshot 'FundamentalAnalytic','FundamentalAnalyticSnapshot'
此外，当我运行list_snapshots命令时，我也可以看到我的快照。
我已经使用下面的命令将Hbase表快照导出到本地HDFS目录，并成功复制。
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot FundamentalAnaly
浏览 7提问于2017-05-31得票数 0
回答已采纳
我正在尝试对我的HBase数据集进行一些处理。但我对HBase和Hadoop生态系统非常陌生。
我想从这个社区得到一些反馈，看看我对HBase和MapReduce操作的理解是否正确。
这里有一些背景：
我们有一个大约1TB的HBase表，超过1亿条记录。它有3个区域服务器，每个区域服务器包含约80个区域，使整个区域达到240.3个。据我所知，表中的记录应该很均匀地分布到每个地区。
我想要实现的是，我可以根据某些列值过滤出行，并将这些行导出到HDFS文件系统或类似的东西中。
例如，我们有一个名为" type“的列，它可能包含值1、2或3。我希望有3个不同的HDFS文件(或目录
浏览 6提问于2020-06-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
