是否可以在hbase-default.xml中配置特定表格的最大单元格大小。
如果可能，请告诉我配置最大单元格大小的方法列表。
Reference: I got this error,
java.lang.IllegalArgumentException: **KeyValue size** too large
at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1312)
at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941)
at org.
浏览 1提问于2014-08-18得票数 0
你好，我是MapReduce和HBase的新手。请指点。我正在使用HBase将表格数据移动到MapReduce。现在数据是在HBase (所以在HDFS)中到达的。我已经创建了mapreduce作业，它将从文件中读取表格数据，并使用Hbase API将其放入HBase。
现在，我怀疑是否可以使用HBase查询MapReduce数据？我不想执行HBase命令来查询数据。是否可以使用HBase查询MapReduce的数据？
请帮忙或提出建议。
浏览 2提问于2014-01-27得票数 2
回答已采纳
1回答
HBase模式设计示例
、、、、
我想要一些关于HBase模式设计的建议。例如，有2000名患者，1.每个病人都有姓名、性别、年龄、hospital_ID。2.每名患者每分钟都会记录心脏部位、位置和步骤等活动数据。3.每名病人将接受几份问卷。
如何组织HBase表？
非常感谢你的帮助
我目前的想法是使用patient_ID作为行键。每个病人在HBase表中只有一行。但是，所有活动数据都将在嵌套表中分组。活动数据表将有数百万行。因此，这张表将有三个列族。CF1:info，CF2:activity_data，CF3:问卷。
然后，CF1:info包括(姓名、性别、年龄、ID)
CF2:activity_data (数据(嵌套表))
浏览 2提问于2017-05-05得票数 1
4回答
我试着对HBASE有一个清晰的理解。
Hive:-它只是为HDFS中的底层文件创建一个表格结构。这样，我们就可以使用户对HDFS文件具有查询能力。如果我错了请纠正我？
Hbase- -同样，我们已经创建了一个类似的表结构，但是在HDFS文件系统上，更多的是以结构化的方式(面向列)。
考虑到他们从事的工作类型，他们不是都一样吗？除了蜂巢在Mapredeuce上运行。
另外，我们不能在已经存在的HDFS文件上创建Hbase表，这是真的吗？
浏览 6提问于2014-02-18得票数 1
2回答
我试着从PySpark的HBase中读取一个表格。
这是我的代码。
from pyspark.sql.types import *
host = 'localhost'
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
tes
浏览 1提问于2016-07-27得票数 1
我最近为hadoop集群配置了两台机器(在ubuntu上)。到目前为止，它工作得很好。但是当我尝试在上面的hadoop集群上配置hbase时，它显示错误。这是我所做的，
我有两台机器。192.168.1.110 Hadoop主机192.168.1.111从Hadoop
conf/hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22 export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf export HBASE_MANAGES_ZK=true
hbase-site.xm
浏览 1提问于2011-03-11得票数 6
我想从hadoop mapreduce访问hbase表，我使用的是windowsXP、cygwin、hadoop-0.20.2和hbase-0.92.0。我能够在3台pcs上成功运行mapreduce wordcount，并验证了hadoop和hbase工作正常。我也可以从shell创建表格。
我已经尝试了许多示例，但它们都不起作用，例如，当我尝试使用javac Example.java编译它时。
它给出错误.....org.apache.hadoop.hbase.client不存在org.apache.hadoop.hbase不存在org.apache.hadoop.hbase.io不存在
浏览 0提问于2012-02-21得票数 0
我有一个外设表格，其格式如下。
CREATE EXTERNAL TABLE cs_mbr_prov(
key struct<inid:string,......>,
memkey string,
ob_id string,
.....
)
ROW FORMAT SERDE
'org.apache.hadoop.hive.hbase.HBaseSerDe'
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPER
浏览 10提问于2022-05-15得票数 0
回答已采纳
2回答
我发现很难为下面的需求建模HBase表。
我有一个桌子‘商店’，在那里它存储商店的细节(必胜客)。
我有一个表'Order‘，它有交易的摘要(总交易额等)。
我有另一个表“Order_Item”，其中存储事务中的每一个订购项目(这有项目id、项目名称、项目计数、税收等)。
的要求是，给定一个时间范围，根据特定商店的特定订单项目计算总收入.
例子:日期范围-上周，商店-比萨A，项目- A，总收入-120美元
的另一项要求是，给定一个时间范围，根据商店的特定订单项目计算总收入的百分比。
例如:日期范围-上周，商店-比萨A，项目- A，百分比收入- 23%
我真的被困在如何建模hbase表格
浏览 2提问于2012-04-19得票数 4
回答已采纳
我对Hadoop生态系统有几点怀疑。渴望很好地理解这些概念。
蜂巢表在哪里存储数据？
对于Datawarehouse，我们是否需要在Hive和Hbase表中都有相同的数据。
如何从Hbase中插入、更新、读取数据。
除了csv之外，HDFS还可以存储所有文件格式。
我们能吃点Hbase吗。
如果我有蜂巢，我可以省略Hbase表吗？
浏览 4提问于2012-10-17得票数 0
1回答
我对大数据很陌生，并试图了解各种持久化和检索数据的方法。我知道Parquet和HBase都是面向列的存储格式，但是Parquet是一个面向文件的存储，而不是一个与HBase不同的数据库。我的问题是：
使用Parquet代替HBase的用例是什么？
是否有可以与HBase一起使用Parquet的用例？
在执行联接的情况下，Parquet是否比HBase (例如，通过像菲尼克斯这样的SQL皮肤访问)性能更好？
浏览 1提问于2018-09-09得票数 20
回答已采纳
在Hadoop中，我可以轻松地创建Map/Reduce应用程序，这些应用程序可以访问和处理巨大的文本文件和csv文件中的数据。我的问题是，Hbase能不能做同样的事情，访问这么大的文件，或者HBase有其他用途？
HBase就像运行关系数据库一样运行查询；所以，我很难理解Hbase的优势，除非它可以像Hadoop那样访问巨大的文本和csv文件。
浏览 3提问于2012-12-18得票数 0
回答已采纳
1回答
我加入了3个巨大的表格(十亿行表格)在HIVE。收集了所有的统计数据，但性能仍然很差(查询需要40分钟以上)。
是否有可以在配置单元提示中设置的参数以获得更好的性能？
当我尝试执行时，我看到的信息如下
Sep 4, 2015 7:40:23 AM INFO: parquet.hadoop.ParquetInputFormat: Total input paths to process : 1
Sep 4, 2015 7:40:23 AM INFO: parquet.hadoop.ParquetFileReader: reading another 1 footers
所有的表都是在BigSql
浏览 0提问于2015-09-04得票数 4
根据我的理解，HIVE和HBASE都使用HDFS来存储数据。当我们integrate HIVE and HBASE
数据是如何在它们之间移动的？还是说数据不会移动，只是反映出来呢？我有兴趣了解两种情况。
One: Table_1有数据，its在胞内，Table_2有数据，its在HBASE中。现在发生了集成(这个场景是否可能？)。
数据移动是如何发生的？是从HBASE到蜂巢还是从蜂箱到HBASE。
Two:设置为scenario One。现在是新插入的记录。他们会去哪里？
我是HBASE的新手，对了解数据移动的细节和例子感兴趣。
如果需要，请改进这个问题。提前谢谢。
浏览 2提问于2014-01-18得票数 2
回答已采纳
我是hbase的新手。在hbase中创建了30个表。我想查看这些表结构。
我使用下面的命令查看这些表，但只有一个表。希望我需要连接到hbase中的正确数据库来列出表格。
hbase(main):017:0> list
TABLE
test
1 row(s) in 0.0140 seconds
现在，我想让命令知道hbase中存在(已经创建)的数据库是什么
浏览 10提问于2017-06-07得票数 0
最近，我使用hadoop批量加载将数据放入hbase中，首先，我调用hdfs将数据写入hadoop中的文件中，总共有7,000,000行数据，大小为503 to。其次，我使用org.apache.hadoop.hbase.mapreduce.ImportTsv和org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles将数据放入hbase中。
我所做的最重要的事情是使用大容量工具将数据放入hbase中，在完成大容量加载之后，我发现hbase表是1.96GB。hdfs复制为1，我不知道为什么。
浏览 5提问于2012-12-13得票数 3
4回答
HBase中的高级查询
、、、
给定以下HBase模式场景()..。
您将如何为两个实体之间的多对多关联设计Hbase表，例如，学生和课程？
我要定义两个表格：
学生:学生身份资料(姓名、地址、.)课程(此处使用课程ids作为列限定符)
课程:课程资料(名称，教学大纲，.)学生(此处使用学生ids作为列限定符)
此架构允许您快速访问查询，显示学生的所有班级(学生表、课程系列)或班级的所有学生(课程表、学生家庭)。
你如何满足这样的要求：“给我所有至少有两门共同课程的学生”？您能否在HBase中构建一个将返回该集的“查询”，或者您是否必须检索所有相关数据并自己在代码中进行处理？
浏览 0提问于2009-09-16得票数 8
回答已采纳
我使用HBase完全批量加载将ImportTsv的输出传输到HBase中的一个表中，并注意到它复制输出而不是裁剪。这需要很长时间来处理我的千兆字节数据。
在HBase文档()中，我看到文件将被移动，而不是复制。有人能帮我吗？
我使用Hbase 0.94.11和Hadoop1.2.1。大容量输出目录和hbase集群的文件系统也是相同的。
我还使用MapReduce编写了一个HFileOutputFormat作业。当我使用LoadIncrementalHFiles将作业的输出移到HBase表时，它仍然复制而不是剪切。
亲切的问候
浏览 0提问于2013-09-15得票数 1
回答已采纳
1回答
我对Hadoop的互操作性有疑问。一个zookeeper可以同时与Solr和Hbase系统交互吗？如果是，它将如何相互作用。另外，让我们考虑一下，我们有一个zookeeper，它同时与Solr系统和Hbase系统交互。对Solr和Hbase系统的要求是不同的。zookeeper将如何区分Solr和Hbase系统的需求
浏览 6提问于2016-05-30得票数 0
2回答
嗨，我是hadoop的新手，我正在尝试使用MapReduce导入一个csv表到Hbase。
我使用的是Cloudera 5.9
我首先想使用MapReduce从CSV表格式以编程方式创建一个HBase表(因为我使用由非常多的列组成的csv文件)，然后将CSV文件的内容加载到HBase表中。
请任何人指导我或告诉我如何解决这个问题
浏览 0提问于2016-11-16得票数 1
我在HBase中有一个表，我希望将其表示为hive中的EXTERNAL TABLE
到目前为止，我一直在使用：
CREATE EXTERNAL TABLE events(key STRING, day INT, source STRING, ip STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,c:date#b,c:source,c:ipAddress")
浏览 2提问于2013-05-15得票数 1
2回答
如果HDFS不允许修改文件，HBase为什么要存储和修改数据？很难找到这个问题的答案，因为结果大多是面向HBase物理数据格式的。但是我找不到HBase是如何解决HHDFS文件不可变的问题的？
浏览 2提问于2013-10-01得票数 3
回答已采纳
我在我的项目中使用Hbase支持的Hive表，但我们选择Hbase支持的Hive的原因是为了执行更新。
除此之外，Hbase支持的Hive表还有什么其他优势。因为它在从配置单元查询时仍然使用MapReduce。即使我们想要很小的数据集，而且表很大，给出结果也需要时间。
但是，如果我们在Hbase shell中使用Range或get执行扫描，结果会在几秒钟内出现。那么，除了更新(现在也可以在Hive中使用)和SQL ease之外，使用Hbase支持的HIVE表还有什么其他优势呢？
如果HIVE由Hbase支持，HIVE如何计算和运行查询？为什么它使用MapReduce而不是更快的Hbase引擎来
浏览 0提问于2017-09-23得票数 1
我是Hbase dbms的新手。在尝试hbase的命令行shell时，我发现我可以读取rowkey、col和col限定符，因为它们是以字符串格式打印出来的，但值是以十六进制格式(或类似的格式)打印出来的。这背后的确切概念是什么？
hbase(main):045:0* scan 'testtable'
ROW COLUMN+CELL
浏览 2提问于2013-04-26得票数 1
回答已采纳
2回答
在我的项目中，我们使用Hadoop 2、Spark、Scala。Scala是编程语言，Spark在这里用于分析。我们同时使用Hive和HBase。我可以使用HDFS访问Hive的所有细节，如文件等。但我的困惑是-
当我能够使用Hive**，执行所有任务时，为什么需要** HBase 来存储数据。这不是一种开销吗？
HIVE 和 HBase**?**的功能是什么？
如果我们只使用Hive，那么问题应该是什么呢？
有谁能告诉我。
浏览 2提问于2016-12-29得票数 4
回答已采纳
我是Hbase的新手，我只想了解Hbase的写操作。如果多个客户端在同一个表中写入，那么Hbase如何保持对物理文件的顺序写入。
Hbase将数据存储在哪里(我认为是在HDFS中)？
我们可以在HDFS之外存储Hbase数据吗？
浏览 2提问于2013-04-12得票数 0
回答已采纳
我正在试验一些hbase代码。我意识到，当我使用put命令通过hbase shell插入数据时，所有内容(包括数字和字符串)都被放入字符串：
hbase(main):001:0> create 'employee', {NAME => 'f'}
hbase(main):003:0> put 'employee', 'ganesh','f:age',30
hbase(main):004:0> put 'employee', 'ganesh','f:des
浏览 3提问于2016-07-08得票数 1
回答已采纳
在pig中，我们可以定义变量并在多个地方使用它。
%declare variable_name 'value'
在我的示例中，我有HBase表。我只有一行和一列。该单元格的值是动态表格的名称。因此，我希望读取该值，并需要在其他查询中使用该值。我已经写过了。
table_name = LOAD 'hbase://sample'
USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('table_name:passive','-limit 1')
浏览 0提问于2016-01-18得票数 0
我总共有10个节点。3个节点运行Zookeeper，其余7个节点运行HDFS和Hbase。而且Hbase已经存储了很多数据。我错误地初始化了Zookeeper节点的(I'm using Cloudera, by mistake clicked the Initialize Button)。我想知道这3个Zookeeper节点是否丢失了可能是Hbase mata数据的持久数据。或者说，Hbase将元数据存储在Hmaster中，而Zookeeper只存储一些内存数据。
浏览 4提问于2016-07-09得票数 1
如何在HBASE中插入图片？我需要在hbase中存储图像(hbase是我项目中的DB )
浏览 1提问于2013-01-03得票数 0
因此，我们在Azure集群中的HBase中创建了一个表，但不确定存储空间。如何检查表是否位于blob中？
我一直在搜索文档和Ambari网站上的HBase部分。
提前谢谢。
浏览 0提问于2018-07-09得票数 0
目前，我对HBase块缓存感到困惑。
我已经意识到了HBase块缓存的存在，这是为了提高读取性能。问题是，如果我通过命令阻止HBase，
stop-hbase.sh
通过命令重新启动 HBase，
start-hbase.sh
它是否会导致丢弃HBase的所有块缓存而块缓存变为空？
谢谢大家提前给我。
浏览 4提问于2020-12-07得票数 0
回答已采纳
对于单个表，我们可以使用以下查询获取Hbase快照
hbase(main):024:0>
snapshot 'tableX', 'snapshotX'
我可以知道如何为多个表拍摄快照吗？
hbase(main):024:0>list 'table*'
TABLE
tableA
tableB
tableC
有没有人可以教我如何一次拍摄表格的快照？
非常感谢。
浏览 9提问于2016-06-18得票数 0
3回答
我是大数据技术的新手，我有一个关于hbase如何与hadoop集成的问题。"Hbase位于HDFS之上“是什么意思？我的理解是，HDFS是分布在多个节点上的结构化和非结构化数据的集合，而HBase是结构化数据。
如何将Hbase与Hadoop集成，以提供对底层数据的实时访问。我们必须编写特殊的作业来构建索引之类的吗？换句话说，Hbase和hdfs之间是否有一个额外的层，其中包含HBase所理解的结构中的数据。
浏览 8提问于2016-03-27得票数 1
回答已采纳
2回答
hbase未启动
、、、
我正在尝试从java客户端api中获取hbase中的连接。
这是我的代码。在这里，我已经写了一些在hbase中获得连接的代码。
当我运行这段代码时，我没有得到任何错误。但是我不能用这个来创建任何表格。
Configuration hbaseConfiguration = HBaseConfiguration.create();
try {
hbaseConfiguration.set("hbase.rootdir",
"file:///home/sample/hbase");
hbaseC
浏览 3提问于2013-02-26得票数 0
我的客户有一个计算场景，一些数据存储在集群A的Hive中，另一些数据存储在集群B的Hbase中，然后他们想要对这两种表进行一些连接操作。
那么有没有一种方法可以让我在Hive中这样做：
select hive_table.col1, hbase_table.col2 from hive_table inner join hbase_table on hive_table.id = hbase_table.id
配置单元表和hbase表存在于不同的集群中。
浏览 1提问于2018-05-26得票数 1
我使用apache在hbase中存储数据，hbase使用hdfs作为其文件系统。我想知道它存储在hbase中的哪些文档。如何读取hbase中的数据，例如，一些pdf存储在hbase中。我想读一读。我会怎么做。
请指引我？
浏览 2提问于2014-09-22得票数 0
回答已采纳
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
当我在HBase中创建表时，我得到了这个错误。我给出了如下使用HBase创建表格的方法。我在控制台上输入以下命令。
create 'test', 'cf'
我得到了上面提到的错误。出现此错误的原因是什么？我正在单机系统中试用这张桌子。
浏览 0提问于2012-01-04得票数 7
我已经安装了hadoop和Hbase，据我所知，它们都工作得很好。当尝试使用hadoop构建jar时，我得到了一个
java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
错误，在我的maven依赖项中使用Hbase版本0.90.2。
我认为这是Hbase的一个很旧的版本，我不确定这个旧版本是否与Hadoop2.7.2甚至Java 8兼容。
Failed to execute goal on project exercise_2: Could not resolve dependencies for
浏览 7提问于2016-04-29得票数 3
我想使用HBase作为一个存储，在那里我可以推入几百万个{document => {term => weight}}格式的条目。"Insert term X into document Y with weight Z“，然后发出类似于"Select the top 1000 term for this document”或"Select the top 1000 term for each document“的命令。这在我当前的MySQL实现中可以工作，但是该域可能更适合HBase。我注意到HBase和BigTable用于全文索引，这是一个类似的问题领域。
浏览 0提问于2009-11-06得票数 2
回答已采纳
我是HDP的新手，我想创建一个包含多个列的hbase表，并从csv文件加载数据，如下所示
如您所见，我的每个示例列族都有"informations personnelles“，其中包含多个列，如"nom”、"prenom“等。
所以我的问题是：-如何在hdp沙箱上使用java api创建表hbase？-如何从csv文件加载数据？
ps:我试图创建表格，但我不知道如何在沙箱上运行它？我的java类放在哪里？我需要配置什么吗？
以下是我的代码
import java.io.IOException;
import org.apache.hadoop.hbase.H
浏览 6提问于2016-09-07得票数 0
如果我想在表格中插入：
row | fam:qualifier | timestamp | value
1 | foo:bar | 12345 | 2
1 | foo:bar | 12346 | 3
1 | foo:bar | 12347 | 2
1 | foo:bar | 12348 | 1
.
.
.
1 | foo:bar | 123410 | 2
我可以在hbase shell中指定从特定行获取的最大版本数，但是当我指定'100‘时，它只返回4个版本……有上限吗？
浏览 2提问于2011-10-22得票数 7
回答已采纳
2回答
我想实际观察一下HBase中的恢复是如何工作的，我使用了以下代码片段
Put p=new Put(Bytes.toBytes("name10"));
p.setWriteAheadLog(true);
p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some Value 10"));
table.setAutoFlush(true);
table.put(p);
在执行上述代码之后，我重新启动了VM (不停止HB
浏览 3提问于2013-03-18得票数 0
回答已采纳
1回答
嗨，出于开发和测试目的，我使用本地文件系统安装了Hbase 0.89 (oct版本)。我使用hbase shell创建了一些表和行。无论何时我重启hbase，都没有可用的数据/表。对此有什么建议吗？
浏览 0提问于2010-12-15得票数 0
回答已采纳
1回答
当我选择hbase时，我正在尝试使用ODBC驱动程序连接cData，但在我的tableau屏幕上没有得到表格。我正在使用我的服务器ip和hbase端口16000.If我正在输入表名that (与data source.Unable通信以连接到服务器正在运行且您具有访问所请求数据库的权限的server.Check时发生错误。)
参考：
浏览 0提问于2016-05-17得票数 1
1回答
在hbase集群上设置多个tsd
、、、、
在我的HBase集群上设置多个opentsdb实例时，需要执行哪些所有配置？我想设置一些写的实例和一些只读的实例。
我找到了这个链接
$20tsd/opentsdb/NiTKnsmm7NI/O7mPzWwwshYJ
但是我感到困惑的是，是否所有实例都需要指向运行HMaster守护程序的单个主节点？如何在不同的实例中设置这些属性？
$20tsd/opentsdb/nZ59_xMaRvo/_ZWzCdj0FU8J
tsd.storage.hbase.data_table
tsd.storage.hbase.uid_table
tsd.storage.hbase.zk_basedir
tsd.sto
浏览 1提问于2016-02-15得票数 0
我的批处理作业计划从HBase表加载约2.5亿条记录到Kafka队列。
该批处理最初以1250行/秒的速度启动扫描或读取。但是在读取了大约400万到500万条记录之后，读取速度会减慢到90行/秒，并将永远保持下去。
我尝试了各种方法来刷新连接的每400万条记录，但它仍然在放缓。
下面是它的配置和逻辑。
private Configuration mHbaseConf;
private int MAX_HBASE_BATCH_SIZE = 1000;
private void hbaseConfCreation() {
this.mHbaseConf = HBaseConfigurat
浏览 1提问于2015-03-07得票数 1
回答已采纳
我正在探索Hbase。我面临的问题之一是“如何将Get从Hbase检索到的值转换为特定的Java数据类型”.For，例如我在Hbase.Everything中存储3个字符串，1个整数和1个浮点数转换为byte[]。那么，在查找数据时，我如何知道哪一个是哪一个？请帮帮忙。
浏览 3提问于2013-04-30得票数 0
8回答
你好，我是hbase和hadoop的新手。我找不到为什么我们要在hbase上使用hadoop。我知道hadoop是一个文件系统，但是我读到我们可以在没有hadoop的情况下使用hbase，那么我们为什么要使用hadoop呢？
thx
浏览 1提问于2012-05-19得票数 10
回答已采纳
我有关于hbase表格的问题，映射到菲尼克斯。这是否可以直接用于查看菲尼克斯上的hbase表？因为当我尝试这样做时，我遇到了一个错误：“表是只读的”。
谢谢
浏览 1提问于2018-11-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
