1回答
HBase wal变得越来越大。详情如下：
3.2 K 9.6 K /hbase/.hbase-snapshot
0 0 /hbase/.hbck
0 0 /hbase/.tmp
0 0 /hbase/MasterProcWALs
534.2 G 1.6 T /hbase/WALs
400.3 M 1.2 G /hbase/archive
0 0 /hbase/corrupt
267.0 G 796.5 G /hbase/data
42 1
浏览 14提问于2020-11-09得票数 0
回答已采纳
你好，我是MapReduce和HBase的新手。请指点。我正在使用HBase将表格数据移动到MapReduce。现在数据是在HBase (所以在HDFS)中到达的。我已经创建了mapreduce作业，它将从文件中读取表格数据，并使用Hbase API将其放入HBase。
现在，我怀疑是否可以使用HBase查询MapReduce数据？我不想执行HBase命令来查询数据。是否可以使用HBase查询MapReduce的数据？
请帮忙或提出建议。
浏览 2提问于2014-01-27得票数 2
回答已采纳
Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：
100节点hadoop & hbase集群 (1大Hadoop&Hbase)
分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群 (1 Hadoop +1 Hbase)
哪种选择更好？为什么？
谢谢。
浏览 4提问于2014-04-19得票数 1
回答已采纳
1回答
我计划将数据从本地hbase导出到我的生产hbase表中，这里我想将导出的数据附加到生产中。我该如何实现？是否可以在生产环境中使用hbase export shell命令和导入？是否将数据追加到现有的表中？有没有什么工具可以做同样的事情？
$ bin/hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> [<versions> [<starttime> [<endtime>]]]
$ bin/hbase org.apache.hadoop.hba
浏览 4提问于2012-12-17得票数 0
回答已采纳
hadoop在哪里存储hbase数据？是否有hbase数据的物理路径？我想使用sqoop将hbase数据导出到MS。我需要指定参数export。但我找不到hbase数据的数据。有人能帮忙吗？
谢谢
浏览 1提问于2015-02-17得票数 0
回答已采纳
1回答
我们正在为我们的hbase集群使用phoenix和hbase-indexer，并且我们发现了一个关于phoenix二级索引的奇怪现象：
我们将数据(使用psql导入csv数据)与来自phoenix的两个全局可变索引表(C_PICRECORD_IDX1和C_PICRECORD_IDX2)放入一个表(C_PICRECORD)中，并使用hbase-indexer将数据复制到solr中。数据导入完成后，我们发现solr document numfound与hbase表行数不同。当我们删除索引表，清除数据并再次放入数据时，我们发现solr document numfound与hbase表的行数相同。
最
浏览 2提问于2016-06-01得票数 1
我试图使用以下命令在hbase中插入数据：
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,f:pageviews,f:visit -Dimporttsv.separator=\001 -Dimporttsv.bulk.output=output modelvar /000000.gz
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles modelvar output
其中，modelvar是存储数据
浏览 2提问于2013-10-15得票数 3
回答已采纳
我使用apache在hbase中存储数据，hbase使用hdfs作为其文件系统。我想知道它存储在hbase中的哪些文档。如何读取hbase中的数据，例如，一些pdf存储在hbase中。我想读一读。我会怎么做。
请指引我？
浏览 2提问于2014-09-22得票数 0
回答已采纳
我试图将HDFS目录中的所有文件数据加载到HBase存在的table.Can中，请与我分享如何将所有文件数据和增量数据加载到HBase表中。我将HBase表创建为
hbase>create 'sample','cf'
我得复印
hdfs://ip:port/user/test
进样hbase table.please建议我任何解决方案。
浏览 3提问于2016-11-03得票数 1
回答已采纳
1回答
根据hbase官方教程，在配置hbase分布式集群时，在hbase-sit.xml文件中，需要配置属性hbase.rootdir指向hdfs集群地址。而且，所有hbase数据都将保存在hdfs上。在这种情况下，hbase集群是否需要多个数据节点？
浏览 0提问于2013-04-23得票数 0
回答已采纳
2回答
我刚开始接触hbase。因此，我创建了一个表，并在该表中填充了一些数据。但是重新启动计算机后，所有的数据都丢失了。甚至在使用stop-hbase.sh停止hbase时也会发生这种情况。hbase安装:伪分布式hbase-site.xml：
hbase.rootdir hdfs://本地主机:9000/hbase
浏览 0提问于2017-11-07得票数 2
2回答
将Kafka中的流数据“导入”到HBase中的最佳实践是什么？
使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。
1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka --> Spark Streaming --> HBase、Kafka --> HBase)
2)哪里是进行protobuf反序列化的最佳位置(例如，在Flume中使用拦截器)？
谢谢您一
浏览 1提问于2015-08-18得票数 6
1回答
我们正在进行一个使用HBase作为操作数据存储的项目；所有数据都将实时进入hbase。而且，在每2小时，Hbase中的数据需要同步到蜂巢。这是为了使分析查询能够运行在最新的数据之上。
为了同步从Hbase到Hive的数据：
仅用于插入/更新场景，我可以使用hbase提供的时间戳列来知道插入/更新的记录。对于“删除”场景，我很难找到正确的方法。
HBase扫描API提供了任何选项吗？
或者，我是否应该使用任何SQL选项(比如Apache凤凰)来进行同样的操作？
浏览 4提问于2019-07-10得票数 1
1回答
我们在hadoop hbase数据库中创建了一个数据仓库，其中有一个包含hbase数据库的hadoop集群和一个drill sql引擎集群。我想让一个用户访问hbase的每个表，所有用户都不能看到所有的数据库表。我们如何在此platform.how中具有安全性和身份验证?在钻取过程中，我们可以控制对hbase表的访问吗？我知道hbase有身份验证。但我不知道它和drill是怎么工作的？我们必须在hbase上更改我们的sql引擎吗？如何使用drill连接hbase和身份验证？
浏览 18提问于2017-01-23得票数 0
1回答
操作系统: Windows
使用这个，我可以将特定的表导入到HBase中；但是，如何将数据库的所有表作为单独的表导入HBase？
Sqoop命令将所有表从数据库导入到单个HBase表中
sqoop import-all-tables --hbase-table testhbaseall --hbase-create-table --column-family hr --connect jdbc:mysql://localhost/madha --username root --password sa --warehouse-dir /user/h40/hr -m 1 --hbase-ro
浏览 3提问于2015-08-21得票数 2
1回答
我创造了一个hbase-蜂巢表。我通过蜂巢插入数据。
CREATE TABLE hivetest(cookie string, timespent string, pageviews string, visit string, logdate string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "m:timespent, m:pageviews, m:visit, m:lo
浏览 1提问于2013-09-24得票数 2
回答已采纳
我有一个运行在Hadoop1.1.2和HBase 0.94上的集群。有没有办法可以将HBase数据复制到HDFS文件，停止HBase，安装HBase 0.98并将数据复制到HBase 0.98？
我可以接受停机时间。我尝试了CopyTable和导入方法，但都不起作用。
浏览 1提问于2016-10-17得票数 0
最近，我使用hadoop批量加载将数据放入hbase中，首先，我调用hdfs将数据写入hadoop中的文件中，总共有7,000,000行数据，大小为503 to。其次，我使用org.apache.hadoop.hbase.mapreduce.ImportTsv和org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles将数据放入hbase中。
我所做的最重要的事情是使用大容量工具将数据放入hbase中，在完成大容量加载之后，我发现hbase表是1.96GB。hdfs复制为1，我不知道为什么。
浏览 5提问于2012-12-13得票数 3
我正在将我的MySQL数据库传输到hdfs。我正在使用Hadoop和HBase。我已经安装了Hadoop和HBase，它们都工作得很好。现在，我想将HBase与MySQL连接起来，不断地将数据从我的MySQL数据库发送到Hadoop/HBase。
浏览 1提问于2015-10-31得票数 1
1回答
我从Hadoop、HBase、Pig环境开始；我将在Hbase表上存储一个数据库；以下是我的请求：
hbase-> create创建我的数据库。
我在HDFS文件hadoop dfs- CVS本地~ /data.csv / user / hduser / location.csv上重新启动了我的CVS文件
我处死了我的请求猪
raw_data =使用PigStorage (';') AS ( WMO: int，期限: charArray，温度: int，temps_present: int，direction_du_vent: int，force_du_vent: int
浏览 0提问于2013-07-23得票数 1
回答已采纳
我是Hbase的新手，我只想了解Hbase的写操作。如果多个客户端在同一个表中写入，那么Hbase如何保持对物理文件的顺序写入。
Hbase将数据存储在哪里(我认为是在HDFS中)？
我们可以在HDFS之外存储Hbase数据吗？
浏览 2提问于2013-04-12得票数 0
回答已采纳
如果我使用TableMapReduceUtil( hbase )创建MR job，似乎hbase扫描仪将数据输入映射器，并将数据从还原器转换为特定的hbase输出格式，以便将其存储在hbase表中。由于这个原因，我预计hbase mapreduce作业将比本地MR job花费更多的时间。那么，Hbase的工作时间肯定要比本地的先生长多长时间？
浏览 3提问于2014-02-19得票数 2
回答已采纳
我在Hbase中通过nutch保存了我的爬行数据，其文件系统是hdfs。然后，我通过命令将我的数据(hbase的一个表)直接从hdfs复制到某个本地目录。
hadoop fs -CopyToLocal /hbase/input ~/Documents/output
之后，我通过以下命令将数据复制回另一个hbase (其他系统)
hadoop fs -CopyFromLocal ~/Documents/input /hbase/mydata
它保存在hdfs中，当我在hbase中使用list命令时，它将它显示为另一个表，即“mydata”，但当我运行scan命令时，它表示没有带有“mydata”
浏览 2提问于2014-09-18得票数 11
回答已采纳
我试图使用Importtsv将csv文件加载到Hbase。
我已经将customers1.csv上传到hdfs，使用命令创建了一个名为t1的hbase表。
hbase(main):001:0> create 't1','FirstName','LastName'
当我试图通过运行命令将csv数据加载到hbase表t1时：
hbase(main):010:0> hbase org.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.separator=',' -Dimpo
浏览 2提问于2017-07-25得票数 0
1回答
用于实时应用的Hbase
、、、
我想要建立一个实时应用程序的预测维护。我想过用Hbase和菲尼克斯。菲尼克斯在HBase上提供SQL层。
我读到Hbase对像1亿行plus++这样的大数据是好的。但我的应用程序数据目前还没有数据。如果一开始只有少量数据，Hbase数据库将如何反应？HBase是实时网络应用的一个很好的解决方案吗？
我想要一个像系统一样的蓝宝石建筑。用于批处理和流处理。在HDFS之上的HBase会成为我的OLTP和OLAP系统吗？
由于蓝光建筑有一个批处理和速度层.我可以在HDFS中使用Hbase数据进行批处理并将结果保存回HBase中吗？
一般来说，我想知道HBase是否是一个很好的解决方案，可以构建一个实时
浏览 3提问于2016-12-04得票数 3
回答已采纳
我正在设计Solr中的数据索引功能。我们正在使用Storm拓扑，并有一个Hbase螺栓，它正在添加数据到Hbase。需要的是，我们在Hbase中添加的数据，也需要索引。
可供选择的办法如下：
添加代码到索引在Solr，在Hbase螺栓本身。
创建一个新的螺栓，并将Solr索引分开
使用Hbase ND索引器，并将Solr索引器与Hbase行插入集成。
前两个选项类似于事务，即Hbase和Solr或none。但不确定，我们能否做到这一点，因为我们正在处理大规模的数据。
对于第三种选择，起点是Hbase，因此假定所有数据都在那里。但是，我们无法完全控制调试，因为我们必须将jar
浏览 3提问于2015-05-21得票数 0
回答已采纳
1回答
Hello :)我正在准备将1HBase表的整个数据移动到hive。表的大小非常大(500TB) 作为搜索的结果，有hbase导出，但仅支持hbase和hbase之间的数据移动( hdfs中丢弃的文件不是纯文本，因此hive无法立即读取它们)此外，由于hbase是远程群集和各种安全策略，无法使用hbase的hbase处理程序。 如果能像Hive to Hive那样支持INSERT INTO语法就好了，但我正在寻找另一种方法。有没有用逗号分隔Hbase表的每一列并将其放到hdfs中的好方法？
浏览 14提问于2020-08-27得票数 1
1回答
我希望构建从HBase连接器到Gemfire的实时数据插入的GemFire，反之亦然，这方面的任何指针都会有很大的帮助。基本要求是将数据排除到Hbase中，过期数据应该刷新到Hbase，如果发生缓存丢失，则应从Hbase中提取数据。
浏览 5提问于2016-01-12得票数 0
回答已采纳
我是Hbase和Hive的新手。有人能解释一下如何使用Hive将数据插入Hbase吗？
我发现了很多关于这方面的信息，但他们都在谈论同样的事情。换句话说，它们从另一个已经存在的表中插入到Hbase表中。
就我而言，情况就不一样了。我有一个应用程序，它从用户那里读取一些数据并发送到服务器，传入的数据需要写入Hbase表中。我怎么能这么做？
这是我的桌子：
CREATE TABLE hive_table (key INT, username STRING, password STRING, address STRING)
STORED BY 'org.apache.hadoop.hive
浏览 3提问于2013-05-22得票数 0
2回答
我试图将数据从一个hbase(v0.98.4)导入另一个hbase(v0.98.13)。
我使用以下命令导出数据-
hbase org.apache.hadoop.hbase.mapreduce.Driver export 'tblname' /path/
但我无法使用以下命令导入它-
hbase org.apache.hadoop.hbase.mapreduce.Driver import 'tblname' /hdfs/path/
我收到下面的反对消息以及抛出的异常-
是因为源db和目标db之间的版本冲突吗？
浏览 2提问于2015-06-24得票数 0
回答已采纳
1回答
我使用apache Hbase 2.3.5构建了一个数据库。我可以成功地插入7行。但当我尝试插入第8个原始数据时，抛出错误"hbase(main):096:0> put 'Car'，008，'car:color'，'red‘SyntaxError：(hbase):96:语法错误，意外tINTEGER put 'Car'，008，'car:color'，'red’“
hbase(main):100:0> create 'Car','car'
Created ta
浏览 24提问于2021-05-26得票数 1
3回答
我是大数据技术的新手，我有一个关于hbase如何与hadoop集成的问题。"Hbase位于HDFS之上“是什么意思？我的理解是，HDFS是分布在多个节点上的结构化和非结构化数据的集合，而HBase是结构化数据。
如何将Hbase与Hadoop集成，以提供对底层数据的实时访问。我们必须编写特殊的作业来构建索引之类的吗？换句话说，Hbase和hdfs之间是否有一个额外的层，其中包含HBase所理解的结构中的数据。
浏览 8提问于2016-03-27得票数 1
回答已采纳
根据我的理解，HIVE和HBASE都使用HDFS来存储数据。当我们integrate HIVE and HBASE
数据是如何在它们之间移动的？还是说数据不会移动，只是反映出来呢？我有兴趣了解两种情况。
One: Table_1有数据，its在胞内，Table_2有数据，its在HBASE中。现在发生了集成(这个场景是否可能？)。
数据移动是如何发生的？是从HBASE到蜂巢还是从蜂箱到HBASE。
Two:设置为scenario One。现在是新插入的记录。他们会去哪里？
我是HBASE的新手，对了解数据移动的细节和例子感兴趣。
如果需要，请改进这个问题。提前谢谢。
浏览 2提问于2014-01-18得票数 2
回答已采纳
我将用户数据存储在HBase中，我有c#客户端，它使用HBase REST API将数据存储在HBase表中。有可能通过多个线程更新用户数据。如何更新表中的行，以及如何对行应用锁定系统。注意：-我使用的是HBase REST API。
浏览 1提问于2012-12-13得票数 0
是否可以将Azure HDInsight HBASE (HDI4.0)指向数据湖V2上的容器，而不是默认的集群容器，以仅存储HBASE数据，因为我们的一个客户希望他们的数据永久存储在容器上，并且每次创建新的HBASE集群时，他们都会将HBASE指向该容器？
浏览 23提问于2020-01-02得票数 0
我对Hadoop生态系统有几点怀疑。渴望很好地理解这些概念。
蜂巢表在哪里存储数据？
对于Datawarehouse，我们是否需要在Hive和Hbase表中都有相同的数据。
如何从Hbase中插入、更新、读取数据。
除了csv之外，HDFS还可以存储所有文件格式。
我们能吃点Hbase吗。
如果我有蜂巢，我可以省略Hbase表吗？
浏览 4提问于2012-10-17得票数 0
如何在配置单元中查看不同版本的Hbase数据。根据我对使用HbaseStorageHandler的理解，Hive .Is中只提供最新版本的Hbase数据。我的理解正确/更新了吗？
有没有办法使用Hive访问不同版本的Hbase数据？？
提前感谢:)
( Hbase-Hive集成的新功能)
浏览 4提问于2016-02-07得票数 0
1回答
我正在尝试使用lucid works Hbase索引器从hbase表中索引数据，我想知道Solr，Hbase索引器和Hbase是否必须使用相同的zookeeper？
当hbase和Hbase indexer一起向zookeeper1报告，而Solr向自己的zookeeper报告时，我的Solr实例可以是独立的吗？
我正在关注下面的url
浏览 14提问于2018-07-27得票数 1
我是hbase的新手。在hbase中创建了30个表。我想查看这些表结构。
我使用下面的命令查看这些表，但只有一个表。希望我需要连接到hbase中的正确数据库来列出表格。
hbase(main):017:0> list
TABLE
test
1 row(s) in 0.0140 seconds
现在，我想让命令知道hbase中存在(已经创建)的数据库是什么
浏览 10提问于2017-06-07得票数 0
我正在尝试查询存储在HBase中的数据，以便在AWS EMR中使用Spark ML。我应该将数据作为RDD提取(如下所示)，还是应该使用Phoenix将数据作为Dataframe进行查询？ 我已经尝试过通过HBase RDD和Phoenix将数据导入到Spark中。然而，我在使用这两种方法时都遇到了问题。 import org.apache.hadoop.hbase.{ HBaseConfiguration, HColumnDescriptor, HTableDescriptor }
import org.apache.hadoop.hbase.client.{ HBaseAdmin, P
浏览 24提问于2019-06-21得票数 0
我正在尝试构建一些过滤器来过滤Bigtable中的数据。我正在使用bigtable-hbase驱动程序和HBase驱动程序。实际上，这里是我来自pom.xml的依赖项
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-common</artifactId>
<version>${hbase.version}</version>
</dependency>
浏览 0提问于2015-06-10得票数 1
回答已采纳
我想在伪分布式模式下运行hbase，安装是从零开始的。
步进
启动HBase。
启动HBase主服务器
启动区域服务器a
启动HBase外壳
执行列表
Hbase正常启动，所以hbase外壳。当我检查动物园管理员，主人以及区域所有的服务器都启动了。对于任何关于hbase shell提示符的查询，我都会得到这个错误。
错误-无法从ZooKeeper获得主地址；znode数据==为空
code- configuration -
hbase-site.xml
<configuration>
浏览 3提问于2017-01-02得票数 2
回答已采纳
3回答
我是Hbase的新手，我发现Hbase将把所有的操作都写到WAL和memstore中。
Q1:我想知道为什么Hbase需要WAL？
Q2 :当我每次输入或删除数据时，Hbase必须写到WAL，为什么不在它的数据文件中操作它呢？
浏览 8提问于2015-09-19得票数 1
2回答
我正在编写一个项目，从Kafka接收数据并写入Hbase表。因为我想知道记录的差异，所以我需要先在Hbase中获得具有相同行键的记录，然后用接收到的记录进行减法，最后将新记录保存到HBase表中。
一开始，我尝试使用newAPIHadoop从hbase获取数据。以下是我的尝试：
val conf = HBaseConfiguration.create()
conf.set("zookeeper.znode.parent", "/hbase-secure")
conf.set(TableOutputFormat.OUTPUT_TABLE, tableName)
c
浏览 5提问于2016-09-29得票数 3
回答已采纳
1回答
我已经将HBase数据导出到HDFS。我想Sqoop将HDFS导出到MySQL。但是，在使用Sqoop导出时，它要求我提供HDFS数据的分隔方式。如何检查HBase表或HDFS数据中的分隔符？
编辑1：我使用bin/hadoop /path/ to /hbase-0.20.3.jar导出your_table /your_table/your_table将HBase数据导出到HDFS
浏览 5提问于2013-09-19得票数 0
我正在尝试确定一种解决方案，使用火花流从HBASE表中读取数据，并将数据写入另一个HBASE表。
我在互联网上找到了许多示例，它们要求创建一个DSTREAM来从HDFS文件和all.But中获取数据。我找不到任何示例来从HBASE表中获取数据。
例如，如果我有一个HBASE表'SAMPLE‘，它的列是'name’和'activeStatus‘。如何使用spark streaming从基于activeStatus列的表SAMPLE中检索数据(新数据？
欢迎使用spark streaming从HBASE表检索数据的任何示例。
致敬，Adarsh K S
浏览 0提问于2018-12-11得票数 0
我在看一本书“杜米尼的Hadoop”书中关于修改HBase中hbase-site.xml文件的说明如下：
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///home/biadmin/my-local-hbase/hbase-data</value>
</property>
<property>
<name>hb
浏览 0提问于2016-04-27得票数 0
我使用pyspark将hbase表读入数据，但它出现了一些错误：
sc = SparkContext(master="local[*]", appName="test")
spark = SparkSession(sc).builder.getOrCreate()
df = spark.read.format('org.apache.hadoop.hbase.spark') \
.option('hbase.table', 'h_table') \
.option('hbase.column
浏览 9提问于2020-01-06得票数 1
1回答
我从客户那里得到了一些令人兴奋的要求。客户不希望我以基于网格的布局显示结果(对他来说，它看起来像一个数据库)，而是希望我以某种思维导图的方式显示结果。我在谷歌上搜索了一些思维导图软件，但它们似乎是独立的软件。谁能给我指个方向，在那里我可以有一些Jquery插件，我需要在其中传递json等格式的数据，然后它为我构建一个思维导图。
提前感谢
浏览 6提问于2015-08-05得票数 0
1回答
我想从hbase远程服务器上读取/写入来自pig脚本的数据。我们正在使用Hortonworks HDP 2.5
以下是情景。
我们有两个星系团，一个用于蜂巢，另一个用于Hbase。我们可以访问作为Hive集群一部分的边缘节点。
我们的代码(MapReduce作业和Pig脚本)将在Hive集群上执行。
作为需求的一部分，我们还必须从Hbase表中读取/写入数据。
我们在网上找到了一个解决方案，但行不通。
该解决方案建议在我们的猪脚本中注册hbase服务器的动物园管理员仲裁。但是语法不起作用。
set hbase.zookeeper.quorum '108.168.251.xxx-st
浏览 0提问于2017-05-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
