3回答
我是Hbase的新手，我发现Hbase将把所有的操作都写到WAL和memstore中。
Q1:我想知道为什么Hbase需要WAL？
Q2 :当我每次输入或删除数据时，Hbase必须写到WAL，为什么不在它的数据文件中操作它呢？
浏览 8提问于2015-09-19得票数 1
1回答
我已经在我本地的ubuntu虚拟机上安装了hbase，它已经在psuedo发行版中运行了hadoop，mode.Hadoop版本是3.1.2，hbase版本是2.1.2。
我可以获得hbase shell，但在尝试创建表时会出现以下错误：
hbase(main):001:0> create 'test', 'data'
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
at org.apache.hadoop.hbase.master.HMaste
浏览 1提问于2019-02-12得票数 1
2回答
我还没有弄清楚这个错误消息是什么意思。我对HDFS和HBase也很陌生，所以这是问题的一部分。除了HDFS服务器空间不足的可能性外，可能导致此错误的原因是：
2014-06-13 12:55:33,164 WARN org.apache.hadoop.hbase.regionserver.wal.HLogSplitter:
Could not open hdfs://<OURSERVER>:8020/hbase/.logs/<HBASE_BOX>,60020,1402678303659-splitting/<HBASE_BOX>m%2C60020%2C14
浏览 0提问于2014-06-14得票数 0
2回答
有人能告诉我在Hbase中恢复是如何工作的吗？
我发现了WAL文件，其中HBASE的每个操作都需要登录(/hbase/.logs/)。但不幸的是，这个文件是空的。我执行的所有操作都没有记录到WAL文件中。可能的原因是什么？是否需要设置配置变量？如何启用它，使HBase上的所有操作都能正常登录？
默认情况下，对WAL的写入是启用的(put.getWriteAheadLog()返回TRUE值)。我正在使用“独立模式”来设置HBASE。
浏览 5提问于2013-03-27得票数 0
2回答
在独立模式(本地文件系统)中， will HBase使用recovery...If预写日志的概念，那么WAL文件在哪里？.我想实际检查HBase的恢复情况，所以我做了这个实验。
浏览 1提问于2013-03-18得票数 0
回答已采纳
2回答
我想实际观察一下HBase中的恢复是如何工作的，我使用了以下代码片段
Put p=new Put(Bytes.toBytes("name10"));
p.setWriteAheadLog(true);
p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some Value 10"));
table.setAutoFlush(true);
table.put(p);
在执行上述代码之后，我重新启动了VM (不停止HB
浏览 3提问于2013-03-18得票数 0
回答已采纳
1回答
HBase wal变得越来越大。详情如下：
3.2 K 9.6 K /hbase/.hbase-snapshot
0 0 /hbase/.hbck
0 0 /hbase/.tmp
0 0 /hbase/MasterProcWALs
534.2 G 1.6 T /hbase/WALs
400.3 M 1.2 G /hbase/archive
0 0 /hbase/corrupt
267.0 G 796.5 G /hbase/data
42 1
浏览 14提问于2020-11-09得票数 0
回答已采纳
2回答
我注意到由于一些持续的错误，Hbase MasterProcWALs文件夹已经填满了我的Hdfs。我想知道删除MasterProcWALs文件夹下的文件是否会删除Hbase中的任何数据？
浏览 8提问于2020-01-13得票数 0
我正在尝试运行HBase外壳程序。shell会启动，但当我输入任何命令时，它会给出以下错误：
hbase:001:0> status
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
at org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2817)
at org.apache.hadoop.hbase.master.MasterRpcServ
浏览 28提问于2022-03-07得票数 0
回答已采纳
我运行HBase 2.0.0.3.0.2.0-50，并且有一个区域在培训中。这会导致我的表变得不可访问。如何把这个地区带回来？ 通过hbase hbck检查hbase会导致以下结果 ERROR: Region {
meta => SYSTEM.STATS,,154...49.0ca06...916.,
hdfs => wasb://....blob.core.windows.net/hbase/data/default/
SYSTEM.STATS/0ca06...916,
deployed =&g
浏览 54提问于2019-02-05得票数 0
1回答
我的HBASE以伪分布式模式运行，版本为hbase-0.98.5。当我在HDFS中列出hbase文件时，我无法查看.logs文件夹，我在HBASE中创建了几个表，.I混淆了WAL存储在哪里？或者我的安装有什么问题。我可以在listed.Is文件中看到一个WAL文件夹，和the.logs文件夹.Could一样，有人能帮上忙吗？
浏览 3提问于2014-09-19得票数 1
回答已采纳
我试图在hbase模式下安装pseudo-distributed。现在我不能用hbase了。hbase shell中的每一段代码都无法运行，它们都得到了以下错误提示：
错误: KeeperErrorCode = NoNode for /hbase/master
在我的ubuntu 17中我安装了hadoop，我确信我的hdfs位置与我的hbase匹配
hdfs://localhost:9000
这是我在hbase-site.xml的hbase-config
<configuration>
<property>
<name>hb
浏览 0提问于2018-05-08得票数 2
2回答
在HBase中，在写入内存存储数据之前，首先会将数据写入WAL，但是当我检查我的系统WAL文件时，每次Put操作之后都不会立即更新WAL文件，这需要很长时间来更新。我需要设置什么参数吗？
(WAL已启用)
浏览 4提问于2013-03-27得票数 1
回答已采纳
1回答
我计划将HBase与gs://方案(google buckets)一起使用，但是gs:// fs不能处理WAL文件。
Cause:
java.io.IOException: cannot get log writer
Caused by: java.io.IOException: createNonRecursive unsupported for this filesystem class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem
正如我所发现的，它应该是将WAL文件与HBase根目录分开存储的方法，例如：
所以，我的问题是-
浏览 10提问于2017-02-14得票数 0
1回答
当我在独立模式中执行start-hbase.sh时(不是在分布式或伪分布式模式下)，它将不会执行启动区域服务器、动物园管理员、主备份(因为没有HDFS文件系统，它不能运行区域服务器)。此模式会对HBase的恢复部分产生影响吗？例如，在HBase数据仍在memstore中时崩溃VM，并重新启动VM和HBase。
我试过以上的实验，HBase不能recover.what会是原因吗？
浏览 5提问于2013-03-21得票数 0
我遵循文档，并在Phoenix 4.2中创建：
CREATE VIEW "t20" ( pk VARCHAR PRIMARY KEY, "f2"."name" VARCHAR );
然后创建一个索引：
create index idx on "t20" ("name");
(引用或取消引用都会得到相同的结果)
并获得：
ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.codec property s
浏览 0提问于2016-01-14得票数 0
2回答
从python写到hbase表
、、、、
我正在运行一个map-还原作业，现在我想在hbase中输入值。我从map中流值--在stdin上减少作业，并有一个python脚本在上插入(放置)行。
我遇到了不同类型的问题，从python中执行put操作。据我所知，最近的问题似乎与库的兼容性问题有关。错误日志显示迭代项的问题。引用了排序查询所需的额外python库，这不是从pythonVersion2.7开始(我正在运行2.7.6)所必需的。
有人遇到过类似的问题吗？它们能很容易地修复吗?或者您会推荐使用不同的界面吗？
更多细节
我已经安装了hadoop (2.6.0)和hbase (0.98.10-2/5/2015)，并在独立配置中运行。
浏览 8提问于2015-02-11得票数 2
我正在考虑在我的项目中使用HBase。我有一些加密文件(它们是在文件级别加密的，而不是列级加密或行级加密)，并且希望将它们的解密内容存储到HBase中。我们在我们的项目中使用星火。
是否有办法在解密文件的同时摄入HBase，这样就不会有一个包含解密文件的中间存储位置？
因为我还没有，所以还没有安装HBase，所以我没有尝试过的任何代码。
如果这个问题太宽泛，我可以修改它。我不知道怎么才能不把这个问题写得这么宽泛。
浏览 1提问于2019-08-13得票数 1
因此，当从一个使用HBase的MapReduce作业写入TableOutputFormat时，它多久写一次给HBase。我不认为它会对每一行执行put命令。
在使用AutoFlush时，我们如何控制MapReduce并预先写入日志(WAL)？
浏览 7提问于2015-02-10得票数 0
回答已采纳
我想知道是否有人对以下问题有任何想法。
hdfs上的旧file目录似乎只被部分清理，(相当小的)pv2(序列号).log文件不断增加(大约每小时添加一个文件)
哪个主进程应该清理这些特定的文件？这些pv2日志文件的用途是什么？因为我也看到一对0字节的。
设置: hbase znode对等节点下zookeeper中的hbase.master.logcleaner.ttl=60000为空复制为false
浏览 0提问于2020-06-25得票数 0
1回答
我在CDH集群5.7.0中运行了HBase。运行了几个月之后，hbase服务停止了，现在不可能启动HBase主服务器(1个主服务器和4个区域服务器)。
当我试图在某个时候启动它时，机器会挂起，我在主日志中看到的最后一件事是：
2016-10-24 12:17:15,150 INFO org.apache.hadoop.hbase.util.FSHDFSUtils: Recover lease on dfs file hdfs://namenode:8020/hbase/MasterProcWALs/state-00000000000000005528.log
2016-10-24 12:17:
浏览 5提问于2016-10-24得票数 1
回答已采纳
1回答
HBase支持单行原子事务。
几乎检查了一下。我写了以下代码
Increment inc=new Increment();//For writing it to WAL
inc.getWritetoWAL();
Put p = new Put(Bytes.toBytes("name10"));
p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some Value 10"));
table.setAutoFlus
浏览 2提问于2013-03-15得票数 0
我们在我们的小型hadoop集群中耗尽了空间，所以我在HDFS上检查磁盘使用情况，我发现大部分空间被/hbase/oldWALs文件夹占用。
我已经在"HBase权威书“和其他书籍，网站和我也搜索了我的问题在谷歌，但我没有找到一个适当的回应.
所以我想知道这个文件夹是什么，有什么用，以及如何在不破坏所有东西的情况下从这个文件夹中释放空间.
如果它与特定版本有关..。我们的簇位于cloudera的5.3.0-1.cdh5.3.0.p0.30以下(hbase 0.98.6)。
谢谢你的帮助！
浏览 3提问于2015-02-25得票数 5
在Hbase之上运行菲尼克斯时，我收到以下错误：
异常#1:
2017-11-07 12:40:12,620 WARN [RS_LOG_REPLAY_OPS-XXX:16020-0]
regionserver.SplitLogWorker: log splitting of
WALs/XXX.XXX.XXX.XXX,16020,1507179047656-
splitting/XXX.XXX.XXX.XXX%2C16020%2C1507179047656.default.1507179049782 failed, returning error
java.io.IOException:
浏览 5提问于2017-11-07得票数 0
2回答
如何在hbase中关闭WAL，
、、、、
我需要在Hbase设置中提高读/写操作的性能，在我的设置中不需要WAL打开，请告诉我如何关闭WAL
请给我你的建议/建议。
提前感谢
浏览 3提问于2013-10-16得票数 1
我们在HBase中有一个表，其中有16的预拆分(创建的区域数是16)，我们还将一些数据加载到表中，我们可以看到数据是根据我们定义的分割移到不同的区域。
在这方面，我们对该区域的概念没有多少疑问。
如果其中一个节点发生故障(如果该节点具有HBase表的某个区域)，将发生什么？还可以获取/扫描特定于HBase表的该区域的数据吗？
整个区域是否会复制到其他节点，或者它将如何工作？
有人能帮我吗。
浏览 3提问于2014-03-07得票数 1
回答已采纳
1回答
大容量负载复制
、、、、
我们有一个基于HBase的系统，在这个系统中，我们希望每天在生产中批量加载几百万行。我们认为，与puts相比，HBase 是一个很好的选择--批量加载特性使用MapReduce作业输出HBase内部数据格式的表数据，然后直接将生成的StoreFiles加载到正在运行的集群中。与使用HBase API相比，使用大容量加载将占用更少的CPU和网络资源。我们对此进行了评估，结果很好。参考指南中的以下部分讨论了这些限制：
作为批量加载绕过了写入路径，WAL不会作为进程的一部分被写入。复制是通过读取WAL文件来工作的，这样它就不会看到大量加载的数据--使用Put.setDurability(SKIP_W
浏览 2提问于2017-12-13得票数 0
回答已采纳
我已经从我的HBase集群中删除了一个region服务器，从$HBASE_HOME/conf/regionservers中删除了它的主机名，并重新启动了HBase集群，但是HBase UI仍然将已删除的区域服务器显示为“死”区域服务器。
hbase shell中的“Stat”命令也将其显示为死区服务器。我该怎么摆脱它？
浏览 4提问于2015-12-28得票数 6
1回答
我们正在为我们的hbase集群使用phoenix和hbase-indexer，并且我们发现了一个关于phoenix二级索引的奇怪现象：
我们将数据(使用psql导入csv数据)与来自phoenix的两个全局可变索引表(C_PICRECORD_IDX1和C_PICRECORD_IDX2)放入一个表(C_PICRECORD)中，并使用hbase-indexer将数据复制到solr中。数据导入完成后，我们发现solr document numfound与hbase表行数不同。当我们删除索引表，清除数据并再次放入数据时，我们发现solr document numfound与hbase表的行数相同。
最
浏览 2提问于2016-06-01得票数 1
在生产中，我们通过向大容量加载API (pathToHfile，targetTableName)传递两个参数，使用批量加载API将数据加载到Hbase表中。
pathToHfile --> Hfiles在hadoop中的位置
targetTableName -->我们要加载的目标表
当我们使用大容量加载API时，WAL文件不会发生写操作。但是WAL文件用于恢复数据。那么，在这种情况下，我们如何恢复数据，因为数据没有被写入WAL文件？
浏览 2提问于2020-09-28得票数 0
回答已采纳
我正在使用CDH 5.3.1和HBase 0.98.6-cdh5.3.1，并试图配置Apache凤凰4.4.0
根据提供的文档
复制主服务器和区域服务器的lib目录(/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hbase/lib)中的凤凰-4.4.0-HBASE-0.98-server.jar文件
从Cloudera重新启动HBase服务。
当我检查HBase实例时，我看到区域服务器已经关闭，日志文件中没有任何问题。
我甚至试图从菲尼克斯文件夹中复制所有的罐子，但仍然面临着同样的问题。
我甚至尝试配置菲尼克斯
浏览 3提问于2015-07-07得票数 2
回答已采纳
我正在尝试在3个节点上设置分布式HBase。我已经设置了hadoop、纱线ZooKeeper以及现在的HBase，但是当我启动hbase shell并运行最简单的命令(例如状态或列表)时，就会得到异常：
HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell
Version
浏览 9提问于2021-12-29得票数 3
回答已采纳
我正在使用粒子库连接到我的Hbase数据库。我做了一个名为'irisSample‘的样本表。这是我遇到麻烦的那部分代码-
import happybase
from happybase import *
import json
connection = happybase.Connection('<ip-address>', '9090')
table = connection.table('irisSample')
n = 0
x = 1
for u in y:
data = {'petalWidth&
浏览 41提问于2016-01-19得票数 0
回答已采纳
我想知道在使用JAVA API向hbase表插入新数据时，是否有办法禁用WAL (预写日志)操作？
感谢您的帮助:)
浏览 167提问于2018-06-25得票数 0
回答已采纳
假设在HBase中，我们有3个区域服务器、3个区域和2列families.How许多内存存储、数据块缓存和WAL是可能的
浏览 1提问于2020-12-12得票数 0
1回答
我是新手，Hbase.Hbase很适合对表进行随机更新(put或delete)，但无法理解hbase是如何执行HDFS的，hbase使用HDFS存储，也不可能更新HDFS中的任何内容。Hbase使用memstore更新记录并将任何编辑写入memstore，first.So MemStore包含排序键order.when中任意数量的更新行，它将数据转储到hfile中，该hfile与其他hfile一起进行全局排序。
在转储完所有hfile之后，hfile在HDFS.Same中被复制，log.WAL日志文件也被复制到HDFS或not.For中，每个更新都被复制到HDFS。
浏览 3提问于2014-12-05得票数 3
回答已采纳
1回答
我正在运行Cloudera/Solr集群，并尝试使用hbase-solr (百合)索引器将Hbase索引到Solr中。批处理模式索引工作正常。
但是，在我开始以常量流加载数据后，百合索引器开始一个接一个地停止工作。它们不会打印出让我吃惊的特定错误消息，但都以相同的方式结束：
2014-09-10 16:04:56,770 INFO org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper: Process identifier=ip-172-31-1-204.ap-southeast-2.compute.internal,44013,1410
浏览 1提问于2014-09-10得票数 1
我正在尝试理解HBase体系结构。我可以看到两个不同的术语被用于相同的目的。
Write Ahead Logs和Memstore都用于存储尚未持久化到permanent storage的新数据。
WAL和MemStore有什么区别？
更新：
WAL -用于恢复尚未持久化的数据，以防服务器崩溃。MemStore -将更新存储在内存中，作为排序的键值。
在将数据写入磁盘之前，似乎有大量的数据重复。
浏览 2提问于2016-10-16得票数 11
回答已采纳
2回答
我已经关注了json文件。我正在尝试使用jq更新此文件中的几个属性
{
"href" : "http://localhost:8080/api/v1/clusters/ambarihbase/configurations?type=hbase-site&tag=TOPOLOGY_RESOLVED",
"items" : [
{
"href" : "http://localhost:8080/api/v1/clusters/ambarihbase/configurations?type=hbase-s
浏览 2提问于2016-12-15得票数 0
最近，我的团队正在使用CDH上的将hbase表列索引到solr。当我们部署服务器(被称为键值存储索引器)并开始测试时。我们发现，hbase表和solr索引之间的行大小不同：
我们使用菲尼克斯计算hbase表行：
0: jdbc:phoenix:slave1,slave2,slave3:2181> SELECT /*+ NO_INDEX */ COUNT(1) FROM C_PICRECORD;
+------------------------------------------+
| COUNT(1) |
+-----
浏览 4提问于2016-05-17得票数 1
回答已采纳
我能够使用Python中的Thrift服务器连接到Hbase。我遵循本教程：连接到Hbase。，我现在需要修改表，。有人能帮忙吗？请注意，我正在使用Python2.6版本。
谢谢
浏览 1提问于2018-07-06得票数 0
似乎WAL中的一个脏数据会触发一个异常，从而导致集群中的所有RegionServers宕机。我想在recovered.edit中查看数据的内容。我该怎么做呢？PS hbase版本: 0.98.20
浏览 5提问于2018-12-06得票数 1
2回答
如果HDFS不允许修改文件，HBase为什么要存储和修改数据？很难找到这个问题的答案，因为结果大多是面向HBase物理数据格式的。但是我找不到HBase是如何解决HHDFS文件不可变的问题的？
浏览 2提问于2013-10-01得票数 3
回答已采纳
我正在使用HDP2平台。在使用HBase.I试图在hbase中创建表。下面是我正在使用的命令。
：002:0>创建'test'，'cf1'，'cf2‘
但它给了我以下的错误
ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later
at org.apache.hadoop.hbase.master.HMaster.getNamespaceDescriptor(HMaster.java:3328)
at org.
浏览 2提问于2015-03-12得票数 3
回答已采纳
我只是在了解Hbase。
假设我在找一个给定的行号。客户端通过查找动物园管理员、根文件和相应的元文件来查找存储行id的区域服务器和区域。到目前一切尚好。
( A)该区域可能有许多hfile，其中包含一行的单元格(Id)，对吗？例如，{row-id-1，col id-1，col id-1，val1}可以存储在hfile-1中，{row-id-1，col id-1，could 2，val1}可以存储在hfile-2中.请注意，这是相同的。
当我要求一个特定的行id时，HBase会查找商店中的所有hfile来编译该行id的所有单元格吗？
浏览 2提问于2014-09-23得票数 0
1回答
最近，在将数据从Hive迁移到Hbase方面，我遇到了一个问题。我们这个项目正在cdh5.5.1集群上使用Spark (运行在SUSE上的7个节点，48核，每个内存256 GB，hadoop 2.6)。作为初学者，我认为使用Spark从Hive加载表数据是个好主意。我使用正确的Hive列/ HBase ColumnFamily和列映射在Hbase中插入数据。
我找到了一些关于如何将数据批量插入到Hbase中的解决方案，例如我们可以使用hbaseContext.bulkPut或rdd.saveAsHadoopDataset (我测试了这两种方法的相似结果)。
结果是一个功能程序，但是任务确实太慢
浏览 0提问于2016-06-02得票数 1
1回答
我目前正在将HBase评估为一个数据存储，但还有一个问题没有得到回答: HBase在许多节点上存储了许多相同对象的副本(也称为复制)。由于HBase具有所谓的强一致性(在解释到最终一致性方面)，它保证每个副本在读取时返回相同的值。
正如我所理解的HBase概念一样，在读取值时，首先将查询HBase主程序以获得提供数据的(必须有多个) RegionServer。然后，我可以发出读和写的请求，而不需要主人的发明。那么复制是如何工作的呢？
concistency?How如何提供，HBase如何在内部工作？会写入操作块，直到所有副本都被写入(=>同步复制)。如果是，谁来管理这个转会？是如何进入游
浏览 2提问于2011-03-24得票数 20
回答已采纳
我正在使用HBase作为输入和输出来执行一个简单的Hadoop MapReduce程序。我得到了一个错误：
java.lang.RuntimeException: org.apache.hadoop.hbase.client.NoServerForRegionException: Unable to find region for OutPut,,99999999999999 after 10 tries.
浏览 1提问于2013-02-01得票数 1
Cassandra适合写入，读取较少，而HBASE适合随机读取和写入，这对吗？听说facebook用HBASE取代了Cassandra
浏览 1提问于2014-05-02得票数 1
1回答
我正在研究一个用例，在这个用例中，我们需要在HBase中拍摄几个表的快照(80-100)，让我们称之为“数据”。我们希望能够在任何特定时间从这些快照中读取信息。因此，我们需要克隆快照并将其用作新表(例如"data_v01“、"data_v02”等)。我无法确定多个快照是否会影响原始“数据”表的性能。
根据我从阅读HBase文档中所了解到的情况，当快照被取下来或新表从快照创建(“克隆”)时，HBase不会复制数据。在我看来，这似乎是HBase创建了一组基本的HFiles，然后在表单中跟踪更改，或者类似于WAL。如果这是正确的，并且基本快照是100天的，这将意味着更改将是很多。我的
浏览 0提问于2019-07-19得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
