由于HBase构建在具有容错复制策略的HDFS之上，这是否意味着HBase本质上是容错的，而存储在HBase中的数据由于底层的HDFS总是可以访问的？还是HBase实现了自己的复制策略(例如跨区域的表复制)？
浏览 0提问于2018-03-12得票数 2
回答已采纳
1回答
选择长期存储/分析系统？
、、、、
我正在做的这个项目的一个简要总结：
我受雇于我就读的州立大学附近的一家小公司(一家大公司的一部分)担任网络开发实习生。在过去的几个月里，我和另外两个实习生一直在做前端和后端的工作。该公司正在为其产品(石油/天然气行业)添加传感器；我们的任务是建立一个门户，客户可以登录这个门户来查看他们的机器上的数据，即使他们不在他们身边。
基本上，我们正在收集传感器数据(~10个传感器/机器)，并将其发回给我们。我们陷入困境的地方是确定存储和分析长期数据的最佳方法。我们为前端的快速访问设置了Redis Cache，其中只存储了每台机器的最新数据集。但就历史数据而言，我(和我的同事)很难决定走哪条最好的路线。我
浏览 5提问于2015-07-22得票数 3
回答已采纳
1回答
我在AWS (非EMR)上完成了一个多节点Hadoop2.7安装(1个主3从)，并计划继续下一步(hbase、蜂巢、猪、水槽、sqoop.)问:我是单独安装动物园管理员，然后再安装hbase，还是安装hbase并使用已集成在hbase中的本地动物园管理员？
谢谢
浏览 0提问于2016-01-04得票数 0
回答已采纳
1回答
根据hbase官方教程，在配置hbase分布式集群时，在hbase-sit.xml文件中，需要配置属性hbase.rootdir指向hdfs集群地址。而且，所有hbase数据都将保存在hdfs上。在这种情况下，hbase集群是否需要多个数据节点？
浏览 0提问于2013-04-23得票数 0
回答已采纳
目前，我正试图找到一种方法来处理应用程序中意外的HBase故障。更具体地说，我试图解决的是我的应用程序将数据插入到HBase，然后HBase失败并重新启动的情况。
为了检查我的应用程序对该场景的反应，我编写了一个使用的应用程序，方法是执行一个紧循环并将结果保存在HBase中。当我启动应用程序时，我可以看到行被保存到表中，如果在此期间我故意使我的HBase服务器失败并重新启动它，客户端似乎会重新连接，但是新的插入不会保存到表中。
代码如下所示：
HConnection connection = HConnectionManager.createConnection();
HBaseClient
浏览 2提问于2016-05-29得票数 2
回答已采纳
6回答
如何决定使用哪种NoSQL技术？
、、、、
MongoDB (基于文档)、HBase (基于列)和Neo4j (对象图)的优缺点是什么？
我特别感兴趣的是每种方法的一些典型用例。
也许有任何值得使用的幻灯片或Scribd演示文稿？
浏览 2提问于2010-09-17得票数 26
回答已采纳
我有一个由3个节点组成的小型集群，所有3个节点上都部署了Hbase。似乎在将数据写入Hbase集群时，所有内容最初似乎都指向同一个节点。
以下是我的相关hbase-site.xml
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://serv
浏览 1提问于2016-10-28得票数 0
3回答
我在YouTube上很少读到关于HBase的文章和视频。我知道HBase是hadoop数据库。它具有不同的体系结构(如列组等)与RDBMs相比。但是，我仍然不清楚RDBMs表将如何在HBase中表示？
如果有合适的教程，请告诉我。
例如，如果我有id列的employee表，first_name、last_name、departement_id和工资。和departement_id、dept_name作为列的Department。
如果我想用HBase表示它，将如何定义它？谁能详细解释一下。
浏览 2提问于2015-05-24得票数 1
回答已采纳
我正在尝试对我的HBase数据集进行一些处理。但我对HBase和Hadoop生态系统非常陌生。
我想从这个社区得到一些反馈，看看我对HBase和MapReduce操作的理解是否正确。
这里有一些背景：
我们有一个大约1TB的HBase表，超过1亿条记录。它有3个区域服务器，每个区域服务器包含约80个区域，使整个区域达到240.3个。据我所知，表中的记录应该很均匀地分布到每个地区。
我想要实现的是，我可以根据某些列值过滤出行，并将这些行导出到HDFS文件系统或类似的东西中。
例如，我们有一个名为" type“的列，它可能包含值1、2或3。我希望有3个不同的HDFS文件(或目录
浏览 6提问于2020-06-09得票数 0
2回答
HBase壳挂/冻结
、、、、
我已经将HBase 0.92.1-cdh4.0.1安装在的Ubuntu12.04上。
hbase.rootdir、hbase.rootdir服务器和zookeeper正在此计算机上运行；HDFS运行在另一台计算机上(属性hbase.rootdir相应设置)。
现在，我遇到了"hbase shell“问题:每当我提交create语句时，如下所示
create 'tbl1', {NAME => 'd', COMPRESSION => 'GZ'}
shell挂起(它不返回任何内容；等待永远等待)，我必须使用ctrl+c杀死它。
浏览 8提问于2012-07-09得票数 3
1回答
我试图在ubuntu上安装HBase v0.98.6。我已经在操作系统上运行Hadoop纱线了。我应该停止现有的Hadoop过程，完全依赖于HBase，还是使用现有的纱线设置配置HBase？如果需要的话我可以分享更多的信息。我试图先在伪分布式上运行HBase，然后在分布式模式下运行.
要明确的是-我是问我是否需要在安装HBase之前运行Hadoop纱线(以分布式方式，而不是在一台计算机上)。如果没有，而且我仍然在这些计算机上使用Hadoop，会不会导致HBase在这些服务器上运行任何问题。
浏览 2提问于2014-09-23得票数 1
回答已采纳
2回答
最近，我偶然看到一篇博客，其中作者提到了整合Hbase和Hive。这可能吗?如果可能，使用两者(在性能和可伸缩性方面)的优势是什么？如果我说错了，请纠正我。
浏览 3提问于2011-01-07得票数 2
1回答
如何“打破”HBase
、、、、
我们正在尝试一些工具来拍摄Hbase的快照并恢复它。
我没有运行实时HBase的经验，所以我不知道我们将来会遇到什么问题，可能会让HBase处于不一致的状态。
有人知道如何模拟真实生活来破坏我们的HBase数据来测试我们的快照吗？任何东西都是值得欣赏的，比如糟糕的代码，糟糕的shell命令，甚至拔掉网络插头。
浏览 2提问于2012-11-03得票数 2
1回答
HBase反模式
、、、
不应该使用HBase的任务是什么？
我的理解是，应该将HBase和HDFS视为瞬态数据存储，只在映射/减少作业需要它们的时间内保存数据。
使用HBase作为规范的数据存储区是否不合适？它的随机访问延迟尖峰使得这是相当不切实际的，但这可以通过缓存和其他坏的辅助措施来缓解。
浏览 1提问于2012-03-30得票数 3
回答已采纳
1回答
目前，在将数据从mysql同步到hbase期间，我面临一个问题，我需要一个从mysql到hbase的近乎实时的数据同步，而且在数据同步期间，我需要将多个mysql表合并成一个hbase表。
我试过sqoop，看上去不符合我们的要求。
因此，是否有任何现有的工具/lib可以用于我的情况，或任何其他解决方案，我可以尝试火花。
浏览 2提问于2016-03-09得票数 1
回答已采纳
学习如何使用Flink状态函数。我想知道它如何与Hbase和Redis交互。在有状态函数中，我没有看到hbase和redis的任何连接器。通过异步api调用通过服务访问这些是否有意义。
浏览 12提问于2020-09-25得票数 0
我正在考虑在我的应用程序启动时创建一个HBase表，并在我的应用程序运行时保持它的打开状态。我的申请可能会无限期运行。
如果我从未关闭HBase表，会发生什么情况？
在重新初始化连接之前，是否有最长的时间可以打开/空闲？
如果系统崩溃，连接是如何关闭的？
我有HBase的权威指南，但我没有找到我正在寻找的信息在那里。如果有任何在线参考，那么请提供他们。
浏览 3提问于2013-07-30得票数 3
1回答
我想构建一个基于Hortonworks的大数据环境，但我不太熟悉所有的伟大工具。许多工具是非常相似的，但关键在于细节。也许你可以帮我验证我的想法，这样我就可以从一个单兵基地开始。
我想连接以下数据资源到hadoop：- Twitter流-聊天板-.
使用REST，我想搜索每个流或所有流中的单个单词。还应该可以选择在整个数据集中或仅在过去的24小时内进行搜索。这种方法(UseCase)可以是：
findwordintwitter
findwordinchat
..。
findwordintwitter24h
findwordinchat24h
..。
findword
浏览 1提问于2016-05-20得票数 0
我在一个有3个zookeeper节点的5节点Cloudera集群上安装了Phoenix。
我试图从下面的JDBC程序中运行一个基本的SQL命令，但是我得到了zookeeper错误。有人能给点建议吗？
import java.sql.*;
public class PhoenixJDBC {
public static void main(String args[]) {
try {
//Register JDBC Driver
Class.forName("org.apache.phoenix.jdbc.PhoenixDriver").newIns
浏览 1提问于2015-02-23得票数 2
2回答
我的Hbase表有3,000万条记录，每条记录都有列raw:sample，raw是列sample是列。这个列非常大，大小从几KB到50MB。当我运行下面的Spark代码时，它只能得到4万条记录，但我应该得到3000万条记录：
val conf = HBaseConfiguration.create()
conf.set("hbase.zookeeper.quorum", "10.1.1.15:2181")
conf.set(TableInputFormat.INPUT_TABLE, "sampleData")
conf.set(TableInpu
浏览 3提问于2016-01-27得票数 0
1回答
我知道Hbase复制了WAL和Hfile，但所有这些都作为持久性存储在HDFS中。因此，Hbase还将提供区域级复制。我们知道区域包含BlockCache和MemCache，如果只有一个区域实例处理请求，Hbase如何解决热点请求。
另外，如果只有一个区域实例，Hbase将始终是一致的，对吗？因为所有的读者都只是从一个区域阅读，他们总是看到相同的数据？谢谢!
浏览 5提问于2016-01-30得票数 2
回答已采纳
2回答
我对MapR有点陌生，但我对hbase很了解。我浏览了其中一个视频，在视频中我发现Mapr-DB是MapR中的一个NoSQL DB，它类似于Hbase。除此之外，Hbase还可以在MapR上运行。我混淆了MapR-Db和Hbase。它们之间的确切区别是什么？
何时使用Mapr-DB，何时使用Hbase？
基本上我有一个java代码，它在MapR上的Hbase中进行批量加载，现在如果我使用与Apache hadoop相同的代码，那么这些代码在这里可以工作吗？
请帮助我避免这种混乱。
浏览 2提问于2015-05-15得票数 4
回答已采纳
2回答
在我的项目中，我们使用Hadoop 2、Spark、Scala。Scala是编程语言，Spark在这里用于分析。我们同时使用Hive和HBase。我可以使用HDFS访问Hive的所有细节，如文件等。但我的困惑是-
当我能够使用Hive**，执行所有任务时，为什么需要** HBase 来存储数据。这不是一种开销吗？
HIVE 和 HBase**?**的功能是什么？
如果我们只使用Hive，那么问题应该是什么呢？
有谁能告诉我。
浏览 2提问于2016-12-29得票数 4
回答已采纳
我们有一个用PHP与MySQL开发的网站，有时会面临流量增加的问题。我们几乎在所有方面都对网站进行了优化，以处理更多的请求，但在高峰期仍面临问题。
我的一个朋友建议使用HBase / MongoDB作为后端来重建站点，以提高性能。他还建议，如果我们重建它，我们可以很容易地转向云服务。但我们需要学习整个东西并重新开发它。
这样做是不是更好呢？
浏览 1提问于2010-10-19得票数 5
1回答
我们有下面的用例，想找出对Table MaprDB/HBase设计的一般建议。
我们的数据由用户(例如唯一用户名)和计数(每小时的整数值)组成。每10秒我们有10K-100K的请求来更新数据库。我们必须为每个用户存储8000小时的数据。我尝试创建单行，使用rowkey作为用户名，使用8000个版本创建1个"count“列。但是我不能根据输入数据的小时来“增加”一个特定的版本(Hbase "Increment“Api不支持"timestamp”参数，而不是"Put")。我尝试为此行和列创建具有特定时间戳的KeyValue，但它只更新最新版本。
所以，现在我
浏览 6提问于2016-07-15得票数 0
1回答
是否有可伸缩的、基于python的发布订阅中间件可用？我尝试过RabbitMQ，但它不能扩展到32-64个节点。
我需要一个可以运行超过1000个节点的中间件
谢谢
浏览 0提问于2011-04-04得票数 3
回答已采纳
我有一个Hbase表，我想实时执行CRUD操作，并使用PHP和Apache Spark进行读写
我该如何做到这一点呢？
浏览 8提问于2017-07-04得票数 0
2回答
MongoDB将处理几个TB的数据吗？我读过的文章说，Mongo在< 1TB数据方面做得很好，对于更大的集合，我应该使用HBase。这是真的吗？
我需要存储和处理几个TB的文本数据。
浏览 0提问于2012-10-19得票数 2
在Windows 10上的Mulesoft Anypoint studio v7.7.0上，Mule调色板在搜索时不会在任何项目旁边显示任何文本(参见下面的屏幕截图)
下载时SHA256是正确的，我还尝试重置透视图。
关于如何在Mule调色板中显示项目的文本，有什么想法吗？
<code>C0</code>
浏览 10提问于2020-11-14得票数 0
1回答
我想研究一下现代网站(Facebook，Twitter，digg.com，flickr...)扩展了他们的架构，以服务于数百万的页面请求。他们最初的基础设施是什么，他们是何时以及如何扩展的，以及他们的选择和解决方案的动机/理由。
如果你在网上搜索，到处都是零星的博客文章，但有没有一本书、一篇论文或一篇文章记录了我们最近看到的一些最佳解决方案和案例研究？
浏览 0提问于2011-01-12得票数 1
回答已采纳
2回答
我们正在使用hbase版本1.1.4。DB有大约40个表，每个表数据都指定了一个TimeToLive。它部署在一个5节点集群上，下面是hbase-site.xml
<property>
<name>phoenix.query.threadPoolSize</name>
<value>2048</value>
</property>
<property>
<name>hbase.hregion.max.filesize</name>
<value>21474836480<
浏览 0提问于2017-01-31得票数 0
回答已采纳
1回答
HBase以作为键值存储和随机读取而闻名，它基于密钥使用.get和.put函数。卡桑德拉是一个更好的选择，适合一个要求的关键价值商店？它能支持基于密钥的随机读取吗？如果是的话，在什么情况下，我应该选择卡桑德拉而不是HBase在星火流应用程序？
浏览 5提问于2017-06-10得票数 3
回答已采纳
1回答
时间线数据存储解决方案
、、、
我面临一个有趣的问题:我必须为我的用户展示Facebook、Foursquare和Twitter的聚合提要，我不知道该使用什么解决方案。许多批处理并行运行，活动流中有许多更新。
我需要操作活动列表，所以我首先尝试了Redis，但是当您使用许多sunionstore命令时，复制无法工作。我一直在想：
noSQL -> HBase.
newSQL -> VoltDB和SQLFire.
数据网格-> Infinispan，GridGain和Gigaspace
你觉得我该用什么？你还有别的主意吗？
浏览 4提问于2012-07-04得票数 0
回答已采纳
我为这不是一个具体的编程问题提前道歉，但我相信这是这样一个调查的最好地方。
基本上，我有一个想法，我认为是一个有趣的社交网站(不仅仅是现有事物的克隆，而是一些有用和独特的东西)；我有一个详细的规范文档，描述了一切是如何工作的，但我不确定如何才是最好的。从架构上看，它似乎最类似于Twitter，我对其中涉及的技术(SQL数据库、ajax、移动集成等)有一些了解。我没有时间自己编写所有代码，老实说，其中一些可能超出了我的能力范围。所以，我想我的问题是这样的：
假设我不是程序员，对一个新的大规模社交网络服务有一个合理的好主意，类似于Twitter (在架构上)，并有一些资本来实现它：
我该如何继续？
浏览 0提问于2011-09-28得票数 0
2回答
我想抓取一个特定的论坛，接近实时，并将数据转储到HDFS，如果不是Hbase。
我听说Apache可以解决这个问题，但遗憾的是，它所需要的技术栈已经相当陈旧了。我不想把hadoop从2.6降到更早的版本，Elasticsearch降到1.7/1.4，所以我把注意力转移到了风暴爬虫上。
由于我使用Hadoop2.6、ElasticSearch2.0和Hbase 1.1.3，有人能告诉我是否可以使用风暴爬虫0.9吗？
浏览 3提问于2016-04-06得票数 1
回答已采纳
我有一个HBase数据库，它存储有向图的邻接表，每个方向的边存储在一对列族中，其中每一行表示一个顶点。我正在编写一个mapreduce作业，它接受所有节点作为其输入，这些节点的边也指向相同的顶点，而边指向其他顶点(被指定为查询的主题)。这有点难以解释，但在下图中，当查询顶点'A‘时，作为输入的节点集将是{A，B，C}，因为它们都具有来自顶点’1‘的边：
要在HBase中执行此查询，我首先在产生{1}的反向边缘列族中查找具有'A‘的边的顶点，然后，对于该集合中的每个元素，在正向边缘列族中查找具有该集合中该元素的边的顶点。
这应该会产生一组键值对：{1：{A，B，C}}。
浏览 1提问于2011-11-28得票数 2
回答已采纳
2回答
有一些非常有用的文档来解释服务器架构，比如Linkedin、MySpace、亚马逊等等。
在看到MySpace之后，我真的很惊讶，因为他们的应用程序使用了500+数据库服务器。
想知道如果数据跨越多个数据库服务器，他们将如何维护SQL事务、连接和查找？
浏览 0提问于2010-01-06得票数 2
1回答
我目前在一个项目中工作，其中包括出于性能原因将内容推荐器从MySQL迁移到NoSQL数据库。我们的团队一直在评估一些替代方案，如MongoDB、CouchDB、HBase和Cassandra。其思想是选择一个能够在单个服务器或集群中运行的数据库。到目前为止，我们已经放弃了Hbase的使用，因为它依赖于分布式环境。即使有了水平扩展的想法，我们也需要在生产环境中的单个服务器上运行一段时间的DB。MongoDB也被丢弃，因为它不支持map/reduce功能。我们仍然有两个选择，我们没有坚实的背景来决定。任何指导或帮助我们都将不胜感激。
注意:我不会假装用毫无根据的论点来制造一场类似宗教的讨论。这是一
浏览 2提问于2012-05-10得票数 2
2回答
从CAP中，我了解到HBase支持一致性和分区容忍度。我想知道如何在HBase中实现一致性。有锁吗？
我在网上查了没找到好的资料。有谁能提供任何关于这个主题的博客/文章。
浏览 5提问于2014-02-18得票数 5
回答已采纳
1回答
大量文件的分布式存储
、、、
小集思广益。
我为分布式存储解决方案搜索最合适的解决方案。我寻找一个高效的键/值存储，平面命名空间，最小的延迟。
场景
我计划保存1Ko或更少的小blob记录。它们大多是生产/消耗的记录：
1写
1阅读，更多关于罕见的情况。
删除，几个月后存档。
然而，一些记录可能增长到10 be，这是最大的，但必须是可能的。
数据必须在磁盘上序列化。
重要
我的第一优先是一个存储空间，它可以在一个真正的文件列表中提供良好的响应时间，这个列表中可能有数亿个文件。
当然，使用这个数字，我不关心迭代我的文件(我寻找功能，但不关心性能，只关心调试或维护)。
当然，这种规模的解决方案，没有SPOF
浏览 2提问于2013-09-20得票数 2
回答已采纳
1回答
在HBase单元中保存多个版本
、、、、
我是HBase的新手。我试图在HBase中的一个单元格中保存多个版本，但我只是获得最后保存的值。我尝试了以下两个命令来检索多个保存的版本：get 'Dummy1','abc', {COLUMN=>'backward:first', VERSIONS=>12}和scan 'Dummy1', {VERSIONS=>12}都返回输出，如下所示：
ROW COLUMN+CELL
abc
浏览 3提问于2015-01-31得票数 2
回答已采纳
1回答
我是HBase的初学者。我目前不确定是什么影响了HBase的性能。首先，我在独立模式下运行Hbase。我使用一台机器运行Mapreduce程序来处理两百万行文本，并将结果输出到存储在本地文件系统中的HBase表中。它花了大约1小时40分钟。然后我切换到伪分布式模式。然后，Htable文件被存储在HDFS.All中，包括程序在内的其他内容保持不变。然后花了3个多小时！我完全糊涂了。有人能告诉我为什么会这样吗？
另一个问题是，由于我在功能不是很强大的Linux机器上创建了5个虚拟机作为虚拟集群(8G ram。3 3GHz四核CPU)。当我一个月前运行Mapreduce程序时，当我在一个主服务器上运
浏览 2提问于2012-07-27得票数 1
回答已采纳
卡桑德拉的最终一致性模型与HBase有何不同？似乎Facebook从Cassandra迁移到HBase是因为一致性问题。这些NoSQL数据库中的哪一个是可扩展性和性能的理想选择，并且一致性尽可能接近“即时”。当我们试图提高一致性时，性能下降的因素是什么？
浏览 0提问于2015-10-27得票数 2
2回答
我将在仓库应用程序中使用NoSQL产品(特别是Cassandra或Hbase)。我没有发现任何关于哪些产品支持范围查询的并行查询处理(在单个机器上和集群上)的有用信息。有人能帮帮忙吗？
浏览 2提问于2012-05-20得票数 0
回答已采纳
我安装了Hadoop2.2.0和here 0.98.0，下面是我所做的工作：
$ ./bin/start-hbase.sh
$ ./bin/hbase shell
2.0.0-p353 :001 > list
然后我得到了这个
ERROR: Can't get master address from ZooKeeper; znode data == null
我为什么要犯这个错误？另一个问题:在运行基础之前，是否需要运行./sbin/start-dfs.sh和./sbin/start-yarn.sh？
另外，./sbin/start-dfs.sh和./sbin/start-
浏览 3提问于2014-03-26得票数 14
回答已采纳
我多次听说像HBase这样的公司具有很强的一致性。我读过关于HBase的文章，并且很喜欢它。然后我想到了mongodb编写以及两者之间的区别。在查看之后，MongoDB似乎也具有很强的一致性。但是它是一致的吗？看起来HBase有事务，而MongoDB没有。我有点困惑。我找到的所有东西都是简单的插入和更新，并解释了它们是如何复制的。我还没见过交易。
MongoDB和HBase一致性的区别是什么？我相信HBase有ACID事务，mongodb有没有什么东西可以处理多个插入，或者所有的东西都应该放在一个文档中？(我想不出为什么自动取款机不够好)。
出于一致性和复制的原因，有什么不同?为什么会选择其中
浏览 1提问于2012-10-11得票数 3
在浏览卡桑德拉和HBase的阅读材料时，我发现卡桑德拉并不一致，但HBase是一致的。我找不到任何合适的阅读材料。
有没有人能提供一些关于这个主题的博客/文章？
浏览 1提问于2019-07-23得票数 3
我现在有一个Hadoop集群，在这里我存储了大量的日志，我在其中运行用于计算聚合分析的猪脚本。我还拥有一个Mongo集群，在这里存储生产数据。
我最近被安置在一个职位上，我需要做很多一次性的分析查询，或者让其他人也能做。这些查询经常需要同时使用生产数据和日志数据，因此无论我使用什么，我都希望将所有内容放在一个地方。我的日志数据在json中，大约是我的prod数据的10倍。以下是我所看到的Mongo和HBase的优缺点：
Mongo / HBase Cons:
由于日志数据是用JSON编写的，所以我可以很容易地将它输入Mongo，并且可以通过类似于FluentD的东西实时完成。
与我一起
浏览 4提问于2013-05-15得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
