这是一个研究项目。我们将每天录制大量视频，并将带有日志数据的元数据保存在语义模型、RDF或OWL中。该视频将用于下载或处理在server.Everyday上，我们会添加很多数据。什么是最好的存储解决方案？一些选择
使用Hbase。二进制文件将存储在HDFS中。使用HDFS + Neo4j。Neo4j只是用于语义模式。因此，我们只需在RDF或OWL文件中记录二进制文件的路径。然后Java将处理逻辑.、、Lustre+、Hbase或Neo4j。Lustre将存储大型视频文件，而Hbase/Neo4j用于语义数据。
什么是最好的解决方案，还是更好的解决方案。谢谢
浏览 1提问于2011-11-03得票数 2
回答已采纳
我是Hbase的新手，我只想了解Hbase的写操作。如果多个客户端在同一个表中写入，那么Hbase如何保持对物理文件的顺序写入。
Hbase将数据存储在哪里(我认为是在HDFS中)？
我们可以在HDFS之外存储Hbase数据吗？
浏览 2提问于2013-04-12得票数 0
回答已采纳
如何在HBASE中插入图片？我需要在hbase中存储图像(hbase是我项目中的DB )
浏览 1提问于2013-01-03得票数 0
目前，我对HBase块缓存感到困惑。
我已经意识到了HBase块缓存的存在，这是为了提高读取性能。问题是，如果我通过命令阻止HBase，
stop-hbase.sh
通过命令重新启动 HBase，
start-hbase.sh
它是否会导致丢弃HBase的所有块缓存而块缓存变为空？
谢谢大家提前给我。
浏览 4提问于2020-12-07得票数 0
回答已采纳
我使用apache在hbase中存储数据，hbase使用hdfs作为其文件系统。我想知道它存储在hbase中的哪些文档。如何读取hbase中的数据，例如，一些pdf存储在hbase中。我想读一读。我会怎么做。
请指引我？
浏览 2提问于2014-09-22得票数 0
回答已采纳
hadoop在哪里存储hbase数据？是否有hbase数据的物理路径？我想使用sqoop将hbase数据导出到MS。我需要指定参数export。但我找不到hbase数据的数据。有人能帮忙吗？
谢谢
浏览 1提问于2015-02-17得票数 0
回答已采纳
我有一个hbase表，我想把它映射到一个hive表。问题是，当我在hive中使用外部表时，它会完成，但当我想在hive中创建内部表时，它会抛出一个异常：
message:Table yourtable *already exists within HBase*; use CREATE EXTERNAL TABLE instead to register it in Hive
使用的命令：
CREATE TABLE A
(key string, date_time timestamp)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseSto
浏览 1提问于2016-05-12得票数 0
我对Hadoop生态系统有几点怀疑。渴望很好地理解这些概念。
蜂巢表在哪里存储数据？
对于Datawarehouse，我们是否需要在Hive和Hbase表中都有相同的数据。
如何从Hbase中插入、更新、读取数据。
除了csv之外，HDFS还可以存储所有文件格式。
我们能吃点Hbase吗。
如果我有蜂巢，我可以省略Hbase表吗？
浏览 4提问于2012-10-17得票数 0
1回答
我正试着从火花中获取hbase。
spark = (
SparkSession.builder.master("yarn")
.appName(app_name)
.config("spark.jars.packages", "org.apache.hbase:hbase-spark:1.2.0-cdh5.16.2")
.getOrCreate()
)
但我知道错误是：
模块未找到:org.apache.hbase#hbase-spark；1.2.0cdh5.16.2
该页存在于maven：上。
有什么问题
浏览 5提问于2020-07-07得票数 0
回答已采纳
我在HBase中有一个表，我希望将其表示为hive中的EXTERNAL TABLE
到目前为止，我一直在使用：
CREATE EXTERNAL TABLE events(key STRING, day INT, source STRING, ip STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,c:date#b,c:source,c:ipAddress")
浏览 2提问于2013-05-15得票数 1
1回答
Hbase在哪里存储数据？
、、、、
我是HBase的新手。目前，我正在使用hortonworks沙箱hdp2。在学习Hbase的时候，我遇到了一些问题。
hbase在哪里存储数据？
如果它存储在HDFS上，那么它是如何执行更新操作的，因为hdfs是写一次并多次读取。
浏览 2提问于2015-08-24得票数 6
回答已采纳
最近，我使用hadoop批量加载将数据放入hbase中，首先，我调用hdfs将数据写入hadoop中的文件中，总共有7,000,000行数据，大小为503 to。其次，我使用org.apache.hadoop.hbase.mapreduce.ImportTsv和org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles将数据放入hbase中。
我所做的最重要的事情是使用大容量工具将数据放入hbase中，在完成大容量加载之后，我发现hbase表是1.96GB。hdfs复制为1，我不知道为什么。
浏览 5提问于2012-12-13得票数 3
1回答
我对大数据很陌生，并试图了解各种持久化和检索数据的方法。我知道Parquet和HBase都是面向列的存储格式，但是Parquet是一个面向文件的存储，而不是一个与HBase不同的数据库。我的问题是：
使用Parquet代替HBase的用例是什么？
是否有可以与HBase一起使用Parquet的用例？
在执行联接的情况下，Parquet是否比HBase (例如，通过像菲尼克斯这样的SQL皮肤访问)性能更好？
浏览 1提问于2018-09-09得票数 20
回答已采纳
1回答
尝试使用Titan DB 1.0.0将数据加载到HBase 1.2.0中，但我得到以下错误:我知道HBase版本的存在兼容性问题，所以我添加了以下内容:下面的conf.setProperty("storage.hbase.compat-class", "com.thinkaurelius.titan.diskstorage.hbase.HBaseCompat1_0")是我的spark-submit作业：
spark-submit --jars javassist-3.12.1.GA.jar,titan-hadoop-core-1.0.0.jar,titan-hb
浏览 1提问于2017-05-15得票数 0
我想将图像存储在我的hbase table.And中，我想将图像文件从hbase表中读取为一个image.Is，可以在hbase中这样做。
图像大小不能超过10MB.For，每行都应该有一个图像与it.Wondering相关联，如何做it.Need，一些线索才能继续进行。
浏览 1提问于2015-06-15得票数 0
回答已采纳
我是hbase的新手，所以如果我问一个奇怪的问题，请原谅。我的怀疑是：
1)当区域在hbase中被分割时，区域中的存储文件在哪里移动？
(2)压实是在区域还是在HDFS？
3) hbase中的存储文件存储在地区或HDFS中？
浏览 4提问于2014-08-01得票数 0
回答已采纳
我尝试在我的gradle文件中导入Cloudera6.3.3的hbase 2.1.0，如下所示：
compile ("org.apache.hbase:hbase-client:2.1.0-cdh6.3.3"){
exclude group: 'org.slf4j'
exclude group: 'org.jruby'
exclude group: 'jruby-complete'
exclude group: 'org.codehaus.jackson
浏览 4提问于2020-10-15得票数 1
回答已采纳
1回答
当文件作为记录从linux机器上传到Hbase表时，我们观察到数据大小的减少(文件系统上为10 GB，Hbase表中为6-8 GB )。在hbase表上没有使用压缩方法，主要压缩也被禁用。找不到原因？？
浏览 47提问于2021-06-23得票数 0
根据我的理解，HIVE和HBASE都使用HDFS来存储数据。当我们integrate HIVE and HBASE
数据是如何在它们之间移动的？还是说数据不会移动，只是反映出来呢？我有兴趣了解两种情况。
One: Table_1有数据，its在胞内，Table_2有数据，its在HBASE中。现在发生了集成(这个场景是否可能？)。
数据移动是如何发生的？是从HBASE到蜂巢还是从蜂箱到HBASE。
Two:设置为scenario One。现在是新插入的记录。他们会去哪里？
我是HBASE的新手，对了解数据移动的细节和例子感兴趣。
如果需要，请改进这个问题。提前谢谢。
浏览 2提问于2014-01-18得票数 2
回答已采纳
在Hadoop中，我可以轻松地创建Map/Reduce应用程序，这些应用程序可以访问和处理巨大的文本文件和csv文件中的数据。我的问题是，Hbase能不能做同样的事情，访问这么大的文件，或者HBase有其他用途？
HBase就像运行关系数据库一样运行查询；所以，我很难理解Hbase的优势，除非它可以像Hadoop那样访问巨大的文本和csv文件。
浏览 3提问于2012-12-18得票数 0
回答已采纳
1回答
我对Hbase的概念非常陌生。据我所知，HBase的底层文件系统仅限于HDFS。
我只是想了解一下，如果在一个集群中，我已经有一些HDFS中的数据。我尝试在HBase中导入它(或者使用Pig/Hive脚本)，它会以HBase支持的形式( Hbase的底层文件系统是HDFS)在HDFS中创建相同数据的另一个副本吗？
或者它将创建对相同HDFS数据的引用？
浏览 4提问于2015-02-01得票数 0
回答已采纳
2回答
我有大约1G的图像.png文件在我的HDFS。有没有人能推荐一种方法，将这些图像的索引值存储在HBase中，并通过查询HBase来检索图像。或者，我如何使用HDFS/HBase来提供镜像。请回复。
紧急要求:(
提前感谢
浏览 0提问于2011-09-08得票数 2
回答已采纳
我怎样才能开发通用的程序来做下面的事情。
a.从HBASE读取数据b.将数据加载到HBASE中c.在MapReduce中使用HBASE表作为查找
我需要创建足够通用的转换，它们应该很容易集成到数据管道中。
浏览 0提问于2012-04-26得票数 0
我已经安装了hadoop和Hbase，据我所知，它们都工作得很好。当尝试使用hadoop构建jar时，我得到了一个
java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
错误，在我的maven依赖项中使用Hbase版本0.90.2。
我认为这是Hbase的一个很旧的版本，我不确定这个旧版本是否与Hadoop2.7.2甚至Java 8兼容。
Failed to execute goal on project exercise_2: Could not resolve dependencies for
浏览 7提问于2016-04-29得票数 3
我是Hbase dbms的新手。在尝试hbase的命令行shell时，我发现我可以读取rowkey、col和col限定符，因为它们是以字符串格式打印出来的，但值是以十六进制格式(或类似的格式)打印出来的。这背后的确切概念是什么？
hbase(main):045:0* scan 'testtable'
ROW COLUMN+CELL
浏览 2提问于2013-04-26得票数 1
回答已采纳
我正在试验一些hbase代码。我意识到，当我使用put命令通过hbase shell插入数据时，所有内容(包括数字和字符串)都被放入字符串：
hbase(main):001:0> create 'employee', {NAME => 'f'}
hbase(main):003:0> put 'employee', 'ganesh','f:age',30
hbase(main):004:0> put 'employee', 'ganesh','f:des
浏览 3提问于2016-07-08得票数 1
回答已采纳
我使用HBase完全批量加载将ImportTsv的输出传输到HBase中的一个表中，并注意到它复制输出而不是裁剪。这需要很长时间来处理我的千兆字节数据。
在HBase文档()中，我看到文件将被移动，而不是复制。有人能帮我吗？
我使用Hbase 0.94.11和Hadoop1.2.1。大容量输出目录和hbase集群的文件系统也是相同的。
我还使用MapReduce编写了一个HFileOutputFormat作业。当我使用LoadIncrementalHFiles将作业的输出移到HBase表时，它仍然复制而不是剪切。
亲切的问候
浏览 0提问于2013-09-15得票数 1
回答已采纳
我想使用HBase作为一个存储，在那里我可以推入几百万个{document => {term => weight}}格式的条目。"Insert term X into document Y with weight Z“，然后发出类似于"Select the top 1000 term for this document”或"Select the top 1000 term for each document“的命令。这在我当前的MySQL实现中可以工作，但是该域可能更适合HBase。我注意到HBase和BigTable用于全文索引，这是一个类似的问题领域。
浏览 0提问于2009-11-06得票数 2
回答已采纳
我是HBase的新手。实际上，HBase称为无模式数据存储。但是要存储特定列中的值，我们需要指定表，然后指定列族，然后指定列名，然后指定{实际值}。
所以我搞混了，要把值放到hbase表中，为什么我们需要指定列名。
HBase是否是无模式的？
请澄清我的疑问？提前谢谢。
浏览 2提问于2014-07-17得票数 0
2回答
如果HDFS不允许修改文件，HBase为什么要存储和修改数据？很难找到这个问题的答案，因为结果大多是面向HBase物理数据格式的。但是我找不到HBase是如何解决HHDFS文件不可变的问题的？
浏览 2提问于2013-10-01得票数 3
回答已采纳
1回答
我的6节点Hbase集群有以下硬件配置(1主-5从)
每个节点的配置
2.4 CPU，48核Intel CPU
256 RAM
1 1Gb/ps网络连接
30个SSD磁盘(JBOD设置)
操作系统: RHEL 6.6
Hbase版本:1.2.0
CDH分布: 5.7.0
我在Hbase中调整了以下参数：
hbase.client.write.buffer: 64MB
hbase.regionserver.handler.count: 64
master_region_java_heapsize: 125GB
hbase.client.scanner.caching: 10000
浏览 3提问于2016-06-18得票数 0
我总共有10个节点。3个节点运行Zookeeper，其余7个节点运行HDFS和Hbase。而且Hbase已经存储了很多数据。我错误地初始化了Zookeeper节点的(I'm using Cloudera, by mistake clicked the Initialize Button)。我想知道这3个Zookeeper节点是否丢失了可能是Hbase mata数据的持久数据。或者说，Hbase将元数据存储在Hmaster中，而Zookeeper只存储一些内存数据。
浏览 4提问于2016-07-09得票数 1
2回答
我正在设计一个简单的网站使用DJango和我的数据库是HBase。在某些部分，我需要保存一些文件在HDFS上，例如视频文件，并有它的URI。但我的问题是，我找不到任何通过DJango访问HDFS的API，所以我决定使用ubuntu终端命令在HDFS上上传和下载数据。现在我想知道有没有使用Django运行终端命令的方法，或者通过Django访问HDFS API的任何其他方法？
浏览 0提问于2016-09-02得票数 4
1回答
Hbase表基于列族，这意味着每一列都是元组--每一列都存储在一起。
这是否意味着HBase不是一个柱状DB？柱状DB在IO中是有效的，它们可以做更好的压缩，因为单个列的数据往往是相似的。因此，一次压缩一个列，然后一次压缩整个表就更容易了。
HBase列族是存储在一起的事实，它是否降低了效率，还是HBase做了一些聪明的技巧来保持列的性质？
浏览 5提问于2017-04-12得票数 2
回答已采纳
我试图在现有的Hbase表上创建一个Hive表，如下所示：
create external table h2h (
key int -- int or string?
col1 string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ('hbase.columns.mapping' = ':key,info:col1');
演示了key的几种数据类型。
如何确定列key的数据类型，该列映射到Hbase表中的
浏览 4提问于2016-06-18得票数 0
回答已采纳
我试图更好地理解HBase中的内存存储刷新算法。
我有一个带有1列家族的简单(snappy-压缩)表，并且我按照以下方式配置了HBase (在这个区域服务器上有几个区域)：
hbase.hregion.memstore.flush.size: 128 mibJava堆大小HBase RegionServer (字节数)：10 Gibhbase.regionserver.global.memstore.upperLimit: 0.4hbase.regionserver.global.memstore.size.lower.limit: 0.95
根据日志，刷新似乎发生在70 at，我在日志中反复
浏览 5提问于2021-05-19得票数 1
回答已采纳
2回答
我想实际观察一下HBase中的恢复是如何工作的，我使用了以下代码片段
Put p=new Put(Bytes.toBytes("name10"));
p.setWriteAheadLog(true);
p.add(Bytes.toBytes("cf"), Bytes.toBytes("name"),Bytes.toBytes("Some Value 10"));
table.setAutoFlush(true);
table.put(p);
在执行上述代码之后，我重新启动了VM (不停止HB
浏览 3提问于2013-03-18得票数 0
回答已采纳
我从一些消息来源听说，HBase是一个基于Hadoop的“批处理”进程，所以我不确定HBase是否可以提供对其计算单元的实时读写访问？
例如，对于应用程序想要写入HBase表中的某个单元格的一段数据，HBase是否需要通过Map-Reduce中使用的批处理过程将数据放入该单元格？如果是这种情况，那么在批处理完成之前，此应用程序无法从HBase读取这段新数据……
任何帮助都将不胜感激！
浏览 2提问于2012-09-11得票数 2
回答已采纳
我是hbase的新手，并试图从远程应用程序连接hbase。
但一开始就被困住了。
我在eclipse上添加了maven依赖项(露娜，JavaEE)，但是eclipse警告错误
Missing artifact org.apache.hbase:hbase:jar:1.1.3
我怎么才能解决这个问题？
这里是依赖项
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>had
浏览 1提问于2016-03-24得票数 0
回答已采纳
我的客户有一个计算场景，一些数据存储在集群A的Hive中，另一些数据存储在集群B的Hbase中，然后他们想要对这两种表进行一些连接操作。
那么有没有一种方法可以让我在Hive中这样做：
select hive_table.col1, hbase_table.col2 from hive_table inner join hbase_table on hive_table.id = hbase_table.id
配置单元表和hbase表存在于不同的集群中。
浏览 1提问于2018-05-26得票数 1
这张桌子在hbase里叫'emp‘。
hbase(main):006:0> create 'emp', 'personel data'
0 row(s) in 1.3110 seconds
我已经通过put命令插入了2行。
hbase(main):020:0> scan 'emp'
ROW COLUMN+CELL
浏览 6提问于2022-01-08得票数 -1
回答已采纳
1回答
在hbase集群上设置多个tsd
、、、、
在我的HBase集群上设置多个opentsdb实例时，需要执行哪些所有配置？我想设置一些写的实例和一些只读的实例。
我找到了这个链接
$20tsd/opentsdb/NiTKnsmm7NI/O7mPzWwwshYJ
但是我感到困惑的是，是否所有实例都需要指向运行HMaster守护程序的单个主节点？如何在不同的实例中设置这些属性？
$20tsd/opentsdb/nZ59_xMaRvo/_ZWzCdj0FU8J
tsd.storage.hbase.data_table
tsd.storage.hbase.uid_table
tsd.storage.hbase.zk_basedir
tsd.sto
浏览 1提问于2016-02-15得票数 0
我在我的项目中使用Hbase支持的Hive表，但我们选择Hbase支持的Hive的原因是为了执行更新。
除此之外，Hbase支持的Hive表还有什么其他优势。因为它在从配置单元查询时仍然使用MapReduce。即使我们想要很小的数据集，而且表很大，给出结果也需要时间。
但是，如果我们在Hbase shell中使用Range或get执行扫描，结果会在几秒钟内出现。那么，除了更新(现在也可以在Hive中使用)和SQL ease之外，使用Hbase支持的HIVE表还有什么其他优势呢？
如果HIVE由Hbase支持，HIVE如何计算和运行查询？为什么它使用MapReduce而不是更快的Hbase引擎来
浏览 0提问于2017-09-23得票数 1
因此，我们在Azure集群中的HBase中创建了一个表，但不确定存储空间。如何检查表是否位于blob中？
我一直在搜索文档和Ambari网站上的HBase部分。
提前谢谢。
浏览 0提问于2018-07-09得票数 0
我在做hbase。我有一些问题：
HBase在哪里存储行键？它在每个区域服务器的内存中吗？或者在磁盘上？，如果我的行键非常大，会发生什么？
谢谢!
浏览 2提问于2011-08-05得票数 2
1回答
我对Hadoop的互操作性有疑问。一个zookeeper可以同时与Solr和Hbase系统交互吗？如果是，它将如何相互作用。另外，让我们考虑一下，我们有一个zookeeper，它同时与Solr系统和Hbase系统交互。对Solr和Hbase系统的要求是不同的。zookeeper将如何区分Solr和Hbase系统的需求
浏览 6提问于2016-05-30得票数 0
当我使用HBase时，我花了很多时间将字节数组转换为String或Long之类的类型。为什么HBase将值存储为字节数组，而不是类型化的值？
浏览 6提问于2012-08-07得票数 4
回答已采纳
1回答
我找到了一个简单的例子: HBase+Spring。我读了一些关于hbase配置的文档和文章。我配置了HBase服务器，现在我想创建客户端。我知道spring为使用Hbase提供了什么HbaseTemplate。也许有人有完整的例子？我需要像put，get，delete.I这样的简单操作。感谢并为我糟糕的英语道歉。
浏览 2提问于2012-12-27得票数 2
3回答
我想使用Spark阅读HBase中的表。我添加了以下依赖项：
libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"
正如hbase 中提到的，但依赖关系无法解决!！
我还尝试了不同的版本(1.2.0，1.1.2)，但没有成功。
浏览 4提问于2016-02-29得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
