如何处理JSON文档(来自MongoDB)并在结构化流中写入HBase？
处理JSON文档并在结构化流中写入HBase可以通过以下步骤完成：
- 解析JSON文档：首先，需要使用适当的编程语言（如Python、Java等）读取和解析MongoDB中的JSON文档。可以使用MongoDB的官方驱动程序或第三方库来实现这一步骤。
- 转换为结构化数据：一旦解析了JSON文档，需要将其转换为结构化数据，以便能够将其写入HBase。这可以通过将JSON文档转换为适当的数据结构（如字典、列表等）来实现。
- 连接HBase：接下来，需要使用HBase的官方客户端或第三方库来建立与HBase的连接。这将允许您执行与HBase相关的操作，如创建表、插入数据等。
- 创建HBase表：在将数据写入HBase之前，需要先创建一个适当的表。表的结构应与JSON文档中的数据相匹配。可以使用HBase的API或命令行工具来创建表。
- 写入数据：一旦表被创建，可以将结构化数据写入HBase。根据所选的编程语言和库，可以使用相应的API来实现数据插入操作。确保将JSON文档中的每个字段正确映射到HBase表中的列。
- 关闭连接：在所有数据都被写入HBase后，需要关闭与HBase的连接，以释放资源并确保数据的完整性。
需要注意的是，以上步骤中提到的编程语言、库和工具取决于您的技术栈和偏好。以下是一些腾讯云相关产品和产品介绍链接，可用于支持上述操作：
- 腾讯云HBase产品介绍：https://cloud.tencent.com/product/hbase
- 腾讯云MongoDB产品介绍：https://cloud.tencent.com/product/mongodb
- 腾讯云云服务器（CVM）产品介绍：https://cloud.tencent.com/product/cvm
- 腾讯云弹性MapReduce（EMR）产品介绍：https://cloud.tencent.com/product/emr
请注意，以上链接仅供参考，具体产品选择应根据您的需求和实际情况进行评估。
相关·内容
我正在使用pyspark读取Kafka的流数据，然后我想将这些数据汇到mongodb。我已经包含了所有必需的包，但是它会引发以下错误
UnsupportedOperationException:数据源com.mongodb.spark.sql.DefaultSource不支持流写入。
以下链接与我的问题无关
下面是完整的错误堆栈跟踪
回溯(最近一次调用)：.option("com.mongodb.spark.sql.DefaultSource"，“mongodb://localhost:27017/twitter.test”中的文件“/home/b3ds/kafka-sc
浏览 4提问于2018-06-04得票数 2
1回答
我的目标是使用Spark结构化流将转换后的数据从MongoDB集合写入Neo4j。根据Neo4j文档，这在"“版本4.1.2中是可能的。
到目前为止，批处理查询工作正常。但是，通过下面的示例，我遇到了一条错误消息：
spark-shell --packages org.mongodb.spark:mongo-spark-connector:10.0.2,org.neo4j:neo4j-connector-apache-spark_2.12:4.1.2_for_spark_3
val dfTxn = spark.readStream.format("mongodb")
.
浏览 17提问于2022-06-27得票数 0
1回答
我试图建立一个大的数据平台，在Hadoop中接收和存储大量的异构数据，如文档、视频、图像、传感器数据等，然后实现分类过程。那么，由于我目前使用的是VMware VSphere EXSi Hadoop，什么样的体系结构可以帮助我
Habse XAMPP所有这些都很好，但是我不知道如何接收大量数据和如何存储数据，因为我发现Hbase是一个面向列的数据库，而不是数据仓库。
浏览 1提问于2015-10-05得票数 0
回答已采纳
2回答
火花结构化流处理每一行
、、、
我使用结构化流与Spark2.1.1。我需要将一些业务逻辑应用于传入消息(来自Kafka源)。
本质上，我需要获取消息，获取一些键值，在HBase中查找它们，并在dataset上执行更多的biz逻辑。最终结果是需要写入另一个Kafka队列的字符串消息。
但是，由于传入消息的抽象是dataframe (无限制的表结构流)，我必须通过mapPartitions (由于HBase客户端不可串行化而导致的分区)在触发器期间迭代所接收的数据集。
在我的过程中，我需要迭代每一行来执行相同的业务流程。
是否有更好的方法可以帮助我避免dataFrame.mapPartitions调用？我感觉到它的顺序和迭
浏览 9提问于2017-05-25得票数 3
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中
将流媒体方法从spark kafkastreaming改为结构化流媒体，因此早期使用kafkaUtils的方法产生了DstreamDocument
在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStream.format("kafka").option("kafka.bootstrap.servers","brokerList").option("subsc
浏览 15提问于2019-11-09得票数 2
3回答
我是大数据技术的新手，我有一个关于hbase如何与hadoop集成的问题。"Hbase位于HDFS之上“是什么意思？我的理解是，HDFS是分布在多个节点上的结构化和非结构化数据的集合，而HBase是结构化数据。
如何将Hbase与Hadoop集成，以提供对底层数据的实时访问。我们必须编写特殊的作业来构建索引之类的吗？换句话说，Hbase和hdfs之间是否有一个额外的层，其中包含HBase所理解的结构中的数据。
浏览 8提问于2016-03-27得票数 1
回答已采纳
1回答
您知道MongoDB和Server“文档存储”( Json支持)之间的区别吗？是同一回事吗？还是现在Sql与mongoDB相同来存储文档？
我想以最快的速度将/update/delete插入到一个聚合命令中。(数据的10k<=X<=40Million)
浏览 2提问于2018-09-13得票数 1
回答已采纳
我正在评估一些不同的NoSQL数据库来存储时间序列JSON数据。由于查询引擎，ElasticSearch变得非常有趣，我只是不知道它是否适合存储时间序列数据。
数据由以不同时间间隔从设备收集的各种指标和统计数据组成。每段数据都是一个JSON对象。我希望每天收集大约12 in的数据，但只需要将数据保存在ES中180天。
与MongoDB或Hbase相比，ElasticSearch是否适合这些数据？
浏览 3提问于2014-07-22得票数 7
回答已采纳
1回答
我使用Spark流来处理在线需求，例如每小时新的用户计数如下：
根据每批处理，当日志出现时，从外部表(如hbase或dynamodb )中选择uid，如果不存在，则插入表
这种方法经常使用表格，花费太大。
现在我想用结构化流来解决这个问题。
在下面的sql中，可以脱机地解决问题：
sql1
create table event_min_table as select pageid,uid,floor(min(time)/36000)*3600 as event_time from event_table group by pageid,uid
sql2
select pageid,count(
浏览 3提问于2017-09-08得票数 0
回答已采纳
1回答
我正在尝试序列化一个混合了数据类型的Python对象--原生Python、numpy、内置Python的子类。Pickle和cPickle足够健壮，可以处理所有数据类型，但我达到了大小限制(>300MB)；我之所以知道这一点，是因为在加载Pickle对象时，我看不到整个对象被序列化了。为了寻找比cPickle更有效的替代品，我尝试了以下方法，但对数据类型都不起作用: json，simplejson，用于将numpy类型转换为原生Python的json的自定义子类，marshal (不处理内置类型的子类，如defaultdict)，MessagePack。你有什么意见建议？提前感谢！
浏览 2提问于2016-04-07得票数 0
1回答
火花流:源HBase
、、、
是否可能有火花流作业设置来跟踪HBase表并读取每批新的/更新的行？博客说HDFS文件属于受支持的源代码。但是他们似乎使用了以下静态API：
sc.newAPIHadoopRDD(..)
我找不到这方面的任何文件。是否可以使用火花流上下文从hbase中流？任何帮助都是非常感谢的。
谢谢!
浏览 4提问于2016-12-08得票数 2
2回答
我对mongodb很熟悉。
您知道，mongodb中有许多索引类型，例如：
多键索引：，这是非常有用的关键字搜索，我曾使用它来构建一个简单的搜索引擎。
复合索引在用于多字段查询的mongodb：中也非常有用。
但是我需要将我的数据库从mongodb迁移到hbase，您知道hbase中有一些类似的索引可以在mongodb中实现多键索引和复合索引的相同功能吗？
浏览 4提问于2014-02-20得票数 0
回答已采纳
我有Kafka主题中的数据(每10分钟发布一次数据)，我计划使用(批处理模式)读取这些数据，并将其推到MongoDB中。
请注意:这将使用GCP上的Composer/Airflow进行调度，这将创建一个Dataproc集群，运行星火代码，然后删除该集群。
以下是我的当前代码：
# read from Kafka, extract json - and write to mongoDB
df_reader = spark.readStream.format('kafka')\
.option("kafka.bootstrap.servers",kafk
浏览 6提问于2022-06-22得票数 -1
6回答
如何决定使用哪种NoSQL技术？
、、、、
MongoDB (基于文档)、HBase (基于列)和Neo4j (对象图)的优缺点是什么？
我特别感兴趣的是每种方法的一些典型用例。
也许有任何值得使用的幻灯片或Scribd演示文稿？
浏览 2提问于2010-09-17得票数 26
回答已采纳
我正在尝试使用Java将一个大的JSON文件(newclicklogs.json)上传到mongodb。下面是我的JSON文件的样子：
{"preview":false,"result":{"search_term":"rania","request_time":"Sat Apr 01 12:47:04 -0400 2017","request_ip":"127.0.0.1","stats_type":"stats","upi&
浏览 2提问于2017-05-01得票数 6
回答已采纳
2回答
我正在尝试编写一个Flink应用程序，它从Kafka中读取事件，从MySQL中丰富这些事件，并将这些数据写入HBase。我正在RichFlatMapFunction中进行MySQL丰富，现在我正在尝试找出如何最好地写入HBase。我想批量写入HBase，所以我目前正在考虑使用WindowAll，然后使用identity apply (只是为了返回DataStream)，然后编写一个HBaseSink，它获取一个记录列表并对HBase执行批量Puts。
这是做事情的正确方式吗？使用WindowAll和apply来做基于时间的缓冲感觉很奇怪。
浏览 0提问于2019-09-27得票数 0
2回答
Hadoop 如何管理JSON文件？
假设某些JSON文件存储在HDFS中，并且每个JSON与其他JSON不同，我想输出通过查询创建的JSON。就像MongoDB。
例如，我向您展示了这个伪代码：
FOR EACH json IN hdfs:
name = json.NAME
IF json HAS this_attribute:
x = json.this_attribute.value
CREATE A CSV THAT CONTAINS ALL INFO REQUIRED (name, x)
RETURN CSV
在MongoDB中，生成这个输出是最容
浏览 9提问于2021-11-15得票数 0
回答已采纳
1回答
我正在使用一个数据流来写入kafka主题以及hbase。对于Kafka，我使用如下格式：
dataset.selectExpr("id as key", "to_json(struct(*)) as value")
.writeStream.format("kafka")
.option("kafka.bootstrap.servers", Settings.KAFKA_URL)
.option("topic", Settings.KAFKA_TOPIC2)
浏览 0提问于2017-12-26得票数 1
我多次听说像HBase这样的公司具有很强的一致性。我读过关于HBase的文章，并且很喜欢它。然后我想到了mongodb编写以及两者之间的区别。在查看之后，MongoDB似乎也具有很强的一致性。但是它是一致的吗？看起来HBase有事务，而MongoDB没有。我有点困惑。我找到的所有东西都是简单的插入和更新，并解释了它们是如何复制的。我还没见过交易。
MongoDB和HBase一致性的区别是什么？我相信HBase有ACID事务，mongodb有没有什么东西可以处理多个插入，或者所有的东西都应该放在一个文档中？(我想不出为什么自动取款机不够好)。
出于一致性和复制的原因，有什么不同?为什么会选择其中
浏览 1提问于2012-10-11得票数 3
我使用的是MongoDB，但是现在我不得不使用Hbase来进行一个新的项目。我有非常复杂的Json文档，比如：{"comapy":[{"micro":{"hit":"no"}},{"cisco":{"hit":"yes"}}]}.
我想通过嵌套字段(如: company.cisco.hit='yes‘)查询数据，嵌套字段可能更深。那么，我如何使用Hbase查询这些嵌套字段请，谢谢！
浏览 3提问于2016-01-25得票数 0
回答已采纳
我被要求关注mongodb的最新文档。我使用了ChangeStream watch API从集合中获取流文档。 我的设置是一个副本集，其中有3个节点运行在同一个系统中，端口分别为27017、27018和27019。该设置没有任何身份验证设置。 mongodb.conf文件： systemLog:
destination: file
logAppend: true
path: /mongodb/logs/mongodb.log
storage:
dbPath: /mongodb/data/d1
journal:
enabled: true
engine:
浏览 32提问于2020-07-21得票数 0
1回答
假设我在Amazon弹性mapreduce上启动了一个集群，并有一个主节点实例、两个核心节点实例和15个任务节点实例。
我想我使用mapreduce作业和增量上传将大约1TB的数据上传到hbase。
现在-
如何找到表的大小和区域分割(字节)。通常，在CDH上，我会执行hadoop -du /hbase。但是我的主节点上没有/hbase目录。
我也很想知道区域服务器分配将如何工作。因此，即使我有100个区域-如果我有一个主节点-这意味着整个IO将被节流，对吗？
谢谢问候
浏览 1提问于2013-10-03得票数 1
3回答
我正在尝试从运行在纱线上的java应用程序访问HBase，但我需要一些关于如何做到这一点的线索。我已经在网上搜索过了，但是我找不到确切的答案。下面是它们：
最基本的问题是:如何与星火中的HBase进行交互？我是否需要在每个工作人员上设置一个HBase连接(也许通过mapPartition来保存一些连接)，或者在创建之后我可以从驱动程序中共享它？
驱动程序可以实例化HBase表对象并将其发送给工作人员以便对它们执行Put和获取操作吗？
(与前一个操作相关)使用单次Put/Get操作与星火中的HBase交互是否是一个很好的实践？有别的选择吗？
谢谢你的回答
浏览 0提问于2018-02-14得票数 1
2回答
将Kafka中的流数据“导入”到HBase中的最佳实践是什么？
使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。
1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka --> Spark Streaming --> HBase、Kafka --> HBase)
2)哪里是进行protobuf反序列化的最佳位置(例如，在Flume中使用拦截器)？
谢谢您一
浏览 1提问于2015-08-18得票数 6
我正在尝试将数据从单个源写入多个DataSinks (Mongo和Postgres )。输入数据
Dataset<Row> df = spark
.readStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("subscribe", "topic1")
.load();
Dataset<Row&g
浏览 7提问于2020-10-01得票数 1
回答已采纳
我在看
好文章，尽管还有一个问题。
为了保证卡夫卡制片方的幂等性，只有一次语义学：
设置为true的producer.Props.put("enable.idempotence"，"true")是否就足够了？还是，我们也必须使用producer.commitTransaction 以及？或者，仅当分区时？
从文章中看不清楚。我认为这篇文章有一个问题。PID值在生产者重新启动后会发生变化。
我不确定“承诺”方法是否从阅读这篇文章中消除了这个问题，因为这是一个不同的方面。因此，声明的担保也不是很难做到的。想确认一下。
浏览 0提问于2019-12-03得票数 0
回答已采纳
为什么Flink-HBase connector中没有HBaseReadStreamExample 似乎有一个读、写和WriteStream示例，但没有ReadStream。 从HBase到Flink的流读取是一种糟糕的做法吗？
浏览 21提问于2020-07-03得票数 1
回答已采纳
1回答
我编写了下一个Node/Express/Mongo脚本：
const { MongoClient } = require("mongodb");
const stream = require("stream");
async function main() {
// CONECTING TO LOCALHOST (REPLICA SET)
const client = new MongoClient("mongodb://localhost:27018");
try{
// CONE
浏览 6提问于2021-09-04得票数 1
10回答
我正在尝试使用hadoop来练习一些数据挖掘算法。我可以单独使用HDFS来做这件事吗，或者我需要使用hive/hbase/pig这样的子项目吗？
浏览 0提问于2010-07-19得票数 7
回答已采纳
我正在切割我的牙齿进入Hadoop生态系统，并对MR，纱线和HDFS相当了解。
我正在探索生态系统的其他部分。我相信HiveQL可以以类似于SQL的方式在HBase上运行，而且几乎是实时的。如果是这样的话，我认为有必要将HDFS上的非结构化数据转换为结构化数据，以便在HQL中运行相对较快的查询。这是否意味着数据以非结构化形式以HDFS形式存在，然后以结构化形式复制到HDFS上供HBase和HQL使用？
此外，HiveQL是否可以以批处理模式(小时)直接运行在HDFS上的非结构化数据上。类似于Java运行的时间与job先生相似)？
浏览 1提问于2015-08-30得票数 0
2回答
我是在Spring4MVC+ Hibernate中用MongoDB创建我的项目的。现在，我必须用MySQL将其转换为Hibernate。我的问题是我有太多的MongoDB集合，这是bson和json的格式。如何将该文件转换为MySQL表格式？这有可能吗？
浏览 4提问于2017-08-17得票数 3
回答已采纳
2回答
我们正在开放源码Apache连接器之上与mongodb kafka connetor合作，以获取从Mongo到HDFS的json数据。我们有kafka使用者，它读取kafka中的数据更改并将它们写入hdfs文件。
我们希望在特定时间安排不同时间的源连接器。
我们需要根据预定日期触发卡夫卡消息。
浏览 9提问于2022-09-23得票数 0
回答已采纳
背景：，我编写了一个简单的火花结构化蒸汽应用程序，可以将数据从卡夫卡转移到S3。发现为了准确地支持-一旦保证火花创建_spark_metadata文件夹，最终变得太大，当流式应用程序运行了很长时间，元数据文件夹变得如此大，我们开始得到OOM错误。我想摆脱星火结构化流的元数据和检查点文件夹，并自己管理偏移。
我们如何管理火花流中的偏移：，我已经使用val offsetRanges = rdd.asInstanceOfHasOffsetRanges.offsetRanges来获得Spark结构化流中的偏移量。但想知道如何获得偏移和其他元数据来管理检查点，我们自己使用Spark结构化流。您有实现检查
浏览 2提问于2020-06-17得票数 1
回答已采纳
我有以下代码，无法使用以下方法向Mongo写入数据。我甚至没有看到在MongoDB中填充数据库或集合名称。好像有什么不对劲。当我运行此代码时，没有任何例外。
private SparkSession sparkSession;
SparkConf sparkConf = new SparkConf();
sparkConf.setMaster(Configuration.getConfig().getString("spark.master"));
sparkConf.set("spark.mongodb.input.uri",
浏览 9提问于2017-09-12得票数 1
我是否应该做一些特殊的事情来通知HBase一个新的列已经添加到拼图中(模式已更改)？
或者像MongoDB一样，我可以直接在HBase中插入新的拼图(使用BufferedMutator)？
浏览 0提问于2020-02-17得票数 0
我发现了4种类型的NoSQL：
文件(如: MongoDB、CouchDB)
列(例如: Cassandra，HBase)
键值(例如: Redis，Memcached)
图(ex: Neo4j)
哪种类型更适合于插入大量非结构化数据？(可伸缩性)
数据库应该能够每秒插入数千个请求(坐标、日期、名称或id)。
谢谢
浏览 2提问于2014-10-30得票数 0
我一直在考虑如何使用nodejs/socket.io/mongodb制作一个实时web应用程序。这种想法与google文档非常相似，在google文档中，在页面上编辑的对象将在所有客户端浏览器上发出并重命名。
做这件事最好的方法是什么？根据我所读到的，我可以想到三种方法：
1)使用mongodb oplogs
在mongodb集合中添加一个“监听器”，每当对集合进行更改时，都会重新添加页面的各个部分(缺点:慢？)
2)使用本地json
将mongodb数据检索到json文件中，使用fs编辑、保存到mongodb并在完成时删除json (缺点:在数据库和实际应用程序之间设置额外的层非常麻烦)
3
浏览 7提问于2016-12-29得票数 18
回答已采纳
1回答
如果我们必须在流应用程序中读写HBASE，我们如何做到这一点。我们通过开放的方法打开一个连接进行写入，我们如何打开一个读连接。
object test {
if (args.length != 11) {
//print args
System.exit(1)
}
val Array() = args
println("Parameters Passed " + ...);
val env = StreamExecutionEnvironment.getExecutionEnvironment
v
浏览 1提问于2016-10-26得票数 1
回答已采纳
您好，我正在尝试使用pyspark和kafka创建一个neo4j接收器，但由于某些原因，此接收器在neo4j中创建了重复项，我不确定为什么会发生这种情况。我希望只得到一个节点，但看起来它正在创建4个节点。如果有人有想法，请让我知道。
Kafka生产者代码：
from kafka import KafkaProducer
import json
producer = KafkaProducer(bootstrap_servers='10.0.0.38:9092')
message = {
'test_1': 'test_1',
&
浏览 0提问于2020-03-20得票数 1
我有一个星火结构流消费记录，从卡夫卡主题与2分区。
火花作业：2查询，每个查询来自两个单独的分区，运行于同一个火花会话。
val df1 = session.readStream.format("kafka")
.option("kafka.bootstrap.servers", kafkaBootstrapServer)
.option("assign", "{\"multi-stream1\" : [0]}")
.option(&#
浏览 0提问于2020-07-24得票数 1
1回答
我见过通过控制台查询使用HBase实现分页的示例。
使用C#，很可能是通过RESTful调用访问HBase，如何实现这一点？
谢谢。
浏览 1提问于2015-07-29得票数 0
1回答
我不知道星火‘结构化API’是什么意思。
为什么'Structured ‘这样命名(或称为)？
如果你能更具体地告诉我，我将不胜感激。
对不起，我没有完美的英语。(我得到了翻译的帮助。)
浏览 1提问于2019-06-06得票数 2
回答已采纳
1回答
我对大数据很陌生。我了解到HDFS用于存储更多的结构化数据，而HBase用于存储非结构化数据。我有一个REST，在这里我需要获取数据并将其加载到数据仓库(HDFS/HBase)。数据采用JSON格式。那么，将数据加载到哪一个比较好呢？HDFS还是HBase？另外，你能告诉我一些教程来做这件事。我偶然发现了关于的事情。但我不确定这是否符合我的用例。
如果你能引导我找到解决这个问题的特定资源/技术，那将是很有帮助的。
浏览 1提问于2017-08-09得票数 1
回答已采纳
4回答
NoSQL与大数据
、、、、
我正在做一个大数据技术的实习，所以我对这个领域很陌生。我的问题是关于NoSQL在大数据体系结构中的使用。我们是否需要始终使用分布式存储(例如HDFS，例如Hadoop)，然后将NoSQL数据库(如Hbase )放在上面？
我发现很难理解典型的大数据体系结构，特别是对于非结构化数据。
如果你能帮我看得更清楚，我会非常感激的。
浏览 0提问于2013-03-25得票数 5
回答已采纳
1回答
以拼花格式添加动态记录
、、、
我正在构建一个数据湖，并在一个非常琐碎的事情上卡住了。我将使用Hadoop/HDFS作为我们的数据湖基础设施，并以parquet格式存储记录。数据将来自一个Kafka队列，它每次发送一个json记录。json记录中的键可以随消息的不同而变化。例如，在第一个消息键中可以是'a'，'b‘，在第二个消息键中可以是'c'，'d’。我使用来存储文件，但根据我的理解，我们必须预先定义模式。因此，当我试图编写第二条消息时，它会抛出一个错误，说明模式中没有定义键'c‘'d’。有人能指点一下该怎么做吗？除了pyarrow之外，任何其他库都可以工作，
浏览 11提问于2022-03-07得票数 0
我正在尝试读取3个HBase表上的新表项(使用GetHBase处理器)，并将它们合并到单个JSON中。但是，只要在各自的表上发生新的插入操作，每个GetHBase处理器就会立即运行。最后，在合并内容之后(使用MergeContent处理器)，我分别为3个表的数据获得了3个JSON。有没有一种方法可以控制HBase读取，并在所有3个表都获得新数据时才合并它们？
浏览 2提问于2017-03-03得票数 2
1回答
我有一个用于BigQuery的模式，其中记录字段是类似于JSON的，但是JSON中的键是动态的，也就是说，新的键可能会出现在新的数据中，很难知道总共有多少个键。根据我的理解，不可能对这样的表使用BigQuery，因为需要显式定义记录字段类型的模式，否则会引发错误。
唯一的其他选择是在查询数据时使用JSON_EXTRACT函数，这将通过JSON (text)字段进行解析。还有其他方法可以在BigQuery中的表中使用动态嵌套模式吗？
浏览 0提问于2015-06-23得票数 9
回答已采纳
我是Hadoop新手，最近安装了Hive和HBase。
我在Hive中创建了几个表，查询以MapReduce的方式运行。而且，当我在HBase中说'get‘时，它不是在MapReduce中运行的，这就是为什么我认为它具有很高的延迟。
我在这里几乎没有什么疑问。
如果我有一个需要处理实时流数据的应用程序，我应该使用什么- Hive或HBase
我是否可以使用HBase选项安装MapReduce，以便HBase中的get命令以MapReduce方式运行？
提前感谢
浏览 0提问于2014-05-31得票数 0
回答已采纳
我有一个mapreduce程序，它首先扫描HBase表。
我想要一些reducer输出到hdfs，一些reducer输出写入hbase表。可以将reducer配置为输出到两个不同的位置/格式吗？
浏览 2提问于2012-03-15得票数 2
回答已采纳
我需要实现一个大的数据存储+处理系统。
数据每天增加(最多5000万行/天)，数据符合一个非常简单的约10个字段(日期、数字、文本、ids)的JSON文档。
然后可以在线查询数据(如果可能的话)，在文档的某些字段(日期范围查询、ids等)上进行任意分组。
我正在考虑使用一个MongoDB集群来存储所有这些数据，并为我需要查询的字段构建索引，然后在apache集群(主要是简单的aggregations+sorting)中处理这些数据。也许可以使用Spark-j观察者围绕它构建一个rest-api。
我担心mongoDB扩展的可能性(即存储10b+行)和吞吐量(快速发送1b+值的行以进行处理)或在
浏览 8提问于2017-05-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
