腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Hadoop
在N层
架构
中的位置是什么?
、
、
、
、
我对
Hadoop
和它的生态系统还很陌生。我想知道
Hadoop
在典型的N-Tier
架构
或任何现代
架构
中的位置和方式是什么?从
Hadoop
获得结果非常棒,但是我如何以及以何种方式编组数据结果以在我的表示层上显示它们呢?
浏览 14
提问于2016-09-03
得票数 0
回答已采纳
1
回答
生成Avro
架构
文件并存储在HDFS中
、
、
我正在使用avro工具从HDFS中的avro文件生成模式文件,并使用以下命令将其转储到Linux文件系统:
hadoop
jar /usr/bin/Avro/avro-tools-1.8.1.jar getschema
浏览 17
提问于2016-09-24
得票数 1
6
回答
Hadoop
namenode元数据
、
我被
Hadoop
架构
弄糊涂了。谢谢!
浏览 12
提问于2011-06-07
得票数 2
回答已采纳
1
回答
接口InputFormat与类InputFormat
、
我是
Hadoop
的新手,我正在尝试学习它,并遇到了两个版本的InputFormat。 这两个apis的解释似乎是相同的,但一个是接口,另一个是类。有人能告诉我为什么
Hadoop
里有两个接口有相同的解释吗?
浏览 0
提问于2014-11-27
得票数 0
2
回答
在
Hadoop
之上的Servlet容器?
、
我正处于一个大型项目的
架构
阶段,我决定使用hbase作为我的数据库,并将使用map/reduce作业进行处理,因此我的
架构
完全可以在
hadoop
下工作。问题是我还需要实现一些REST,SOAP API的一些网页,所以我在想有没有在
hadoop
上运行的servlet容器,这样我的系统就可以保持冗余和分布式,而不用担心辅助集群机制(因为我已经为
hadoop
那么,有没有运行在
hadoop
之上的servlet容器,就像hbase(一个数据库)运行在
hadoop
之上一样
浏览 5
提问于2009-12-29
得票数 1
回答已采纳
1
回答
hadoop
中的数据存储复制与云中的雪花
、
总计(
hadoop
中)=25 In 然后是如何在雪花中存储和复制数据。与
hadoop
相比,雪花
架构
中是否存在存储复制?雪花=?
浏览 2
提问于2019-07-24
得票数 0
1
回答
Hadoop
经典与纱线的比较
、
、
我有两个集群,每个集群运行着不同版本的
Hadoop
。如果我需要了解纱线如何提供同时运行多个应用程序的能力,我正在开发一个POC,这不是用经典地图还原框架完成的。
Hadoop
:我有一个wordcount.jar文件,并在一个集群上执行(2个Mappers和2个减法器)。
Hadoop
:相同的wordcount.jar与不同的集群(4个核心,所以总共4台机器)。由于纱线不预先分配映射器和减速机,任何芯都可以用作映射器或减速机.在这里,我还同时提交了两份工作。
浏览 2
提问于2013-12-13
得票数 0
回答已采纳
1
回答
建议
hadoop
架构
、
我想把这个时间减少到使用
hadoop
的3到4个小时。对于最少或无磁盘读取,B的存储策略应该是什么?我是
hadoop
的新手。那么在这种情况下,推荐的方法是什么呢?
浏览 0
提问于2012-05-13
得票数 1
2
回答
在驱动程序(而不是在执行器中)中火花读取orc文件
、
、
我有30 s3的ORC文件( 24部分* 1.3G)中的s3。我用火花来读这个兽人并做一些操作。但是,从日志中我观察到,甚至在进行任何操作之前,spark都在打开和读取s3 的所有24个部分(只需12分钟就可以读取文件)。但我在这里担心的是,所有这些读取操作都发生在中,只有在驱动程序和执行器都是空闲的。同样的也适用于地板吗?
浏览 5
提问于2017-10-25
得票数 2
回答已采纳
1
回答
如何使用最新的AVRO
架构
文件更新配置单元表元数据
、
、
、
、
失败: RuntimeException MetaException(message:org.apache.
hadoop
.hive.serde2.SerDeException在确定
架构
时遇到AvroSerdeException返回信号
架构
以指示问题:无法从给定路径读取
架构
: /master_data/XYZ/DA12195/business_date=20181126/_schema.avsc)
架构
文件存在于具有business_date=2018112
浏览 1
提问于2018-11-30
得票数 0
1
回答
Avro序列化与Avro格式的区别
、
、
、
我正在读一本书
Hadoop
应用程序
架构
(
Hadoop
应用程序
架构
),这本书很古老,但非常有趣。在阅读时,我注意到Avro被认为是数据序列化框架,而Parquet则被认为是列数据格式。
浏览 0
提问于2020-02-05
得票数 0
回答已采纳
1
回答
在我的ubuntu文件系统中,我可以在哪里找到我使用
hadoop
fs -mkdir创建的目录?
、
、
、
、
我是
hadoop
的新手,我使用该文件夹位于我的文件系统中,我使用的是ubuntu 18.04。我对
hadoop
很陌生,对它的
架构
也不熟悉。当我尝试
hadoop
fs -ls /的时候Found 1 items drwxr-xr-x - hadoopuser supergroup 0 2019-06
浏览 0
提问于2019-06-18
得票数 1
回答已采纳
1
回答
使用本地驱动器在Azure HDInsight上运行Spark程序
、
、
、
我有一个要在Azure上运行和基准测试的程序。我们已经在亚马逊EC2上测试了这个程序,并希望尝试尽可能接近地镜像硬件。在EC2上,我们访问的数据被存储在固态硬盘上。我们在Azure上的blob中有数据。
浏览 1
提问于2016-04-04
得票数 0
1
回答
Hadoop
前面的服务
、
、
、
我想在
Hadoop
前面公开一个web服务,用于将数据转发到
Hadoop
生态系统。我在
Hadoop
中有两个分支,一个是慢分支,它定期处理整个数据;另一个分支是快速分支,它对每个输入进行一些计算,并为定期作业存储数据。如何最好地组织我的
架构
?我是
Hadoop
架构
的新手,我读过有关Oozie的文章,并且有一种感觉,它可以在某种程度上帮助我。但我不知道如何将服务与
Hadoop
连接,如何通过服务传递数据,因为
Hadoop
主要处理文件,并且是分布式系统。 数据应该
浏览 0
提问于2014-09-03
得票数 0
3
回答
Hadoop
namenode :单点失效
、
、
、
、
Hadoop
架构
中的Namenode是一个单一的失败点。是否有一个业界接受的解决方案工作良好,其中第二个Namenode接管,以防止主要的失败?
浏览 7
提问于2010-12-21
得票数 25
回答已采纳
1
回答
hadoop
架构
查询示例
、
、
我的问题是,因为这是我第一次使用
hadoop
,我的计划是将数据从sql数据库传输到
hadoop
,所以这是否意味着我必须在datanode上安装mysql,而我将使用sqoop和其他东西?
浏览 0
提问于2015-12-02
得票数 0
3
回答
Hadoop
是什么?怎么使用呢?
、
听说
Hadoop
是做大数据并行计算的框架,这种跟“云计算“有什么区别?
浏览 717
提问于2017-09-28
1
回答
Hadoop
集群
架构
我正在尝试定义
Hadoop
集群的
架构
(大约10/15个节点),主要用于批量处理(指标预聚合)。这个
架构
看起来与您相关吗?是不是少了点什么?谢谢你的帮助!
浏览 0
提问于2016-06-13
得票数 0
1
回答
"
Hadoop
-Solr Lucidworks项目“检索输入名称-路径
、
、
我希望将此值检索到Solr (将一个字段及其名称添加到我的
架构
中)。这个是可能的吗?
hadoop
jar solr-
hadoop
-job-2.2.5.jar -cls com.lucidworks.
hadoop
.ingest.CSVIn
浏览 3
提问于2016-09-20
得票数 3
回答已采纳
2
回答
HDFS、HBase、Pig、Hive和Azkaban的关系?
、
、
、
、
我见过和关于
Hadoop
、HBase、Pig、Hive和HDFS的问题。两种方法都描述了上述技术之间的比较。但是,我已经看到,典型的
Hadoop
环境包含所有这些组件(HDFS、HBase、Pig、Hive、Azkaban<code>E 212</code>)。有人能用
架构
工作流的方式解释这些组件/技术与
Hadoop
环境中的职责之间的关系吗?最好举个例子?
浏览 2
提问于2016-06-04
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
浅析Hadoop MapReduce架构
白话Hadoop架构原理
大数据架构hadoop初体验
浅析大数据Hadoop之YARN架构
携程Hadoop跨机房架构实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券