腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
当我创建
hadoop
conf
对象
时,代码是否在
Hadoop
环境中执行,即使它是独立的Java代码?
、
、
、
我需要理解的是,如果我在我的代码中使用
Hadoop
conf
对象
,那么所有的代码都是在
Hadoop
环境或正常环境中执行的,即使我的代码中没有
hadoop
操作。我已经写了一个独立的java模块,并进行正常的操作,但我需要
Hadoop
conf
对象
在数据上应用内置
Hadoop
压缩,并仅将数据
存储
在正常位置。我以
hadoop
jar jar_name的身份运行jar
浏览 3
提问于2016-09-18
得票数 0
2
回答
如何部署无HDFS的HDP集群?
、
、
如何在没有HDFS的情况下部署HDP集群,因为我不需要HDFS作为
存储
,而将使用内部内存
存储
系统。如何做到这一点?
浏览 0
提问于2019-02-25
得票数 0
2
回答
我需要在OCI中使用Pyspark连接到
对象
存储
是否有任何直接的连接器或示例可供我参考
、
我想在Jupyter notebook的帮助下使用Pyspark访问我的
对象
存储
中的数据。2.将2.HDFS连接器连接到Spark并提交我的spark作业 我没有找到任何文档或备用SDK,我在其中直接连接到
对象
存储
访问并运行我的spark作业
浏览 1
提问于2019-08-19
得票数 0
1
回答
如何将复杂
对象
存储
到
hadoop
Hbase中?
、
、
我有需要
存储
到
Hadoop
的具有集合字段的复杂
对象
。我不想遍历整个
对象
树并显式地
存储
每个字段。因此,我只考虑复杂字段的序列化,并将其
存储
为一个大块。然后在读取object时对其进行期望。我想过使用某种序列化来解决这个问题,但我希望
Hadoop
有办法处理这种情况。要
存储
的示例
对象
的类: List<AnotherComplexClassWith
浏览 0
提问于2010-11-03
得票数 3
回答已采纳
1
回答
从
Hadoop
访问只读的Google
存储
桶
、
、
、
、
我正在尝试使用bdutil脚本从部署在Google中的
Hadoop
集群中访问Google。如果
存储
桶访问是只读的,则失败。我在做什么: 部署-e datastore_env.sh vgorelik@vgorelik-
hadoop
-m:~$
hadoop
fs -ls gs://pgp-:455) 从的角度来看,似乎需要空的“目录”
对象
,如果
存储
桶是可写的,它可以自己创建这些
对象
,否则就会失败。设置fs.g
浏览 2
提问于2014-08-14
得票数 5
1
回答
我可以将NativeFileSystemStore作为插件提供给
Hadoop
吗?
、
、
我想向
Hadoop
添加类似S3的支持,以支持目前
Hadoop
中没有支持的另一个
对象
存储
。我不知道
Hadoop
是否有用于本地文件系统的插件模型。实现NativeFileSystemStore接口和创建一个可以用
Hadoop
加载的JAR是简单的吗?还有更多吗?
浏览 3
提问于2016-05-10
得票数 0
回答已采纳
1
回答
spark无法读取cos上的文件?
、
、
、
、
已经按照
Hadoop
-COS官方文档在本地配置好
hadoop
,本地的
hadoop
是伪分布式,和腾讯云
对象
存储
COS相关的配置还有ID,Key,bucke_id等,fs.defaultFS如下,所以在下面的url使用可以省略想这些信息受用命令
hadoop
fs -ls /test_tmp 打印cos上
存储
的文件列表是正常的, 但是,使用
hadoop
fs -cat /test_tmp
浏览 864
提问于2019-10-15
1
回答
Hadoop
:查询/读取Avro文件
、
、
、
、
我正在
存储
从复杂的JSON
对象
导入到Avro格式的数据。 "default" : {} ]我使用NiFi将JSON转换为Avro,并在
Hadoop
中
存储
序列化文件(目前我只使用纯
Hadoop
): 我的问题是: 出于测试目的,我想查询
存储</em
浏览 2
提问于2017-05-14
得票数 0
2
回答
GlusterFS或Ceph作为
Hadoop
的后端
、
、
有没有人尝试过使用GlusterFS或Ceph作为
Hadoop
的后端?我不是说只是用插件来缝东西。性能是否优于HDFS本身?是否可以用于生产使用。另外,将
对象
存储
、
hadoop
存储
合并为一个单独的
存储
是一个好主意吗?或者最好把他们分开。
浏览 2
提问于2015-12-02
得票数 7
回答已采纳
1
回答
如何在LakeFS中硬删除大于n天的
对象
?
、
如何在LakeFS中查找和硬删除早于n天的
对象
?稍后这将是一项预定的工作。
浏览 6
提问于2021-11-28
得票数 1
回答已采纳
7
回答
Hadoop
Vs数据湖
、
、
我在谷歌上查到了 术语数据湖通常与面向
Hadoop
的
对象
存储
相关联。在这种情况下,组织的数据首先加载到
Hadoop
平台,然后将业务分析和数据挖掘工具应用于其驻留在
Hadoop
的商品计算机集群节点上的数据。
Hadoop
也做了同样的事情。我们有
存储
的HDFS和用于计算的MapReduce。我对
浏览 8
提问于2016-03-14
得票数 16
1
回答
将Reducer方法的Iterator<Pojo>
对象
存储
到数组中
、
、
、
我想要
存储
Iterator值,这是减少方法的参数,即 OutputCollector<IntWritable, SubArrayWritable> output, Reporter reporter)import org.apache.
hadoop
.io.DoubleWritab
浏览 0
提问于2014-12-24
得票数 0
回答已采纳
4
回答
Memcached和
Hadoop
之间的区别?
、
、
、
、
Memcached和
Hadoop
之间的基本区别是什么?微软似乎在用Windows Server AppFabric做memcached。什么是
hadoop
?
hadoop
与memcached有什么不同?是用来
存储
数据的吗?
对象
?我需要在内存
对象
中保存巨型
对象
,但我似乎需要某种方法来将这些巨型
对象
分成“块”,就像人们所说的那样。当我将
对象
拆分成字节时,似乎出现了
Hadoop
。 我在内存中有一个巨大的类,内存超过100
浏览 0
提问于2011-10-19
得票数 1
回答已采纳
1
回答
如果我使用S3而不是HDFS,那么Namenode仍然必要吗?
、
、
、
最近,我用S3在
对象
存储
上建立了
Hadoop
集群,所有的数据文件都
存储
在S3中,而不是HDFS,并且我成功地运行了spark和MP在S3上,所以我想知道我的namenode是否仍然必要,如果是的话,当我在S3上运行
hadoop
应用程序时,namenode会做什么?
浏览 1
提问于2017-11-06
得票数 4
回答已采纳
1
回答
IllegalArgumentException :创建火花会话
、
、
、
spark = SparkSession.builder \ .getOrCreate()df_songs = spark.read.option
浏览 10
提问于2022-10-10
得票数 0
回答已采纳
2
回答
使用
Hadoop
库序列化Java
对象
、
、
、
我试图在Java中序列化一个
对象
并将它写到一个文件中,这样Map函数就可以从文件中获取该
对象
,并反序列化它以获取
对象
。 我认为Java序列化并不是最优的。所以我想用
hadoop
库来做这件事。我对
hadoop
非常陌生,不知道从哪里开始。对代码的一些解释也会很棒!
浏览 2
提问于2015-04-30
得票数 0
回答已采纳
1
回答
使用
hadoop
FileSystem api访问google云
存储
、
在我的机器上,我将
hadoop
core-site.xml配置为识别gs://方案,并将GCS-连接器-1.2.8.jar添加为
Hadoop
。我可以运行
hadoop
fs -ls gs://mybucket/并获得预期的结果。与谷歌云
存储
客户端api相比,使用这个
hadoop
FileSystem api有什么缺点吗?
浏览 3
提问于2015-11-06
得票数 2
回答已采纳
2
回答
通用文件系统的FileInputStream
、
、
我有一个包含java序列化
对象
的文件,比如"Vector“。我将此文件
存储
在
Hadoop
分布式文件系统(HDFS)上。现在我打算在一个映射任务中读取这个文件(使用方法readObject)。我想不会工作,因为文件是通过HDFS
存储
的。所以我想到了使用org.apache.
hadoop
.fs.FileSystem类。但不幸
浏览 2
提问于2010-05-15
得票数 8
回答已采纳
1
回答
从s3a
存储
桶中检索最新的
对象
版本
、
、
、
有没有办法在
hadoop
的帮助下,使用s3连接器,从启用了的
存储
桶中获取最新的
对象
版本?
浏览 0
提问于2019-06-04
得票数 0
1
回答
s3n/s3a如何管理文件?
、
、
、
我对HDFS或
Hadoop
不太熟悉,但这些服务似乎通常在大量写入s3之前将临时文件写入本地内存或磁盘。
浏览 1
提问于2017-04-07
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Hadoop 3.3.0发布,正式支持腾讯云对象存储COS
Hadoop 存储-HDFS介绍
Hadoop HDFS DataNode 存储机制
块存储、文件存储、对象存储意义及差异
科普|什么是块存储、文件存储、对象存储?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券