众所周知，HDFS基本上是一个对象存储系统，其中数据一旦写入就无法更新，但整个文件必须作为一个整体被覆盖。如果是这样，那么在HDFS中引入ORC格式的需要是什么，它允许我们修改/更新存储在其底层存储系统为HDFS的hive表中的数据。这使得HDFS成为数据块存储，其中的数据可以更新/修改，这与整个Hadoop框架相矛盾
浏览 23提问于2021-05-18得票数 1
我想在Jupyter notebook的帮助下使用Pyspark访问我的对象存储中的数据。2.将2.HDFS连接器连接到Spark并提交我的spark作业
我没有找到任何文档或备用SDK，我在其中直接连接到对象存储访问并运行我的spark作业
浏览 1提问于2019-08-19得票数 0
2回答
如何在没有HDFS的情况下部署HDP集群，因为我不需要HDFS作为存储，而将使用内部内存存储系统。如何做到这一点？
浏览 0提问于2019-02-25得票数 0
1回答
例如，考虑下面这个JSON配置文件： "hdfs-base":"/user/SOME_HDFS_USER/SOME_PROJECT" ,"processing-path":"$hdfs-base/processing"
,"processed-path&q
浏览 1提问于2020-01-08得票数 1
我想知道是否有一种方法可以从hdfs中存储的私钥加载身份。实际上，JSch对象似乎只接受本地路径： String privateKeyPath = "hdfs://namenode:8020/path/to/privatekey"; //need this one to be an hdfs path
jsch.addIdenti
浏览 3提问于2018-06-14得票数 2
我有一个包含java序列化对象的文件，比如"Vector“。我将此文件存储在Hadoop分布式文件系统(HDFS)上。现在我打算在一个映射任务中读取这个文件(使用方法readObject)。我想不会工作，因为文件是通过HDFS存储的。它只有一个返回FSDataInputStream的方法，但我想要一个i
浏览 2提问于2010-05-15得票数 8
回答已采纳
1回答
考虑一个具有多个原语和集合作为成员变量的复杂java (JAXB)对象。Reducer阶段将这些对象作为< K，V >对发送到HDFS中，其中K是id，V是对象的序列化形式(SequenceFileOutputFormat)。可以将这些java序列化对象从HDFS/本地位置加载到Hive/Impala吗？
MongoDB能够将JAXB对象存储为现成的json文档。
浏览 3提问于2013-06-07得票数 0
我需要保存，一个嵌套的字典到HDFS，再次加载。我知道我不能在HDFS上保存类似JSON的对象，但是像这样的解决方案可以通过将字典转换为数据格式来解决这个问题。当字典被存储为dataframe时，如何再次加载此字典？my_dict = # ...# Save itmy_dict_loaded = load_dict_from_HDFS(path)
# Check
浏览 1提问于2021-02-08得票数 0
我可以读取我的Google Cloud Storage文件并将它们复制到其他存储桶中(我不需要这样做)。我想知道的是如何将它们直接下载到HDFS中(我正在‘ssh’进入)？有人做过这个吗?理想情况下，这是第一部分，第二部分是为谷歌云存储数据创建Hive表，这样我们就可以使用HiveQL和Pig了。
浏览 0提问于2015-12-10得票数 2
我为对象存储配置了HDFS Connector，如下所述：hadoop distcp -libjars /usr/lib/oci/oci-hdfs-full-2.7.2.0.jar hdfs://<namenode>:8020/some/folder/in/hdfs oci://bucket@namespace
我收到
浏览 1提问于2018-05-27得票数 1
性能是否优于HDFS本身？是否可以用于生产使用。
另外，将对象存储、hadoop存储合并为一个单独的存储是一个好主意吗？或者最好把他们分开。
浏览 2提问于2015-12-02得票数 7
回答已采纳
1回答
我有一个集群，将HDFS作为一个未存储的分布式文件系统，但我刚刚读到关于冲积is 的快速和灵活的内容。所以，我的问题是:我应该在HDFS中使用Alluxio还是Alluxio替代HDFS？(我在他们的站点中看到，用于下存储文件系统的共享存储可以是网络文件系统(NFS)。因此，我认为HDFS不是必需的。如果我犯了错误，请纠正我。在哪种模式下性能更好: HDFS与Alluxio或Alluxio stanalone (我指的术语是在集群中单独使用，而不是本地
浏览 1提问于2018-08-30得票数 2
回答已采纳
rhdfs中的hdfs.write()命令创建一个具有前导非unicode字符的文件。文档没有描述正在写入的文件类型。> ofile = hdfs.file("brian.txt", "w")> hdfs.close(ofile)X我不知道创建
浏览 4提问于2015-01-08得票数 0
回答已采纳
HDFS有一个叫做storage types/policies的功能--它可以将文件存储在具有不同属性的商店中(快速固态硬盘或缓慢但廉价的归档存储)。 我想知道是否可以通过HBase使用此功能？我的用例是，我有一些数据是“热”的，预计会经常被访问，所以我想把它放在“热”(SSD)存储中，而有些数据是“冷”的，不经常访问，所以我想把它放在一个更便宜的存储上。我正在尝试找出如何使用HBase/HDFS来组织这项工作。
浏览 27提问于2020-11-28得票数 0
回答已采纳
1回答
例如，HBaseSpatial:一种基于HBase的可扩展空间数据存储。
HBase支持哪些空间功能，这在哪里有文档记录？
浏览 0提问于2018-11-12得票数 0
回答已采纳
我想了解使用RDBMS进行Hive元数据而不是文件系统的设计原则。并发控制亚秒延迟等。数据复制在蜂巢的设计过程中，还有什么其他事情影响到这个决定吗？
浏览 1提问于2016-02-18得票数 0
1回答
我希望将我的HashMap对象(Hmap)序列化到HDFS位置，然后在Mapper和还原器上反序列化它以供使用。为了在HDFS上序列化我的HashMap对象，我使用了普通的java对象序列化代码，如下所示，但是得到了错误(权限被拒绝) { at org.apache.hadoop.util.RunJar.main(Ru
浏览 10提问于2016-05-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
