1回答
我有一个文件(~.9 in )，我正在尝试读取缓冲区大小为1MiB的文件，它导致了65536字节的简短读取。bash-4.2$ hadoop fs -ls /x/F1bash-4.2$ 为了缩小范围，我在下面提供了一个简单的示例代码。/samplebash-4.2$ 然后我使用了原生
浏览 26提问于2021-10-25得票数 0
我是hadoop文件系统的新手。我没有在谷歌上找到任何与Hadoop FileSystem相关的有用链接。
我想使用Kerberose进行身份验证，同时使用Hadoop FileSystem。
浏览 4提问于2014-07-23得票数 0
回答已采纳
在中，列出了以下示例属性：connect.hdfs.principal=connect-hdfs/_HOST@YOUR-REALM.COMconnect.hdfs.keytab=path to the connector keytab遗憾的是，中关于配置选项的文档非常简短作为Hadoop
浏览 12提问于2019-07-16得票数 0
这是一个故意愚蠢的问题。但我只是好奇-如果我使用FUSE绑定作为卷来挂载HDFS，并使用存储在这个HDFS卷上的集群启动PostgreSQL，并开始写入大量数据和/或进行高强度读取，会发生什么情况？
浏览 4提问于2020-12-29得票数 3
1回答
我在单独的文件上有两个矩阵。我必须将文件读取到缓存中，这样我才能将它们相乘。我一直在想HDFS是否会对我有所帮助。我怀疑HDFS没有，因为它没有足够的高速缓存来读取文件并处理它。
浏览 1提问于2012-11-08得票数 1
我必须创建一个自动脚本来创建HDFS目录和配额设置。任何人有任何与此相关的脚本或任何类型的建议，请在此处发帖。
浏览 0提问于2016-08-18得票数 0
是否有任何解决方案从Hadoop中的MapFile中删除条目。我可以将条目读写到MapFile中，但我完全不知道从其中删除或更新条目。有什么好的解决办法吗？任何帮助都是非常感谢的。提前谢谢。
浏览 2提问于2014-12-22得票数 0
回答已采纳
我有地图-减少输出的网格分裂在几个文件夹。每个文件的格式是相同的。/folderpath/foldern/part-r-00001 to /folderpath/foldern/part-r-00100我可以想到猪脚本，它读取每条路径的输出，并结合关系读，然后转储它们。
还有其他
浏览 1提问于2013-11-14得票数 1
回答已采纳
我试图从windows机器向HDFS集群写入一个文件，但是出现了以下错误
hadoop.security.auth_to_lo
浏览 4提问于2015-07-31得票数 2
回答已采纳
1回答
Hadoop是有趣的学习和有良好的机会等..。
基本上，我想了解文件中的数据是如何存储在HDFS块中的。它会破坏内容，还是会根据一些独角兽或内容大小等对内容进行拆分。
浏览 5提问于2017-10-09得票数 0
1回答
在阅读动物园管理员的文档时，在我看来，HDFS与ZooKeeper一样依赖于几乎相同的分发/复制机制(广义速度)。我听到一个接一个的回音，但我还是不能区分清楚和严格的东西。据我所知，ZooKeeper是一个集群管理/同步工具，而 HDFS 是一个分布式文件管理系统，但在HDFS集群上是否需要ZK？
浏览 0提问于2017-04-02得票数 0
1回答
在我以前的角色中，我曾短暂地使用过它，但我从来没有完全清楚过它。我的问题是：
HIVE也用于数据存储，还是严格地用作查询Hadoop集群上的数据的一种方式？
浏览 3提问于2021-08-03得票数 0
回答已采纳
我已经开始学习Hadoop了，我知道HDFS提供了分布式存储系统，Mapreduce是用于data processing.Now的，我正在阅读Hadoop生态系统。从Hive的定义来看，它是一个构建在hadoop上的数据仓库，用于提供类似SQL的接口。
我的问题是，当hadoop提供容错、分布式的HDFS时，为什么要使用hive？hive会取代HDFS吗？
浏览 1提问于2018-07-26得票数 0
我已经阅读了文档和教程，我可以看到，所有节点，无论是namenode/datanode，都需要安装hadoop。客户端也需要hadoop安装吗？或者只能通过与namenode的通信来完成hdfs /O？
例如，在python中，我看到了通过将namenode作为参数从hdfs导入py箭头和读取数据的示例代码。
浏览 2提问于2022-08-21得票数 0
5回答
由于端口9000上的连接被拒绝，试图启动hadoop集群失败。site-core.xml:<?:254)
at org.apache.hadoop.hdfs.server.namenode.NameNode.22:07,331 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdf
浏览 7提问于2013-08-19得票数 18
回答已采纳
在阅读了一些在线教程之后，我正在尝试在Hadoop中运行WordCount示例。但是，我不清楚的是，当我们执行以下命令时，文件从本地文件系统复制到HDFS的位置。hadoop fs -copyFromLocal /host/tut/python-tutorial.pdf /usr/local/myhadoop-tmp/
当我执行以下命令时，我在HDFS上看不到我的我认为这个目录将成为存储所有输入文件<
浏览 0提问于2013-10-18得票数 9
回答已采纳
1回答
我阅读了一些参考资料，但仍然无法清楚地知道如何确定HDFS系统上存储文件的基本总大小。
如果我有一个运行HDFS服务的1TB磁盘，那么dfs部分在向其添加文件时会自然增长吗?
浏览 2提问于2017-04-02得票数 3
回答已采纳
1回答
我有一个文件夹，我的主目录叫做~/Notebooks。这是我启动jupyter笔记本并在我的浏览器中连接jupyter的地方。我还有一个叫做people.json (简单json文件)的文件。用法: org.apache.spark.SparkException:作业因阶段失败而中止:阶段4.0中的任务1失败了4次，最近一次失败:阶段4.0中的任务1.3丢失(TID 37，ip-172-31
浏览 1提问于2016-01-17得票数 0
我使用以下命令在HDFS中创建了一个目录并设置了一个配额：hdfs dfsadmin -setQuota4 /user/hdadmin/directorio_pruebahdfs dfs -put /opt/bd/ejemplo1.txt /user/hdadmin/director
浏览 1提问于2019-10-19得票数 2
回答已采纳
我对Hadoop框架用于将映射器输出(存储在本地映射器节点上)复制到reducers任务(不在同一节点上运行)所使用的传输协议有一些疑问。-阅读一些博客，它使用HTTP for Shuffle阶段-也阅读HDFS数据传输(由mapreduce作业使用)直接使用TCP/IP套接字。-阅读Hadoop权威指南中的RPC。
浏览 22提问于2017-02-24得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
