如何使用httpfs将文件复制到hdfs中的另一个目录。例如，我可以使用()创建一个文件。我在中找不到
浏览 8提问于2016-09-08得票数 0
使用WEBHDFS REST API调用，我是否可以将文件从Windows计算机(即windows服务器或windows本地文件夹或桌面)传输或复制到Hadoop-HDFS文件系统？我已经尝试过了，而且我能够使用
Windows -> (使用ftp)-> Linux目录-> (使用webhdfs) -> HDFS，这是两个步骤的过程，我正在
浏览 4提问于2016-08-12得票数 2
我正在使用Webhdfs在我的hdfs集群中存储文件。在conf文件中，我提到复制因子为2。使用Webhdfs api，第一个PUT请求告诉我们要放置文件的datanode的位置，并使用响应中的地址，我们使用第二个put请求将实际文件放入datanode。现
浏览 0提问于2013-06-14得票数 0
回答已采纳
1回答
在本教程之后，我将首先格式化一个NameNode -- OK，如果您使用cloudera图像，这已经完成了。同样，HDFS文件结构已经存在。在hdfs-site.xml中，datanode数据dir设置为：这显然是块应该在真正的分布式环境中被复制到的地方在配置文件中，
浏览 2提问于2013-02-15得票数 2
回答已采纳
我需要定期使用python将文件从本地集群移动到GCP，然后再移动回来。虽然在我看来，hdfs可以很好地发现目录结构，但我发现它不提供“复制”选项(据我所知，是limitations of WebHDFS)。在使用subprocess.Open之前，有没有其他方法(例如一些python API)可以将文件从一个位置复制到另一个位置？
浏览 39提问于2019-09-20得票数 2
回答已采纳
我们需要在HDFS位置，HDFS文件夹之间建立一个文件副本。我们目前已经在shell脚本循环中使用了curl命令，如下所示。/usr/bin/curl -v --negotiate -u : -X PUT "<hnode>:<port>/webhdfs/v1/busy/rg/stg/"$1"/"$table"/"$
浏览 1提问于2017-07-05得票数 1
HDFS文件系统显示，由于机架故障，群集上大约600K的数据块未充分复制。在HDFS恢复之前，有没有办法知道如果这些数据块丢失，哪些文件将受到影响？我不能做'fsck /‘，因为集群太大了。
浏览 5提问于2018-07-28得票数 2
2回答
我正在开发一个将hdfs用作分布式文件存储的API。我制作了一个REST api，允许服务器使用Webhdfs在HDFS集群中mkdir、ls、创建和删除文件。但是由于Webhdfs不支持下载文件，有什么解决方案可以实现这一点吗？我的意思是，我有一台运行REST api并与集群通信的服务器。我知道OPEN操作只支持读取文本文件内
浏览 0提问于2013-06-24得票数 2
回答已采纳
2回答
我正在使用Hadoop的HDFS的REST接口作为通过网络存储文件的方便方法。为了测试，我按照以下说明在我的mac (10.8.5)上安装了hadoop：
hadoop-示例-1.1.2.jar pi 10 100from pyw
浏览 2提问于2013-09-26得票数 0
我在一台不属于Hadoop (或HDFS)数据中心的机器(比如A)中有文件。因此，计算机A位于HDFS数据中心的远程位置。是否有脚本或命令或程序或工具可以在连接到Hadoop (数据中心的一部分)的机器上运行，并将文件直接从机器A拉入到HDFS？如果是，最好和最快的方法是什么？我知道有很多像WebHDFS，Talend这样的方法，但它们需要在机器A上运行，要求是避免这种情况，并在数据中心的机器上运行。
浏览 3提问于2015-02-02得票数 1
2回答
我已经尝试给出路径为“hdfs://localhost:9000/path to file”，但仍然不起作用，还有其他方法可以读取文件吗？我想给出程序中的文件路径，但不是作为终端上的参数...
浏览 4提问于2014-03-21得票数 0
如果ODATA可以通过REST API建立在azure数据湖分析表的顶部，有没有办法？似乎有REST API来获取ADLA作业信息，帐户信息等，是否有这样的现有API来获取数据，或者是否有可能创建API来通过ODATA概念访问数据？
浏览 7提问于2018-02-01得票数 0
我想使用S3数据管道将文件从一个AWS存储桶目录传输到另一个存储桶目录(即，将其复制到目标目录，然后从源目录中删除)。我尝试使用ShellCommandActivity并编写了一个脚本，将一个或多个文件从一个S3存储桶/目录移动到另一个存储桶&#x
浏览 2提问于2013-12-24得票数 1
我正在尝试用Python从存储在HDFS服务器上的多个文本文件中读取数据行。我需要解析每一行，并且只保留部分数据，所以我不喜欢将文件保存在本地。我需要一种方法来连接到服务器，检查特定文件夹中的所有文件，并从每个文件读取所有行，并对它们执行(与此问题无关的)操作。
浏览 1提问于2012-05-20得票数 2
我正在使用TestNG为我的应用程序的REST API编写自动化测试。这个应用程序有一个RestController，其中包含一个@Autowired服务类。当使用HTTP GET请求调用REST端点时，该服务将查找XML文件的存储目录，将其内容转换为对象并将其存储在数据库中。对于我的问题，重要的是存储目录的路径存储在<
浏览 0提问于2019-08-09得票数 0
我希望将存储库A中给定目录中的文件列表复制到具有提交历史的存储库B中。这些解决方案假定我希望复制子目录中的所有文件，这不是我的情况。我想从一个目录中复制一个文件子集，并将其提交历史从一个存
浏览 5提问于2020-12-18得票数 2
回答已采纳
4回答
我不明白这为什么这么难：然而，我现在在我的本地存储库中有了工件，并且相同插件的“复制”目标似乎无法从那里获得工件。真的有必要进入.m2文件夹并使用
浏览 0提问于2013-07-04得票数 7
回答已采纳
1回答
我一直在尝试使用WebHDFS REST API将文件通过c#上传到Hadoop.下面的代码运行良好： {
string result = client.DownloadString("http:/ /host:50070/webhdfs/v1/user/myuser/
浏览 4提问于2013-08-30得票数 0
我们将在我们的数据湖项目中完成摄入阶段，在我的Hadoop开发经验中，我主要使用了hadoop fs -put。那么，hadoop distcp和用法有什么区别呢？
浏览 1提问于2017-03-30得票数 7
回答已采纳
我在.txt文件中有一个文件夹名列表。我希望代码从文本文件中选择一个名称，在目录中匹配，输入该文件夹和一个子文件夹，复制一个文件并将其粘贴到另一个目录中，并在文件名前面添加文件夹名。例如，我有文件夹名A，B，C，它们分别有子文件夹名X，Y，Z。我希望代码输入
浏览 0提问于2019-03-06得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
