我想下载HDFS目录中的特定文件，它们的名称以"total_conn_data_“开头。因为我有很多文件，所以我想写一个bash脚本。 下面是我要做的： myPatternFile="total_conn_data_*.csv"
for filename in `curl -i -X GET "https://knox.blabla/webhdfs/v1/path/to/the/directory/?OP=LISTSTATUS" -u username`; do
curl -i -X GET "https://knox.blabla/web
浏览 20提问于2020-01-31得票数 0
我尝试在Spring Boot应用程序的Java API的帮助下访问Hadoop Sandbox中的HDFS。为了通过指定访问文件系统的URI，我使用了一个配置参数spring.hadoop.fsUri。HDFS本身受到Apache Knox的保护(对我来说，它只是一个处理身份验证的代理)。因此，如果我使用curl调用代理URI，就会使用与没有Apache Knox时完全相同的语义。示例：
curl -k -u guest:guest-password https://sandbox.hortonworks.com:8443/gateway/knox_sample/webhdfs/v1?op=
浏览 0提问于2015-11-19得票数 0
我已经为我们的Hadoop集群设置了KNOX网关，并且我已经学习了KNOX WebHDFS示例。到目前为止，我知道下面的cURL命令可以用来创建一个目录并上传一个单个文件。
curl -k -u username:password -X PUT https://localhost:8443/gateway/default/webhdfs/v1/user/testuser?op=MKDIRS
curl -i -k -u username:password -X PUT 'https://localhost:8443/gateway/default/webhdfs/v1/user/test
浏览 6提问于2018-07-03得票数 0
我正在尝试从WebHDFS接口连接到配置单元数据库，该数据库需要凭据才能连接。我在一家大公司，我必须使用另一个网关，所以我想在标题中转发大数据平台的凭据，但我总是有一个401未授权。 我尝试了很多参数名称，但都不起作用 我希望找到Knox能够理解的参数/变量的正确名称。
浏览 20提问于2019-08-26得票数 0
WebHDFS 展示了如何使用BigInsights WebHDFS列出hdfs中的文件和文件夹、创建目录和上传文件。
如何调整示例以下载适用于BigInsights WebHDFS的文件？
浏览 15提问于2016-07-22得票数 0
回答已采纳
我已经安装了knox服务器，并完成了hortonworks网站上提到的所有步骤。当我在沙箱上运行下面的命令时，它给出了正确的输出。
curl http://sandbox:50070/webhdfs/v1?op=GETHOMEDIRECTORY
现在我有了另一个运行fedora的VM。我假设它是外部客户端，并尝试进行外部访问，但没有得到任何输出：-
curl -k https://<sandbox-ip>:8443/gateway/sandbox/webhdfs/v1?op=GETHOMEDIRECTORY
有人能告诉我我的设置有什么问题吗？
浏览 6提问于2016-10-03得票数 0
我尝试列出hadoop集群中存在的数据，并使用curl命令复制数据，但我收到http 405错误。下面是我正在使用的命令。
curl -iku guest:guest-password -L -T samples/hadoop-examples.jar \
-X PUT "https://{172.17.198.172}:8443\
/gateway/sandbox/webhdfs/v1/user/guest/knox-sample/lib/hadoop-examples.jar?op=CREATE
浏览 4提问于2014-04-14得票数 0
我已经使用Ambari安装了Apache。下面是用KNOX.KNOX配置WEBHDFS的链接，它安装在address1中。
使用curl命令curl -i -k -u guest:guest-password -X GET 'https://address1:8443/gateway/Andromd/webhdfs/v1/?op=LISTSTATUS'调用webhdfs时
它引发以下错误
<title> 404 Not Found</title>
<p> Problem accessing /gateway//Andromd/webhdfs
浏览 0提问于2017-10-14得票数 1
回答已采纳
我有一个构建脚本，它复制了存储库和依赖项：
apply plugin: 'groovy'
buildscript {
repositories {
mavenCentral()
}
dependencies {
classpath 'org.codehaus.groovy:groovy-all:2.0.5'
classpath 'org.apache.knox:gateway-shell:0.6.0'
classpath 'commons-io:co
浏览 2提问于2015-12-21得票数 2
1回答
我是apache knox的新手。我已经配置了knox并开始使用命令行。所以现在我想使用java httpclient来访问knox webservices。有没有这方面的例子或指南？
或者只有groovy脚本可以做到这一点？
谢谢
浏览 3提问于2015-07-05得票数 0
我正在尝试通过node/knox从S3下载文件。我的javascript调用正在工作，并且成功地下载了文件，但我想将其作为附件下载。我尝试将头文件设置为'Content-disposition': 'attachment; filename=myfile.zip'，但似乎不起作用。下面是我的示例代码：
var mimetype = mime.lookup(product.filename);
var headers = {
'Content-disposition': 'attachment; filenam
浏览 3提问于2014-03-01得票数 0
1回答
有人问过类似的问题(here和here)，但我的问题不同，因为我想知道是否有一种方法可以直接将数据(从REST API或cURL)下载到HDFS集群中。 我正在尝试避免将文件保存在本地。
浏览 21提问于2019-06-26得票数 1
我可以在版本hadoop-0.20.3-cdh3u6上直接浏览文件系统，而无需下载到本地机器(master_hostname:50070)，但是，必须将文件下载到版本hadoop-2.5.0-cdh5.2.0上的本地机器上，我想查看没有下载的数据，如何配置hdfs-site.xml。
属性dfs.webhdfs.enabled已设置为true。
谢谢!
浏览 4提问于2014-11-19得票数 0
回答已采纳
我正在试验node.js的诺克斯模块，将其作为管理亚马逊S3存储桶中一些小文件的一种方式。每件事都可以独立工作:我可以上传文件，下载文件，等等。但是，我希望能够按循环时间表下载文件。当我将代码修改为按一定时间间隔运行时，我会将下载的文件附加到前一个实例，而不是覆盖。
我不确定我是在文件编写代码中还是在knox处理代码中犯了错误。我尝试了几种不同的写入方法(writeFile、writeStream等)。我看过诺克斯的源代码。对我来说，没有什么明显的问题是突出的。下面是我使用的代码：
knox = require('knox');
fs = require('fs'
浏览 0提问于2012-02-05得票数 0
有没有什么方法可以使用WebHDFS REST API从HDFS下载文件?我所能达到的最接近的方法是使用打开操作读取文件并保存内容。
curl -i -L "http://localhost:50075/webhdfs/v1/demofile.txt?op=OPEN" -o ~/demofile.txt
有没有什么API可以让我不用打开就可以直接下载这个文件呢?我通过官方也尝试了一下Google，但是什么也没找到。谁能给我指出正确的方向，或者给我一些指点？
非常感谢您的宝贵时间。
浏览 1提问于2013-06-01得票数 13
回答已采纳
我正在使用访问我的Amazon存储桶以进行文件存储。我存储各种各样的文件-主要是MS，Office和pdfs，但可以是二进制文件或任何其他类型。我还使用 4.13.3和与进行流支持；在上传文件时，我使用busboy，然后通过knox直接将其处理到S3，这样就不必先将它们写入本地磁盘。
这些文件上传得很好(我可以使用手动浏览和下载它们)，但是我在下载时遇到了问题。
为了清晰起见，我不想将文件写入本地磁盘，而是将其保存在内存中的缓冲区中。下面是我用来处理GET请求的代码：
// instantiate a knox object
var s3client = knox.createClient({
浏览 12提问于2015-11-04得票数 1
回答已采纳
2回答
我正在开发一个将hdfs用作分布式文件存储的API。我制作了一个REST api，允许服务器使用Webhdfs在HDFS集群中mkdir、ls、创建和删除文件。但是由于Webhdfs不支持下载文件，有什么解决方案可以实现这一点吗？我的意思是，我有一台运行REST api并与集群通信的服务器。我知道OPEN操作只支持读取文本文件内容，但假设我有一个300MB的文件，我如何从hdfs集群下载它。你们有什么可行的解决方案吗？我正在考虑直接put文件的数据节点，但这种解决方案存在缺陷，如果文件大小为300MB，它将给我的代理服务器带来巨大的负载，所以有没有流API来实现这一点。
浏览 0提问于2013-06-24得票数 2
回答已采纳
我们正在为三星S21专门构建一个统一应用程序，我们注意到一个有趣的bug，类似于以下内容：。
我们已经将其隔离到与三星诺克斯( Samsung )“完全管理”的手机上，并注意到这发生在所有与联合公司( Unity )合作开发的应用程序中，包括谷歌Play上的主要商业版本。这似乎不是非统一应用程序的问题。
在工厂重置之后，我们的应用程序会很好地安装，但是一旦它被更新或卸载并重新安装，我们就会得到一条消息：“错误:没有足够的存储空间来安装所需的资源”。我注意到，某些文件夹在卸载应用程序之后不会删除--特别是/files/il2cpp和/files/Unity，我不能在Knox保护的手机上删除这些文
浏览 17提问于2022-09-13得票数 1
回答已采纳
我一直在尝试让Apache Knox在一个kerberised的Cloudera集群上工作。我下载了包含Knox的zip并安装了它。我还在sandbox.xml文件上进行了特定于我的集群的更改。但是，当我运行cURL命令时，我得到404not found错误。有没有人，成功地运行了诺克斯？如有，请协助
浏览 4提问于2018-06-22得票数 1
2回答
我正在编写节点js脚本，它应该将图像从目录'/images/'发送到amazon s3。我知道knox是一个很好的库，但是我如何从目录上传所有文件，并使用旧的文件名。我可能可以使用fs模块，获取所有的名称，并将其与for循环一起上传。knox中有任何函数可以做到这一点吗？
浏览 4提问于2014-04-16得票数 0
回答已采纳
我目前正在做一个使用Hadoop集群的未来项目。我需要找到关于集群安全的信息。
我找到了API Apache Knox Gateway，它似乎就是我们所需要的。我们现在使用Cloudera 4.5。将来，我们将升级到Cloudera 5。
我的问题是，诺克斯似乎与Cloudera4.5 ()不兼容。
WebHDFS 2.4.0
WebHCat/Templeton 0.13.0 0.12.0
Ozzie 4.0.0
HBase/Stargate 0.98.0
Hive (
浏览 4提问于2014-04-23得票数 1
2回答
我是Geb和groovy的新手，我开始阅读“Geb之书”()，我试图在IntelliJ中配置和运行简单的脚本
我手动下载jar文件：geb-core-0.9.2.jar、selenium-firefox-driver-2.26.0.jar、selenium-support-2.26.0.jar
我打开IntelliJ并创建新的Groovy项目"MyTest“
在IntelliJ：->文件“项目设置”中，将我下载的3个jar文件添加到库中
Jar文件被添加到我的外部库中
在MyTest项目/Src下，我创建了一个Groovy类"MyClass“
我添
浏览 1提问于2014-03-16得票数 1
如何在eclipse中使用自定义groovy库创建Groovy项目？
我是Groovy的新手，我对如何在Eclipse中使用它感到困惑。
我在Eclipse中安装了Groovy插件，每次创建项目时，使用的Groovy库都是2.3.7版。
我下载了Groovy SDK版本2.4.2，并想在我的eclipse中使用它，但是我似乎不能这样做，因为当我尝试添加一个新的Groovy库时，什么也没有发生。
浏览 3提问于2015-03-21得票数 7
回答已采纳
1回答
我下载了下面的，导航到它的目录，然后输入mvn install。
从那时起，我在STS中的Grails项目将不再构建：
转换过程中的一般错误:抓取葡萄错误--下载失败: org.codehaus.groovy#groovy;1.7.11!groovy.jar
我想我意外地添加了对旧groovy 1.7.11的依赖。如何删除库并修复Grails项目？
浏览 5提问于2012-10-12得票数 0
1回答
在Ambari的Knox配置文件中，我们定义了：
<url>http://{{namenode_host}}:{{namenode_http_port}}/webhdfs</url>
问题是我们有两个namenode，一个是主动的，一个是被动的，以实现高可用性。我们的active namenode01失败，因此namenode02变为活动状态。
这给很多脚本带来了问题，因为它们被硬编码为指向namenode01。因此，我们使用命令将namenode02故障切换回使用终端的namenode01，而不是Ambari。
现在，宏{{namenode_host}}被定义为nam
浏览 2提问于2015-05-13得票数 0
1回答
我使用ffmpeg + Hadoop将文件格式转换为H264，然后将文件上传到Hadoop。我用WebHDFS通过超文本传输协议访问文件，但不能在线播放。如果我通过超文本传输协议下载这个文件，它可以通过HTML5视频播放。我的英语不好，希望你明白我的意思。
浏览 12提问于2015-01-27得票数 1
我正在尝试使用Knox库将PDF上传到S3存储桶，但我一直收到505个错误，并且PDF不会保存。我的代码：
// all of this works well
var knox = require('knox');
var client = knox.createClient(require('../path/to/config.js').knox);
client.putFile('tmp/file', '/prefix/key',
function(err, res) {
if (err) {
con
浏览 3提问于2013-05-04得票数 0
回答已采纳
2回答
我有一个nodejs应用程序，我想将数据写入hadoop HDFS文件系统。我见过两个主要的nodejs库可以做到这一点: node-hdfs和node-webhdfs。有人试过了吗？有什么提示吗？我应该在生产中使用哪一个？
我倾向于使用node-webhdfs，因为它使用WebHDFS REST API。node-hdfs似乎是一个c++绑定。
任何帮助都将不胜感激。
浏览 1提问于2014-01-05得票数 8
在站点上，Apache 0.13.x用户指南()。我想配置Knox高可用性，该站点的第一步是配置Knox实例，如下所示
必须同步所有Knox实例以使用相同的拓扑凭据密钥存储。>这些文件位于>{GATEWAY_HOME}/conf/security/keystores/{TOPOLOGY_NAME}-credentials.jceks.下面它们>是在第一个拓扑部署之后生成的。目前，这些文件需要>手动同步。下面是同步拓扑凭据密钥存储库的步骤：
选择一个将作为拓扑凭据密钥存储源的Knox实例。让我们称它为密钥存储大师
将其他Knox实例中的拓扑凭据密钥存储替换
浏览 4提问于2017-11-02得票数 0
1回答
可以使用Knox提供程序扩展来编写DB连接器吗？我希望Knox公开端点，作为响应，Knox会将其放入数据库记录或从数据库记录中获取。
浏览 12提问于2020-05-08得票数 1
2回答
我使用的是Ambari V2.7.3，我已经安装了Knox。我已经尝试为Ambari.I实现了SSO，我遵循下面的Url来实现同样的方法。 https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.1/bk_security/content/setting_up_knox_sso_for_ambari.html 以下是Knox的配置： 高级管理-拓扑： <topology>
<gateway>
<provider>
<role>authenticat
浏览 84提问于2021-01-11得票数 2
我想通过httpfs或Webhdfs将一个文件从HDFS读入Spark。与…有关的东西
sc.textFile("webhdfs://myhost:14000/webhdfs/v1/path/to/file.txt")
或者，理想情况下，
sc.textFile("httpfs://myhost:14000/webhdfs/v1/path/to/file.txt")
有没有一种方法可以让Spark通过Webhdfs/httpfs读取文件？
浏览 0提问于2014-12-08得票数 2
我的Groovy脚本依赖于一些库。这就是我的剧本顶部的内容。
@Grapes([
@Grab(group = 'net.sf.json-lib', module = 'json-lib', version = '2.3',
classifier = 'jdk15'),
@Grab(group = 'org.codehaus.groovy.modules.http-builder',
module = 'http-builder', version =
浏览 3提问于2014-10-01得票数 2
我有一个Spring引导应用程序，它通过Kerberos保护的Apache安全地通过Webhdfs访问HDFS。我使用自定义方案(swebhdfsknox)创建了自己的KnoxWebHdfsFileSystem，作为WebHdfsFilesystem的子类，它只更改URL以包含Knox代理前缀。因此，它有效地从表单中映射请求：
http://host:port/webhdfs/v1/...
给诺克斯一号：
http://host:port/gateway/default/webhdfs/v1/...
我通过重写两种方法来做到这一点：
public URI getUri()
URL to
浏览 2提问于2016-05-03得票数 0
回答已采纳
1回答
我正在使用curl(webhdfs)读取驻留在HDFS上的文件，但问题是我得到的数据也是HTTP头，我如何才能只获得带有文件头的文件数据？
我正在使用以下命令。如果要删除“i”选项，则不提供输出。
curl i -L --negotiate -u: -X GET "http://hostname:port/webhdfs/v1/user/TRL.TXT?op=OPEN"
请建议
浏览 3提问于2015-07-01得票数 0
1回答
这是一个大脑挑逗的问题，我知道答案。我对此表示赞赏，因为它代表了一个有价值的Node编程安全提示(这是第一个提示)。
提示2:在HTTP请求中，“内容长度”标头字段的单位是什么？
我在用
var knox = require('knox');
var s3 = knox.createClient({
key: ...,
secret: ...,
bucket: ...
});
// The bug is below:
var stringVal = JSON.stringify(<2d javascript array from a
浏览 6提问于2013-06-24得票数 2
回答已采纳
我是一个(非常)业余的程序员。我正在使用Groovy编辑MP3文件标记。以前(大约在两年前)，我使用Groovy文件中给出的详细说明将JAudiotagger类库添加到我的JAudiotagger安装中，然后从我的Groovy脚本调用所需的类。但是，在最新版本的JAudiotagger中没有自述文件(我能找到)，到目前为止，我还不知道该怎么做。
请谁能给我简单的说明如何添加JAudiotagger到Java，例如，我需要下载哪些文件，从哪里，我用它们做什么。
我使用的是Windows 7。
感谢大家的帮助。
浏览 0提问于2012-10-11得票数 2
回答已采纳
2回答
我正在尝试使用knox通过以下代码向S3写入代码：
var knox = require('knox');
var client = knox.createClient({
key: 'key'
, secret: 'pass'
, bucket: S3_BUCKET
});
fs.stat("/opt/files/" + url, function(err, stats) {
if (stats != null && stats.size != 0){
浏览 3提问于2014-08-12得票数 1
2回答
我正在使用Hadoop的HDFS的REST接口作为通过网络存储文件的方便方法。为了测试，我按照以下说明在我的mac (10.8.5)上安装了hadoop：
这非常有效，我可以启动hadoop并运行基本测试：
hadoop-示例-1.1.2.jar pi 10 100
现在，我使用python客户端处理发往/来自webhdfs的HTTP请求：
但我在尝试创建目录时遇到了一个基本权限错误：
from pywebhdfs.webhdfs import PyWebHdfsClient
hdfs = PyWebHdfsClient()
my_dir = 'user/hdfs/data
浏览 2提问于2013-09-26得票数 0
下面的URL地址是curl -X GET '‘
返回过期时间:清华，2015 -05 04:19:20 GMT日期:清华，2015 -05 04:19:20 GMT : no-cache Content-Type: application/json Transfer-Encoding: chunked Server: Jetty(6.1.26.hwx)
{"FileStatuses":{"FileStatus":[ {"accessTime":0，"blockSize":0，“....
有关的文档
要使用Knox，您可以输
浏览 3提问于2015-05-07得票数 0
假设我有一堆(非常简单的) HTML页面，我想应用一个常见的“主题”。
这些文件是使用各种Groovy脚本下载的，我想在maven构建期间对它们应用这种样式。我怎么能这么做？使用哪个框架/库我可以这样做吗？
此外，请注意，我希望以静态的方式这样做，也就是说，我希望下面的过程发生
文件由Groovy脚本下载，它们由这个库处理(以“神奇”的方式)，它们可以通过FTP/SCP发送到托管服务器
你知道这么容易使用的图书馆吗？
浏览 1提问于2011-09-06得票数 1
回答已采纳
1回答
我需要用Knox库删除S3桶中的一个文件。
我找到了一些例子来解释如何上传一个文件，但是我找不到任何例子来解释如何删除一个文件。
你能给我提供一个示例代码吗？
谢谢。
浏览 6提问于2016-08-21得票数 0
回答已采纳
1回答
当使用"hdfs dfs -put“摄取文件时，客户端计算校验和，并将两个输入data+checksum发送到Datanode进行存储。
使用WebHdfs读/写文件时，校验和计算/验证是如何进行的？WebHdfs如何保证数据完整性？
apache上的Hadoop文档没有提到任何关于它的内容。
浏览 2提问于2016-01-13得票数 0
2回答
我使用Livy通过创建jar文件来运行wordcount示例，jar文件工作非常好，并在HDFS中编写输出。现在，我想将结果返回到我的HTML页面。我正在使用，sbt，HDFS和Livy。
GET/批处理REST只显示日志和状态。
如何获得输出结果？
或者如何使用Livy中的REST读取HDFS中的文件？请帮我解决这个问题。
提前谢谢。
浏览 1提问于2018-07-03得票数 1
在start-dfs.sh之后，我可以导航到http://localhost:9870。NameNode似乎运行得很好。
然后单击“实用程序->浏览文件系统”，并在web浏览器中得到提示：
Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error
深入了解日志文件($HADOOP_HOME/logs/hadoop-xxx-namenode-xxx.log)，我发现如下：
2018-11-30 16:47:25,097 WARN org.eclipse.jetty.servlet.ServletHandler
浏览 3提问于2018-11-30得票数 3
WebHDFS不支持SequenceFiles是真的吗？
我找不到任何能证明这一点的东西。我有常见的小文件问题，我相信SequenceFiles可以很好地工作，但我需要使用WebHDFS。我需要创建，然后通过WebHDFS追加到一个SequenceFile。
浏览 2提问于2014-02-25得票数 1
1回答
我使用的是Groovy7.1，它支持NetBeans 1.6。我必须做一个Grails项目，但是有Groovy 1.8的支持。因此，我下载了Groovy1.8安装程序，将其安装并将库添加到Netbeans -> Tools ->库中(并删除了Groovy1.6库)。现在，每当我在Grils项目中使用Groovy 1.8中添加的一些东西时，它仍然会给它加下划线，并抛出"cannot resolve“错误...我在谷歌上搜索了2个小时，我找到的所有东西似乎都已经完成了……它开始让我头疼...对如何解决这个问题有什么建议吗？
浏览 2提问于2012-03-28得票数 0
回答已采纳
1回答
是否可以使用webhdfs检查HDFS中目录的内容？
这可以像hdfs dfs -ls通常所做的那样工作，但是可以使用webhdfs。
如何使用Python2.6列出webhdfs目录？
浏览 5提问于2016-06-23得票数 3
回答已采纳
我正在使用诺克斯()向亚马逊S3上传文件。我刚刚将我的节点应用程序移动到亚马逊EC2，并在使用knox上传时出现以下错误。我似乎已经安装了所有的库。同样的代码在nodejitsu上也可以。我对node / JS还很陌生，所以我不确定这是什么意思。
/home/ec2-user/foo/node_modules/knox/lib/auth.js:208
Object.keys(url.query).forEach(function (key) {
^
TypeError: Object.keys called on non-object
at Function.keys (native)
at
浏览 7提问于2014-09-02得票数 5
2回答
嗨，我试图在HDP集群中使用Azure作为Apache的OIDC。
我的环境：
Hortonworks Cloudbreak 2.9.1
HDP 3.1.4.0-315
安巴里2.7.4.0
Apache Knox 1.0.0
Azure
这是我的knoxsso.xml拓扑：
<topology>
<gateway>
<provider>
<role>federation</role>
<name>pac4j</name>
&l
浏览 10提问于2019-11-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
