我有一个spark应用程序，我用下面的命令运行它 --name 'App' \ --conf spark.sql.shuffle.partitions=10 \ --files 'hdfs:///fi
浏览 6提问于2020-06-11得票数 0
我试图通过以下代码将port/example_File/2017中的abc.json复制到HDFS中的另一个位置/port/example_File/2018String targetFile="hdfs:/&
浏览 3提问于2017-04-01得票数 1
回答已采纳
遵循和：不同类型的文件不时进入我的NFS目录。我想使用OOZIE或任何其他HDFS解决方案触发文件到达事件，并根据其类型将文件复制到HDFS的特定位置。做这件事最好的方法是什么？
浏览 3提问于2017-04-18得票数 0
我们将在我们的数据湖项目中完成摄入阶段，在我的Hadoop开发经验中，我主要使用了hadoop fs -put。那么，hadoop distcp和用法有什么区别呢？
浏览 1提问于2017-03-30得票数 7
回答已采纳
2回答
new.txt文件是可以使用的；我不知道为什么当我试图进入hdfs目录时，它说文件不存在。new.txtdeepak@deepak:~/fs$ hadoop fs -cp $HOME/fs/new.txt $HOME/hdfscp: File does not exist: /home/deepak/fs/new.txt
deepak@deepak:~/fs$
浏览 0提问于2014-03-19得票数 3
回答已采纳
3回答
当我运行oozie worflow时，出现以下错误。在oozie控制台的job configuration选项卡下，显示hivesitepath属性，但未加载。<init>(FileOutputStream.java:110) at org.apache.oozie.action.hadoop.Hi
浏览 3提问于2014-01-15得票数 1
我正在尝试将一个文件从HDFS的一个目录复制到HDFS中的其他目录，在作为oozie作业一部分的shell脚本的帮助下，但是我无法通过oozie复制它。我们能否使用oozie将HDFS中的文件从一个目录复制到HDFS中的其他目录中。when i am running the oozie
浏览 1提问于2016-08-04得票数 1
回答已采纳
2回答
我想将一些文件从一个位置移到另一个位置，这两个位置都在HDFS上，并且需要验证数据是否已正确移动。
提前谢谢。
浏览 0提问于2015-09-01得票数 0
嗨，我在运行一个在oozie shell操作工作流中被执行的脚本中的java程序时，遇到了下面的错误。/share/libworkflow.xml我从/tmp/jars目录获取execution.jar文件中的execution.jar，原因是该目录不会为ooz
浏览 1提问于2015-08-25得票数 3
我使用oozie fs move选项将数据从一个hdfs文件夹复制到另一个文件夹。但是，如果目标目录存在，fs命令会将source作为目标目录的子目录。有没有办法避免这种情况，只将avro文件从源复制到目标。
浏览 7提问于2017-12-05得票数 1
回答已采纳
1回答
我必须将许多文件从一个hdfs位置复制到另一个hdfs位置。我编写了一个命令来标识“源文件”：
hdfs dfs -ls /archive/reporting/some_dir | awk '{print $6,$7,$8}' | grep 2019-01-1这给我一个我想要复制的140+文件的列
浏览 1提问于2019-01-16得票数 0
回答已采纳
1回答
我已经用Ambari创建了集群，所以Oozie是由Ambari安装和配置的。
在运行Oozie/Sqoop时，我发现了两个与jar文件位置有关的错误。第一个涉及postgresql-jdbc.jar，因为Sqoop作业是从Postgres增量导入的。我将postgresql-jdbc.jar文件添加到HDFS并在workflow.xml中指向它。<file>/user/hdfs</em
浏览 1提问于2016-04-05得票数 1
回答已采纳
在数据库中，我有50+表，我想知道有什么方法可以一次性将这些表复制到第二个数据库中？
我用过这个，但是运行这个50+时间效率不高。
浏览 4提问于2015-05-05得票数 2
1回答
如何使用Oozie检查HDFS位置中的文件是否存在？但是，如何验证HDFS中是否存在该文件？
浏览 3提问于2016-08-19得票数 6
回答已采纳
我正在做一个使用oozie来安排Hadoop作业的项目。但是最近，oozie不时地抛出java.lang.ClassNotFoundException。我检查了错误日志，非常肯定地将所有需要的jar文件放在hdfs目录lib下。下面是hadoop任务日志，最后10行显示我需要的jar文件。但是，当我检查节点上的远程缓存direcotry时，它是空的。因此，我怀疑hadoop清理了远程缓存，并且下一次没有将jar文件复制到</e
浏览 0提问于2014-05-26得票数 0
回答已采纳
我需要使用Java将hdfs文件复制到hdfs的另一个位置。不应删除源，只想在目标hdfs位置复制具有新文件名的源文件。是否有任何方法可以将具有新名称的hdfs文件复制到源目录中？
浏览 0提问于2014-02-17得票数 1
回答已采纳
相对较新的Apache OOZIE，并在Ubuntu 14.04、Hadoop 2.6.0、JDK 1.8上进行了安装。我能够安装oozie，并且在我的服务器的11000端口上可以看到web控制台。现在，当我复制与oozie捆绑在一起的示例并尝试运行它们时，我遇到了一个错误，指出不存在sharedlib。将sharedlib安装如下- bin/oozie-setup.sh sharelib create -fs hdfs://localho
浏览 0提问于2015-03-23得票数 1
我有一个file.txt，它有3个块(块a、块b、块c)。hadoop是如何将这些块写入集群的。我的问题是hadoop是否遵循并行编写？还是块b必须等待块a写入集群？
浏览 2提问于2014-02-13得票数 2
1回答
Oozie电子邮件动作附件
、、、、
我试图得到一个hdfs的位置，并提供它作为电子邮件附件的oozie电子邮件行动。只有使用shell操作才能找到我的hdfs位置。现在，如何将shell操作的输出传递给我的oozie电子邮件操作，这将是hdfs路径。这能用oozie来实现吗？<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.
浏览 1提问于2016-01-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
