我正在尝试使用Hadoop API通过DistCp类执行分布式复制，但在尝试连接到集群时抛出错误。我尝试更改hadoop和hdfs的配置文件，但似乎不起作用。;import org.apache.hadoop.tools.DistCp;
import org.apache.
浏览 13提问于2018-07-24得票数 2
回答已采纳
我正在尝试使用distcp命令将数据从一个cdh(CDH4.7.1)集群移动到另一个cdh(cdh5.4.1)集群，如下所示：使用</em
浏览 6提问于2016-02-19得票数 0
6回答
我有两个HDFS设置，并且希望将一些表从HDFS1复制(而不是迁移或移动)到HDFS2。如何将数据从一个HDFS复制到另一个HDFS？可以通过Sqoop或其他命令行实现吗？
浏览 4提问于2015-08-07得票数 26
1回答
我正在尝试在两个启用kerberos的Hadoop集群之间执行hadoop Distcp (版本- Hadoop 2.0.0-cdh4.3.0)Copy failed: java.io.IOException: Faile
浏览 1提问于2014-01-22得票数 2
我正在尝试执行下面的distcp命令，但是它抛出了异常： hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report 抛出的异常如下： 我正在尝试执行下面的distcp命令，但是它抛出</em
浏览 16提问于2019-02-06得票数 0
回答已采纳
情况：节点1到10 :安装了mapr NodeManager的mapr集群节点。每个节点都在/mnt/resource/下挂载了外部资源当我在Node 0上执行相同的代码时</e
浏览 9提问于2020-11-24得票数 0
2回答
我遇到了这样的情况:我必须将数据/文件从PROD复制到UAT (hadoop群集)。为此，我现在使用'distcp'。但这需要永远的时间。由于distcp在幕后使用map-reduce，有没有办法使用spark使这个过程更快呢？就像我们可以将hive执行引擎设置为'TEZ' (以取代map-reduce)一样，我们可以将distcp的执行引擎设置为spark吗？或者，
浏览 1提问于2016-08-19得票数 0
2回答
我是Hadoop政府的新手:)
我有一个由8个节点组成的ApacheHadoop2.4.1集群，使用了16 nodes (无法在任何xml文件中找到复制因子)，Hive0.13具有MySQL转移。根据我的理解，distcp在HDFS级别工作，所以我不确定是否可以使用它来更快地复制HDFS到NFS和NFS到新的HDFS。
浏览 4提问于2015-02-05得票数 1
1回答
我正在尝试使用hadoop Java Library在我的Hadoop集群上运行distcp命令，以将内容从HDFS移动到Google Cloud Bucket。我收到错误NoClassDefFoundError: Could not initialize class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem;
import org.apache.hadoop<
浏览 18提问于2021-11-21得票数 3
1回答
Submit()：用于向YARNRM提交DistCp作业
DistCp distCp = new DistCp(configuration我调试了这个问题，发现当首先调用Query() API时，类LocalClientProtocolProvider和YarnClientProtocolProvider不会被加载。当调用Submit
浏览 6提问于2015-09-30得票数 0
回答已采纳
1回答
我正在尝试在使用python的AWS平台上创建一个基本的ETL。在S3存储桶(让我们称它为"A")中，我有很多原始的日志文件。在本例中，我希望将它写到另一个存储桶中( "C")。
我在摆弄数据管道，试图运行一个shell命令作业和一个用于python脚本排序的hive作业。EMR集群是创建、运行、完成的，没有失败或错误，但也没有创建日志，我不能理解哪里出了问题。此外，我希望原始日志在处理并写入目标或错误日志存储桶
浏览 2提问于2015-07-11得票数 1
我用10毫安行在蜂箱中创建了hbase视图，当我在查询下面运行时，会调用distcp，它抛出的错误低于错误。/mapred/INPUT/.hive-staging_hive_2016-10-17_14-57-48_620_6609613978089243090-1/-ext-10000到目的地/映射/输入在org.apache.hadoop.hive.ql.metadata.Hive.moveFileD
浏览 14提问于2016-10-17得票数 0
回答已采纳
1回答
我正在使用Amazon，我能够使用CLI工具创建和运行作业流。工作进展顺利。但是，当试图从S3和name节点的本地文件系统将数据加载到EMR集群的HDFS时，我遇到了一个问题。我正在尝试使用S3DistCp工具来完成这个任务。/'at org.apache.hadoop.ipc.Server$Handler.
浏览 3提问于2012-05-30得票数 3
我有一个小型hadoop集群，其中有一个主节点和一个从节点，由于某种原因，主机箱必须移动到另一台机器上。我是否必须移动目标机器上的hadoop_tmp文件(我的hdfs所在的位置)？或者集群将通过从服务器复制文件来重建？我担心的是有一个不一致的hdfs，什么是最好的？
浏览 5提问于2016-10-24得票数 0
回答已采纳
为了消除网络和防火墙问题的可能性，我在源服务器上使用hadoop fs -ls和hadoop fs -cat命令来尝试解决这个问题。812 2012-12-16 17:21 logfiles/day_id=19991231/hour_id=1999123123/000008_0cat: HTTP_OK expected, received 500
下面是当我尝试
浏览 0提问于2012-12-19得票数 2
回答已采纳
1回答
我注意到这两个工作节点没有被充分使用。特别是，在第一个辅助节点上只有2个执行程序，在第二个辅助节点上只有一个执行程序，spark.executor.memory 4655m而且，web控制台的DataProc页面上的信息也不会自动更新。
浏览 0提问于2016-08-03得票数 6
回答已采纳
我希望将数据从CDH3复制到CDH4 (在另一台服务器上)。我的CDH4服务器的设置使得它无法看到CDH3，所以我必须将数据从CDH3向上推到CDH4。(这意味着我不能从CDH4运行distcp命令来复制数据)。如何通过在较低版本的CDH4 hadoop上运行命令将数据转移到CDH3的HDFS，或者这是不可能的？
浏览 10提问于2014-02-05得票数 0
回答已采纳
我正在尝试将数据从CDH4复制到CDH5群集。当我从CDH5提交distcp作业时，MR job进入已接受状态并停留在那里(我已经尝试了多次，它停留在那里超过15小时)。我要复制的数据小于10MB。下面是我正在使用的设置和步骤。来源: CDH4，例如NodeName = cloudera4目的地: CDH5，例如NodeName = Cloudera1
在Cloudera1上使用的命令: hadoop dis
浏览 1提问于2015-03-07得票数 0
3回答
我正在尝试使用s3DistCp将一个S3文件夹中的一些小文件合并到另一个S3文件夹中。脚本类似于以下内容：/home/hadoop/lib/emr-s3distcp-1.0.jar\--groupBy,[0-9]*,\但我得
浏览 1提问于2013-10-21得票数 1
1回答
我有一个简单的java程序，它将distcp包装在hadoop集群上复制文件。我可以在IDE和hadoop中成功地运行它。现在的问题是，每当程序想提交distcp作业时，它都会出现以下错误：at org.apache.hadoop.tools.DistCp.createMetaF
浏览 3提问于2017-06-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
