这是我的测试代码，我只是不明白为什么我不能用DSE运行它，但是没有它似乎不是问题。
这是我的python代码：
from future import print_function
import sys
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
if name == "__main__":
if len(sys.argv) != 3:
prin
浏览 2提问于2016-02-18得票数 0
我得到的是IncompatibleClassChangeError :：Found接口类，但需要的是org.apache.hadoop.mapreduce.TaskAttemptContext，。我使用了阴影插件和主类插件，
Mainclass plugin:
==================
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifac
浏览 0提问于2015-02-04得票数 0
我有一个小的Pig脚本，其中我使用最近引入的StreamingUDF功能调用Python UDF：
REGISTER 'process_tweet.py' USING streaming_python AS process_tweet;
REGISTER /usr/lib/hbase/lib/*.jar
tweets = LOAD 'hbase://brand_tweets' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('data:json') AS (json:chararra
浏览 0提问于2014-05-01得票数 0
我是hadoop的新手。我在单机上建立了hadoop -伪分布式模式.默认情况下，我的hdfs-site.xml配置：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hado
浏览 0提问于2018-11-14得票数 0
回答已采纳
我试图使用Hadoop2对MRUnit进行测试，但得到了以下错误：
java.lang.IncompatibleClassChangeError: Found class org.apache.hadoop.mapreduce.TaskInputOutputContext, but interface was expected
我看到了关于堆栈溢出的其他几个答案，但大多数答案似乎都与在pom.xml文件中为Hadoop1和Hadoop2包含多个配置有关。
有谁能洞察到是什么原因造成了这一切？
我的pom.xml文件如下：
<dependencies>
<dependency
浏览 9提问于2013-10-18得票数 0
回答已采纳
当我运行测试用例时，我得到了这个异常
java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskInputOutputContext, but class was expected
at org.apache.hadoop.mrunit.mapreduce.mock.MockContextWrapper.createCommon(MockContextWrapper.java:53)
at org.apache.hadoop.mrunit.mapreduce.
浏览 0提问于2013-06-20得票数 0
我正在使用HDP 2.0 - hadoop 2.2.0和Apache 1.7.4，并遵循Avro指南编写一个新的M/R 。
我收到了跟随错误
2014-07-15 05:46:04,354 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
at
浏览 1提问于2014-07-15得票数 1
回答已采纳
嗨，我试图通过扩展org.apache.pig.LoadFunc为pig创建自定义加载器，它需要实现
public abstract org.apache.hadoop.mapreduce.InputFormat getInputFormat() throws java.io.IOException;
现在，上面的format org.apache.hadoop.mapreduce.InputFormat是新的API，所以我必须通过扩展org.apache.hadoop.mapreduce.InputFormat来创建自定义文件格式。我已经使用新的API创建了自定义文件格式，但我需要使用以下代
浏览 0提问于2015-01-05得票数 0
1回答
我很难让sqoop1在hadoop2上工作。我总是运行int Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.Tool错误，这表明sqoop1正在尝试使用hadoop1。但是我已经从下载了带有sqoop1 2.0.4-alpha版本的hadoop。
那么为什么它不能与hadoop2一起工作呢？
PS:我已经努力让sqoop2工作了，但我在设置过程中遇到了很多问题。
此外，这篇文章的建议它应该可以工作，但我总是遇到这个ClassNotFoundException。
浏览 3提问于2014-08-15得票数 0
1回答
未在浏览器中执行的Python
、、、、
我有一个cgi脚本，它从不同的python文件中导入函数。我正在使用这些文件来设置Hadoop集群。所以它大部分都有commands.getstatusoutput代码。cgi文件只是在传递参数时调用这些函数。
但它不执行函数。当我在终端机上运行它时，它工作得很好。我希望能在这方面提供任何帮助。
cgi文件：
#!/usr/bin/python
import cgi
import cgitb
import os
import commands
import base2
cgitb.enable()
print "content-type:text/html"
print &
浏览 2提问于2016-10-16得票数 0
回答已采纳
当我构建示例--包含在accumulo-1.4.3-cdh43.tar.gz中的简单maven项目时
我正在使用设置为jdk1.6.0.32的java平台的netbeans。
我得到错误测试的测试失败: test(org.apache.accumulo.examples.simple.filedata.ChunkInputFormatTest)
这是输出：
T、E、S、T、S
运行org.apache.accumulo.examples.simple.filedata.ChunkInputFormatTest测试运行: 3，失败: 0，错误: 3，跳过: 0，时间流逝: 2.441秒<&
浏览 1提问于2014-02-11得票数 0
1回答
在Hadoop2中，是否可以使用rest获得与以下相同的结果：
yarn logs -applicationId <application ID>
浏览 3提问于2017-07-18得票数 5
朋友们，我知道在hadoop2中，当我们配置高可用性时，不需要配置一个hadoop2。使用一种新的机制，通过在活动和待机之间共享编辑来提供可用性。
我的问题是，次要名称节点功能是定期将编辑文件与fsimage文件合并，从而在hadoop1世界中提供了两个好处: 1)限制编辑文件的大小；2)保持最新的fsimage，从而缩短重新启动的时间。
因此，如果启用了高可用性，并且不需要二级名称节点的话.那么，谁会用煎熬来刺痛编辑呢？或者，由于某些架构/过程更改，现在不需要执行该步骤。
帮我理解一下。
浏览 2提问于2015-12-10得票数 1
回答已采纳
1回答
我将Hadoop的Mesos版本更改为1。
<properties>
<encoding>UTF-8</encoding>
<!-- language versions -->
<java.abi>1.7</java.abi>
<!-- runtime deps versions -->
<commons-logging.version>1.1.3</commons-logging.version>
<commons-httpcl
浏览 3提问于2016-11-04得票数 0
回答已采纳
1回答
我使用的：
<dependency>
<groupId>org.apache.avro</groupId>
<artifactId>avro-mapred</artifactId>
<version>1.7.4</version>
<classifier>hadoop2</classifier>
</dependency>
问题：如何将源代码附加到该类？
浏览 1提问于2014-09-01得票数 0
2回答
我正在创建一个应用程序的火花。我在HDFS中与Hadoop2一起使用avro文件。我使用maven，并将avro包括如下：
<dependency>
<groupId>org.apache.avro</groupId>
<artifactId>avro-mapred</artifactId>
<version>1.7.6</version>
<classifier>hadoop2</classifi
浏览 4提问于2015-06-18得票数 0
回答已采纳
我想测试hadoop2 mapreduce代码，使用mrunit，但是有一个error.local机器--不要在windows中安装hadoop。pom.xml如下：
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>2.6.0-mr1-cdh5.4.2</version>
浏览 3提问于2015-06-04得票数 1
回答已采纳
2回答
我正在尝试运行一个map reduce作业，它接受一个avro文件作为输入，并进行一些处理。我遵循了apache提供给我们的示例程序
但是我总是遇到这样的异常
java.lang.Exception: java.lang.NoSuchMethodError: org.apache.avro.generic.GenericData.createDatumWriter(Lorg/apache/avro/Schema;)Lorg/apache/avro/io/DatumWriter;
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(L
浏览 3提问于2015-02-03得票数 0
我部署了Hadoop2 (HDP2)，并希望获得ganglia中从节点的磁盘i/o指标。到目前为止，我还没有找到任何相关的指标。
您建议使用什么指标或将其添加到ganglia？
谢谢
浏览 0提问于2013-12-20得票数 3
1回答
因此，我试图使用我作为MapReduce步骤启动的自定义jar来查询亚马逊MapReduce上的hbase集群。Im是我的jar (在map函数中)，我这样调用Hbase：
public void map( Text key, BytesWritable value, Context contex ) throws IOException, InterruptedException {
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "tablename&
浏览 3提问于2014-02-28得票数 5
回答已采纳
1回答
我们正在努力构建一个包含100个节点、存储容量为300 TB的大型集群。然后，我们必须在资源受限的情况下为不同的用户(客户端)提供服务，即我们不想向每个用户公开完整的集群。有可能吗？如果这是不可能的，那么有什么其他方法可以做到这一点。有没有可用的内置解决方案？它就像集群按需分区一样。
浏览 5提问于2018-12-27得票数 0
2回答
Map-减少输入分割不按预期工作
、、、、
我试图在hadoop2集群中运行hadoop流应用程序。我使用下面的配置启动应用程序
hadoop jar /usr/lib/hadoop2/share/hadoop/tools/lib/hadoop-streaming.jar \
-D mapred.job.name=step01_load_delta_customer_events \
-D mapreduce.input.fileinputformat.split.minsize=134217728 \
-D mapreduce.job.reduces=10 \
-D mapreduce.map.memory.mb=4704 \
-D
浏览 0提问于2018-05-05得票数 0
回答已采纳
1回答
我们有来自lsblk的以下磁盘，所有磁盘都不是lvm
sdc 8:32 0 80G 0 disk /var/hadoop1
sdd 8:48 0 80G 0 disk /var/hadoop2
sde 8:64 0 80G 0 disk
sdf 8:80 0 80G 0 disk
sdc和sdd磁盘已满( 100%使用)
状态是sdc和sdd磁盘已满，我们可以使用它们。
但是我们有一个新的磁盘sde和sdf，每个磁盘的大小都是2
浏览 0提问于2019-11-25得票数 0
回答已采纳
我在我的Ubuntu单节点集群上使用Hadoop2.2。我已经使用start-all.sh启动了hadoop集群。当我试图在HDFS中加载一个文本文件时，它会抛出以下错误。
hduser@ubuntu:~$ hadoop dfs -put /home/aditya/Desktop/data.txt
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
13/11/26 00:40:44 WARN util.NativeCodeLoad
浏览 6提问于2013-11-25得票数 0
回答已采纳
由于各种原因，我在EMR上使用AMI 2.4.11/Hadoop 1.0.3运行一些作业。我正在尝试通过添加一个额外的EMR步骤，在我的作业之后运行HDFS清理。使用boto：
step = JarStep(
'HDFS cleanup',
'command-runner.jar',
action_on_failure='CONTINUE',
step_args=['hadoop', 'dfs', '-rmr', '-s
浏览 18提问于2017-08-07得票数 1
回答已采纳
我正在尝试合并一个目录中的所有spark输出零件文件，并在Scala中创建一个文件。
下面是我的代码：
import org.apache.spark.sql.functions.input_file_name
import org.apache.spark.sql.functions.regexp_extract
def merge(srcPath: String, dstPath: String): Unit = {
val hadoopConfig = new Configuration()
val hdfs = FileSystem.get(hadoopConfig)
浏览 4提问于2017-10-23得票数 1
我刚刚构建了spark 1.2.1，我正在尝试运行avro示例，但是失败了。
cd spark-1.2.1
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.5.2 -DskipTests clean package
我做错什么了？我跑：
cd spark-1.2.1
bin/spark-submit --driver-class-path examples/target/spark-examples_2.10-1.2.1.jar examples/src/main/python/avro_inputformat.py exa
浏览 2提问于2015-02-28得票数 0
回答已采纳
2回答
我使用Hadoop1.0和sqoop1.4，它们彼此兼容。当我试图从MySQL导入一个表到hdfs时。
sqoop import --connect jdbc:mysql://localhost/mydemo --table wordcount -m 1 --username root --password root123
我收到了跟随错误
线程"main“java.lang.IncompatibleClassChangeError中的异常:找到接口org.apache.hadoop.mapreduce.JobContext，但需要类吗？
我尝试使用Hadoop1.0和2.0运
浏览 1提问于2014-12-03得票数 0
YARN是Hadoop的第二代，它不再使用jobtracker守护进程，而是使用资源管理器。但是为什么在mapred-site.xml Hadoop2上会有一个mapreduce.jobtracker.address属性呢？
为了从Eclipse中运行Hadoop应用程序，有没有一个yarn的插件eclipse，因为我发现所有的插件都是专门为jobtracker设计的。提前谢谢。
浏览 6提问于2015-05-12得票数 0
1回答
对不起，如果这个问题是重复的，到目前为止我还没有找到满意的答案。
是否有可能获得hadoop2度量的原始数据？(例如以文本文件/json格式)
根据，我知道我可以使用ganglia (或者nagios)来获取度量和监视hadoop集群。然而，我想要的是原始数据，用于我自己的分析。
浏览 4提问于2015-06-09得票数 0
回答已采纳
我有一个SequenceFile格式的HDFS文件。键是Text，值是一个自定义的可序列化类(比如) MyCustomClass。我想通过hadoop命令读取这个文件，但它失败了，因为hadoop fs -text不知道MyCustomClass定义是什么。
我也尝试了hdfs dfs - text命令，但得到了相同的响应。使用hadoop2。
有没有一种方法可以指定类(例如，通过jar，如-cp myjar.jar选项)？
浏览 17提问于2016-07-26得票数 1
回答已采纳
我有一个名为centos7_hadoop的码头映像，我运行以下命令create容器
docker run --network hadoop-network --name hadoop1 --hostname hadoop1 -d -P centos7_hadoop
当我运行它时，我很高兴，好像我进入了一个像hadoop1这样的新主机
docker exec -it hadoop1 /bin/bash
因此，我想存储我的足迹，我在/etc/host中写了一行。在此之前
172.18.0.4 hadoop1
之后
172.18.0.4 hadoop1
172.18.0.2
浏览 1提问于2018-11-29得票数 0
回答已采纳
我使用maven来管理我的project.Firstly中的jar文件，我下载了版本为0.8.0的org.apache.mrunit，但是我发现它与我的项目不兼容，所以我删除它，以及重新下载一个1.0.0 version.But，我不能下载1.0.0版本。eclipse中的错误消息是：
未能在项目org.MapReducer1.0.0:MapReducer:jar:0.0.1-SNAPSHOT:上执行目标失败:无法解决项目MapReducer的依赖关系未能找到org.apache.mrunit:mrunit:jar:1.0.0在中缓存在本地存储库中，在中央更新间隔过去或更新被迫->帮助
浏览 1提问于2014-09-18得票数 0
我正在尝试通过JAVA api在HBase中创建一个表。我的代码如下：
Configuration config = HBaseConfiguration.create();
config.set("hbase.zookeeper.quorum", "127.0.0.1");
config.set("hbase.client.retries.number", "1");
config.set("zookeeper.session.timeout", "40000");
config.set("
浏览 0提问于2015-04-15得票数 0
我的目标是为管理用户提供Hadoop作业统计web UI。
我使用HortonWorks Hadoop2集群，作业在YARN上运行。
从架构的角度来看，我计划从收集作业相关信息(如开始时间、结束时间、映射器等)，计划将它们编入cron作业>>索引，以elastic search >>在Kibana中显示它们。
我想知道是否有更好的方法来做到这一点。
浏览 1提问于2016-03-26得票数 0
我让hadoop 2.2.0在远程集群上运行，Pig 0.12在一台单独的机器上运行。我需要让Pig与hadoop进行通信，第一步似乎是用Hadoop2.2.0构建Pig 0.12。以下是我所做的：
属性将hadoop-core.version、hadoop-common.version、hadoop-hdfs.version、Hadoop-mapree.version更改为2.2.0。
在ivy.xml中，将hadoop核心依赖项替换为hadoop客户端依赖项。
用"ant干净的jar-all -Dhadoopversion=23“建造猪
当我从命令行运行"
浏览 3提问于2014-06-04得票数 1
我们将在数百个(比如300个)物理x86节点上部署一个hadoop集群。由于我们没有太多的生产部署经验，有一个简单的问题，作为标题，我们希望听到有经验的人的反应。最好的治疗方法是什么？我们应该直接在物理盒上部署hadoop，还是需要一个虚拟机层(即IaaS云)来管理hadoop集群的计算资源。在做这个决定的时候，应该注意什么？
浏览 0提问于2015-04-23得票数 2
回答已采纳
我尝试在MapReduce上运行Hadoop2作业，但是连接到8021端口时出现错误。据我所知，此端口用于MR2中不使用的JobTracker。这让我想知道我是不是不小心使用了MR1。然而，广泛的网络搜索并没有给我带来任何结果。
我使用了新的API (org.apache.hadoop.mapreduce.*)，并使用javac -cp 'yarn类路径‘源文件夹进行编译。有谁知道我可能做错了什么吗？
浏览 4提问于2015-04-11得票数 1
我正在使用zookeeper、oozie、hive和hbase设置5个节点的hadoop 2.5.1集群。我目前已经安装并运行了Hadoop2和zookeeper。我想为所有的服务设置某种类型的UI管理，这样我就可以监控运行状况并从中执行管理任务。我看到Ambari和Hue的所有文档分别针对Hortornworks和Cloudera。对于这些UI控制台，是否有分步指南告诉我如何为我现有的hadoop服务配置它们？
浏览 2提问于2014-11-14得票数 2
当我尝试使用以下命令构建hadoop时：
mvn install -e -DskipTests
它总是抛出以下错误：
[INFO] -------------------------------------------------------------
[ERROR] COMPILATION ERROR :
[INFO] -------------------------------------------------------------
[ERROR] /home/xiu/myGit/hadoop2/hadoop-mr1-project/hadoop-mr1/src/test/jav
浏览 2提问于2013-07-19得票数 1
回答已采纳
我一直在尝试将一个maven项目转换为一个级别构建。POM.xml中的依赖项之一是avro-tools，如下所示：
<dependency>
<groupId>org.apache.avro</groupId>
<artifactId>avro-tools</artifactId>
<version>1.10.2</version>
</dependency>
在项目中运行gradle init时，gradle将从build.gradle文件中生成一个pom.xml文件，其依赖项如下:实现组：&#
浏览 31提问于2021-12-08得票数 1
我基于这个链接安装Hadoop MultiNode集群
然后我尝试在我的环境中运行wordcount example，但是当我访问资源管理器查看作业的详细信息时，UI中没有显示任何记录。
我也搜索了这个问题，一个人给出了类似的解决方案，但在我的例子中，我只是运行hadoop的例子，其中wordcount也没有为纱线添加任何额外的配置。
任何已经成功安装Hadoop Muiltinode和Hadoop2 web UI的人都可以正确地工作，可以帮助我解决这个问题，或者可以给出一个正确安装的链接。
浏览 2提问于2016-05-11得票数 0
我刚刚开始使用Hadoop 2。
在安装了基本的信任之后，我总是无法运行任何示例。有人看到这个问题了吗，请帮帮我？
这个错误就像
Error starting MRAppMaster
java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
这是日志
20152015-01-06 11:56:23,194 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appatte
浏览 0提问于2015-01-06得票数 4
回答已采纳
我是一个非常新的系统管理员(16级)，我被要求创建一个包含3个裸金属PowerEdge服务器的大数据集群。
*Hadoop2 *纱线*Java 7和8 *Spark *SBT *Maven *Scala *P7zip *Pig *Hive *R ( Spark和Hadoop的库) *Zeppelin *Cassandra
我想知道这些是否都能“一起玩”，因为我对大数据知之甚少，搜索结果是很多"x对y“页面，而不是"x和y”。是否有更好的行业标准？
提前感谢您的建议！
浏览 0提问于2018-03-16得票数 0
回答已采纳
1回答
我在我的减速器上得到了这个内存错误：
Container is running beyond physical memory limits. Current usage: 6.1 GB of 6 GB physical memory used; 10.8 GB of 30 GB virtual memory used.
是的，有一个物理内存问题，可以通过增加mapreduce.reduce.memory.mb来解决，但我不明白为什么会发生这种情况。
进入管道的数据越多，发生此内存问题的可能性就越大。问题是，我的大多数reducers (大约90%)都通过了，内存应该在reducers通过时释放
浏览 0提问于2017-04-19得票数 0
我正在使用Hadoop1.3和oozie。我的java操作引用了一个公共集合1.7的方法。在以前的版本中不存在。jar是一个包含所有类的胖jar，我将这些类放在工作流程下的lib文件夹中。OOzie启动时，我的提交操作指的是一个较旧的hadoop，它位于类路径上，而不是赋予用户jar优先权。是否有任何方式可以给予用户jars优先权？oozie.launcher.mapreduce.task.classpath.user.precedence=true不能工作，因为这是Hadoop1.3，而不是hadoop2。
浏览 2提问于2015-03-01得票数 0
回答已采纳
1回答
我正在使用火花0.90独立模式。
当我尝试在独立模式下使用流应用程序时，我会得到一个连接被拒绝的异常。
我在/etc/hosts中添加了主机名，也尝试了单独使用IP。在这两种情况下，工人都是在主人那里注册的，没有任何问题。
有没有办法解决这个问题？
14/02/28 07:15:01 INFO Master: akka.tcp://driverClient@127.0.0.1:55891 got disassociated, removing it.
14/02/28 07:15:04 INFO Master: Registering app Twitter Streaming
14/02/2
浏览 5提问于2014-03-10得票数 1
回答已采纳
iam使用hadoop apache 2.7.1，我已经将数据节点目录配置为具有多个目录
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop/data_dir,file:///hdd/data_dir/</value>
<final>true</final>
</property>
根据此配置，应在/opt/
浏览 0提问于2017-08-15得票数 0
我们最近从旧的HDP集群(没有kerberos)迁移到新的HDP集群(有kerberos)。在新的clutser上运行我们的ozzie作业时，我们面临一些身份验证问题。请参考下面的workflow.xml。第一个操作'hive-101‘工作正常，但是第二个操作hive-102失败。
<credentials>
<credential name="hs2-creds" type="hive2">
<property>
<name>hive2.server.pri
浏览 0提问于2019-07-29得票数 0
我正在尝试使用Hadoop1.0.0来测试 v2 Reducer，但在尝试时遇到异常：
java.lang.IncompatibleClassChangeError:
Found class org.apache.hadoop.mapreduce.TaskInputOutputContext, but interface was expected
at org.apache.hadoop.mrunit.internal.mapreduce.AbstractMockContextWrapper.createCommon(AbstractMockConte
浏览 3提问于2013-12-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
