我正在使用通过Azure ACS安装的dcos，并使用默认选项通过dcos工具安装hdfs和spark。创建SparkStreamingContext会带来以下好处：
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved: Namenode for hdfs remains unresolved for ID nn2.Check your hdfs-site.xml
浏览 8提问于2016-07-23得票数 0
回答已采纳
我正在尝试使用火花流将数据从一个HDFS位置读取到另一个HDFS位置 下面是我在spark-shell上的代码片段 但是我看不到在HDFS输出目录上创建的文件，您能否指出如何在HDFS上加载这些文件scala> sc.stop()
scala> import org.apache.spark.streamingscala&g
浏览 12提问于2018-12-21得票数 1
回答已采纳
我已经启动了Spark master和workers，可以很容易地在HDFS上运行像wordcount这样的MapReduce。现在我想在textstream上运行一个流，当我想创建一个新的StreamingContext时，我会遇到这个错误：有没有
浏览 0提问于2013-07-17得票数 1
回答已采纳
1回答
如何在星火流上创建停止条件？
、、、、
我想使用火花流从HDFS读取数据。这个想法是，另一个程序将继续上传新的文件到HDFS目录，我的星火流工作将处理这个目录。然而，我也想有一个结束的条件。也就是说，将文件上传到HDFS的程序可以向星火流程序发出信号，即它完成了对所有文件的上传。import org.apache.<em
浏览 0提问于2017-10-09得票数 3
回答已采纳
一旦我在hdfs位置找到一些标记文件，我需要优雅地停止火花。我尝试在每个批次完成后检查此标记文件。一旦发现标记文件存在于预定义的hdfs位置，我就尝试使用ssc.stop(true，true)优雅地停止sparkcontextssc.addStreamingListener例外：
org.apache.spark.SparkException:无法停止SparkListenerBus org.apache.spark.SparkException<e
浏览 9提问于2019-08-12得票数 0
1回答
我正试图在SBT上的spark中运行nc wordcount程序，我得到以下错误，记录我的spark版本:- 1.6.3，scala版本是2.10.0[warn] +- org.tachyonproject:tachyon-underfs-hdfsis not a member of package org.ap
浏览 2提问于2018-08-18得票数 0
我有一个简单的火花流应用程序，它从rabbitMQ读取数据，并在1分钟和1小时的窗口间隔上进行一些聚合，批处理间隔为30。 ERROR 2015-11-06 08:29:10 org.apache.spark.streaming.scheduler.JobScheduler当我第二次运行时，我已经停止了从生产者进
浏览 2提问于2015-11-04得票数 2
先决条件案例与问题
hadoop集群的一个节点由于磁盘错误而失败。复制是，不够高，数据丢失。简单地说，flow已经找不到一个预先配置为工作流资源的文件了。在执行期间，主
浏览 2提问于2014-07-15得票数 8
回答已采纳
1回答
我正在尝试编译我的第一个scala程序，并使用twitterStream获取tweet，下面是我的代码片段：import org.apache.spark.SparkContext._import org.apache.spark.streaming.twitter._
import org.apache.spark.stre
浏览 1提问于2015-03-10得票数 1
回答已采纳
我试图以独立模式(MacOSX)启动火花流，并获得以下错误：
SparkConf conf =新</em
浏览 5提问于2015-12-26得票数 0
2回答
我正在计算每个窗口中的值，并找到最上面的值，并且只希望将每个窗口的前10个频繁值保存到hdfs，而不是所有的值。=> rdd.sortByKey(false)).map(_.swap)
ssc.sparkContext.parallelize(rdd.take(10)).saveAsTextFile("hdfs//ec2-23-21-113-136.compute-1.amazonaws.com:9000/user/hduser/o
浏览 2提问于2015-01-05得票数 1
:)var consumer: KafkaConsumer[String, String] = _
consumer = new KafkaConsumer[String,(topic=topicAAA, partition=0, leader=1, re
浏览 3提问于2020-06-17得票数 0
回答已采纳
这是我的密码 val conf = new SparkConf() FROM people WHERE age BETWEEN 13 AND 29") })
ssc.checkpoint("hdfs://go/hive/warehouse/
浏览 0提问于2019-01-03得票数 0
回答已采纳
1回答
启动火花流上下文时出错
、、、
我是新的星火流和编写一个代码为twitter连接器。当我多次运行此代码时，它会出现以下异常。我必须为每次检查创建一个新的hdfs目录，以使它成功运行，而且它不会被停止。ERROR StreamingContext: Error starting the context, marking it as stopped at org.apache.spark</e
浏览 1提问于2015-07-29得票数 4
回答已采纳
从检查点恢复失败的作业时，将正确调用应用程序逻辑，并重新实例化RDD，但是调用RDD.map会导致NullPointerException。lazy val ssc = StreamingContext.getOrCreate(checkpointDir, createStreamingContext _)
val ssc = new StreamingContext(spark
浏览 10提问于2017-05-16得票数 0
我正在处理非常基本的星火流Scala代码。代码如下所示import org.apache.spark.streaming.StreamingContextimport org.apache.spark.storage.StorageLevel
import org.apache.spa
浏览 0提问于2018-12-01得票数 0
我有一个代码，可以流式传输HDFS文本文件。但是每个文本文件都包含一个50行的标题和描述。我想忽略这些行，只摄取数据。这是我的代码，但它抛出了一个不可序列化的SparkException:任务
val hdfsDStream = ssc.textFileStream("hdfs://sandbox.hortonworks.com
浏览 0提问于2015-03-13得票数 0
我们正在使用Spark 2.1中的结构化流式处理测试重新启动和故障转移。
我们有一个精简的kafka结构化流驱动程序，它只执行事件计数。当我们第二次优雅地重新启动驱动程序时(例如，使用yarn应用程序-kill终止驱动程序，并使用相同的检查点目录重新提交驱动程序)，驱动程序会失败，这是因为中止的作业无法在HDFS中提交状态，并出现以下错误重命名为/user/spark/
浏览 31提问于2017-02-04得票数 0
嘿，我正在尝试通过StreamingListener结束对cloudWatch的一些结构化指标class MyStreamingListener() streamingContext.addStreamingListener()
streamingContext.awai
浏览 1提问于2017-04-10得票数 0
我正在使用spark.sql()读取表，然后尝试打印计数。但其中一些文件丢失或直接从HDFS中删除。Spark失败，出现以下错误：对于相同的查询，Hive能够给我没有错误的计数。table是一
浏览 38提问于2019-07-30得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
