我正在开发一个要运行的Apache Spark作业，并计划将其部署为中的一个阶段。我的Spark作业是用Scala编写的，我想知道在Apache Spark作业的上下文中运行计时器的最佳方法是什么。我从中看到我可以使用java.util.concurrent或者java.util.Timer，但是我不确定线程在
浏览 12提问于2019-07-17得票数 3
回答已采纳
3回答
我一直在用Apache Mina开发我的第一个基于TCP/Socket的应用程序，它看起来很棒，做事情也很容易。我只想问一个关于米娜的问题。服务器设置5秒的空闲时间将终止套接字连接，因此我们必须发送周期性的心跳(回显消息/保持连接)以确保连接处于活动状态。一种保活机制。
有一种方法是我们在每5秒之前发送一次盲目的回应/心跳消息。我在想
浏览 2提问于2012-04-04得票数 2
回答已采纳
1回答
在云Datafusion中，我使用一个合并转换来连接两个表。
仔细观察一下用于连接的200项任务，87m记录中有近80%的记录因心跳</em
浏览 4提问于2020-01-10得票数 1
我在Jupyter Notebook中使用Python3.7运行pyspark时遇到错误，使用下面的代码。(PythonWorkerFactory.scala:164)
我浏览了这里提供的答案：。根据提供的答案，我尝试将代码更改为以下代码。我也尝试过这样，但仍然收到关于Accept timed out的相同错误。如果有人能帮我解决这个问题，我将不胜感激。我使用的是
浏览 0提问于2019-03-27得票数 2
我有一个简单的可重复的Spark错误。the running tasks) Reason: Executor heartbeat timed out after 169068 ms at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DA
浏览 0提问于2016-09-04得票数 2
1回答
缓存和保存频繁更新的数据
、、、
我正在开发一个.NET数据日志应用程序，该应用程序需要接受大量客户端的数据并将其存储在数据库中。
客户端向服务器发送一个开始事件，然后发送心跳事件，从而更新数据的最后一个活动时间。一种简单的方法是对start事件执行db插入，然后对每个心跳执行db更新，但这将非常依赖于数据库密集型，每隔几秒钟就会从大量客户端发出一次心跳。随着数据库表越来越大，更新也会变得很昂贵。因此，我将在内存中缓存数据，然后在客户端停止发送心跳时
浏览 0提问于2010-06-23得票数 0
我的Apache Spark集群正在运行一个应用程序，它给我提供了大量的执行器超时：但是，在我的配置中，我可以确认我
浏览 2提问于2016-05-17得票数 43
回答已采纳
1回答
我正在尝试添加一个外部包在木星的Azure火花。:2.0.4']}import org.apache.spark.streaming.eventhubs.EventHubsUtils
代码失败是因为一个致命错误:来自带有错误有效负载的中的无效状态代码pyFiles\”、\“归档”、\"queue\“、\”类“，\"executorMemory\“、\"file
浏览 3提问于2017-03-28得票数 1
1回答
我在运行火花配置时面临内存问题，我已经将设置更改为最大内存，但仍然无法工作。之后执行器心跳超时:删除没有心跳的执行器3: 126935 ms超过超时120000 ms错误cluster.YarnScheduler: ampanacdddbp01.au.amp.local上丢失的执行器3:在126935 ms错误scheduler.TaskSetManager之后执行程序心跳超时:23个任务的序列化结果的总大小(1040.5 MB)大于
浏览 8提问于2017-08-02得票数 0
2回答
火花倒置指数
、、
我正在创建文档的倒排索引，其中输出应该包含一个单词(来自文本文件)，后面跟着它出现的所有文件。有点像
from pyspark import SparkContext
sc = SparkContext("localmap(lambda file,word: (word
浏览 1提问于2017-12-05得票数 1
回答已采纳
我正在使用Yarn框架开发一个长时间运行的服务。ApplicationMaster代码只是分配和启动一些容器，并让它们永远运行。AM还定期报告每个正在运行的容器的状态。通过显式地将它们存储到内存映射中，AM知道它分配和启动的每个容器。
现在的问题是:在AM重启的情况下，即创建一个新的appattempt。新的AM如何知道旧的AM分配的所有正在运行的</em
浏览 0提问于2018-09-20得票数 0
1回答
在使用Python编程的火花作业中，我得到了下面的错误。错误上写着“执行者心跳超时”。.
: org.apache.spark.SparkException: Job aborted.:由于阶段失败导致作业中止:第9.0阶段中的任务38失败4次，最近一次失败:阶段9.0中丢失的任务38.3 (TID 532，alp 005.unix.cosng.net，执行器24)：ExecutorLostFailure(执行器24因运行中的任务之一而退出)原因:执行
浏览 1提问于2020-01-20得票数 0
1回答
使用心跳与systemd
、、、
我使用的是一个简单的安装程序，它使用心跳来处理用drbd实现的共享文件系统，并通过apache提供服务。我使用/etc/ha.d/haresources来定义ha资源，这样：Filesystem::/dev/drbd/by-res/myfs::/mnt/myfs::ext4::noatime \
IPaddr::10.0.0.25
浏览 0提问于2015-09-20得票数 1
回答已采纳
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。我的目标是将其部署到Databricks。任何建议都是好<e
浏览 1提问于2020-09-01得票数 1
下面是我如何创建我的dataproc集群，在创建属性时，我通过分配3600来处理网络超时，但尽管如此，执行器的心跳在125009ms之后超时。为什么会发生这种情况，如何避免这种情况？=org.apache.spark.serializer.KryoSerializer,\
spark:spark.default.parallelism=${default_parallelism},
浏览 7提问于2020-06-11得票数 2
回答已采纳
1回答
我正在尝试在一个Google DataProc集群上安装Spark (2.0.0)的ml模型。当拟合模型时，我会收到执行者心跳超时错误。我怎么解决这个问题？我作为解决方案阅读:设置正确的设置、重新分区、缓存和获得一个更大的集群。我能做什么，最好不设置一个更大的集群？(创建更多/更少的分区？缓存更少？调整设置？)我的背景：
在Google DataProc
浏览 3提问于2016-09-03得票数 0
如何修复GC overhead limit exceeded版本2.2.1中发生的PySpark。安装在Ubuntu 16.04.4上。在Python3.5.2脚本中，我设置为：如何<
浏览 0提问于2018-03-14得票数 4
回答已采纳
我在运行spark作业时遇到以下错误。请推荐spark和Cassandra连接器的正确版本。下面是我的build.sbt scalaVersion := "2.11.8"
"org.apache.spark" %% "spark-streaming" % "2.2.0-cdh6.0.1"
浏览 20提问于2019-01-28得票数 2
2回答
我正在开发一个UDP多播库，并就如何正确处理链路故障、断开/重新连接的NIC电缆等问题提出了一个问题。在我的测试中，我有以下设置：例如，当我加入sB上的多播组时，我开始从sA的多播数据包中接收该套接字上的数据现在，当我禁用/取消绑定多播接收器sB的NIC时，我</
浏览 8提问于2009-09-24得票数 3
1回答
我想构建一个以无状态服务器作为后端的聊天应用程序。用户具有联机和脱机状态。当用户连接到服务器时，服务器将该用户标记为联机。
现在想象一下，一个用户因为他的电池没电而断开连接。用户不能通知他要离线的服务器。在这种情况下，无状态服务器如何确保用户被标记为脱机？服务器必须保持用户的某种状态，对吗？每个用户都耦合到表用户数据库中的一个user_id UUID主键，该表用户具有status列。我认为服务器必须跟踪user_id，以便在断开连接时将用户标记为脱机，
浏览 0提问于2021-11-19得票数 -3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
