数据处理映像上的Spark 2.1
connect timed out
相关·内容
1回答
我正在从Dataproc 1.2迁移到1.3。当我使用映像版本1.3在Dataproc上创建一个新的Spark集群时。我得到了
HiveMetaException: Metastore schema version is not compatible. Hive Version: 2.3.0, Database Schema Version: 2.1.0
因为数据库模式不兼容。因此，我ssh-ed到Dataproc主实例并运行
schematool -dbType mysql -upgradeSchemaFrom 2.1.0
一切都按预期进行了。然后我重新创建了一个新的Spark集群，以确
浏览 0提问于2018-07-09得票数 1
3回答
我有一个Scala应用程序，它在独立模式下使用Spark2.1。应用程序将运行2小时并完成。它应该每月运行一次。
我发现了几种结合Spark和Kubernetes的方法：
使用Apache图表：
对于库伯奈特斯来说，火种有一个特殊的分支：
构建我自己的应用程序的Docker映像，包括火花二进制：代码示例：
大多数文档描述了如何在Kubernetes上运行Spark集群。在Kubernetes上运行火种独立的方法是什么？
浏览 4提问于2017-06-26得票数 3
如何在docker中用Spark 2.2运行齐柏林飞艇？
如果我在docker中开始使用齐柏林飞艇，它是从spark 2.1开始的。
docker run -p 8080:8080 --rm --name zeppelin apache/zeppelin:0.7.3
我想用2.2
我试过这个配置，它是在windows笔记本上启动的，但当我在Zeppeling Notebook中运行命令spark时，得到了错误
master:
image: gettyimages/spark
command: bin/spark-class org.apache.spark.deploy.mas
浏览 13提问于2018-02-04得票数 4
2回答
使用带有增量io包io.delta:delta-core_2.12:0.7.0镜像2.0.x创建Dataproc集群 Spark版本为3.1.1 Spark shell由以下命令启动： pyspark --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
--conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog 执行命令以创建增量表并插入到增量sql中： spark.sql
浏览 34提问于2021-02-09得票数 4
5回答
我一直在寻找使用Storm，这是与Hortonworks 2.1安装，但为了避免安装除了Cloudera安装(其中有火花)，我试图找到一种方法使用Storm在Cloudera。
如果您可以在单个平台上同时使用Storm和Spark，那么它将节省机器上同时安装Cloudera和Hortonworks所需的额外资源。
浏览 10提问于2014-07-25得票数 7
回答已采纳
2回答
我正试图在Mac上建立Kubernetes上的火花。我跟踪了的网页，它看上去如此直截了当地让我理解。
下面是Dockerfile。
# base image
FROM java:openjdk-8-jdk
# define spark and hadoop versions
ENV SPARK_VERSION=3.0.0
ENV HADOOP_VERSION=3.3.0
# download and install hadoop
RUN mkdir -p /opt && \
cd /opt && \
curl http://archive.a
浏览 5提问于2020-10-20得票数 0
出于这样或那样的原因，我想安装一个与上的版本不同的。如何在安装自定义版本的Spark的同时保持与Cloud Dataproc工具的兼容性？
浏览 3提问于2018-04-12得票数 3
1回答
你好，我想处理10亿行，23列的大量数据。但在熊猫身上，我甚至无法读取数据。那么，如何在我的Dell XPS 9570计算机上处理这些数据呢？我能用spark来做这个吗？有什么建议可以在我的电脑上处理吗？
谢谢
浏览 11提问于2019-10-23得票数 0
我在读关于阿帕奇光束的文章。在阿帕奇光束中经历了各种跑步者。但我想知道，如果有人可以直接使用apache spark，为什么要使用带有spark runner的apache beam？
浏览 2提问于2020-06-30得票数 1
3回答
在Spark2.1 上，有人提到
Spark运行在Java 7+、Python2.6+/3.4+和R 3.1+上。对于Scala，Spark2.1.0使用Scala2.11。您需要使用兼容的Scala版本(2.11.x)。
在Scala2.12 中还提到：
虽然Scala 2.11和2.12主要是源代码兼容的，以便于交叉构建，但它们并不是二进制兼容的。这使我们能够不断改进Scala编译器和标准库。
但是当我构建一个uber (使用Scala2.12)并在Spark2.1上运行它时。每件事都很正常。
我知道这不是任何官方来源，但在，他们提到Spark2.1确实支持Scala2.1
浏览 11提问于2017-03-19得票数 28
我对spark和talend都是新手。
但是我到处读到这两个都是ETL工具。我读到了另一个堆栈溢出答案。从另一个答案来看，我所理解的是talend确实使用spark进行大数据处理。但是，talend可以在不使用spark的情况下高效地完成spark正在做的所有ETL工作吗？或者它本质上是spark上的包装器，其中所有数据都发送到talend，实际上是放在talend内部的spark中进行处理？
我对此感到相当困惑。有人能澄清这一点吗？
浏览 23提问于2021-02-16得票数 1
回答已采纳
1回答
我在Hadoop上使用Spark，并想知道Spark如何将虚拟内存分配给executor。
根据纱线vmem，它给容器提供2.1倍的虚拟内存.
因此-如果XMX是1GB，那么->1GB* 2.1 =2.1gb分配给容器。
它是如何在星火上工作的？下面的说法是否正确？
如果我给执行者内存=1GB，
总虚拟内存=1GB* 2.1 * spark.yarn.executor.memoryOverhead。这是真的吗？
如果没有，那么虚拟内存是如何在星火中计算的？
浏览 2提问于2016-11-01得票数 2
首先，我几乎没有Apache和Apache方面的经验。
我现在想要的是：
Hadoop正在Hortonworks Sandbox 2.1上运行，它安装在Windows 7机器上。
火花外壳和火花程序运行在Windows 7机器上，这是与上面相同的机器。
星火外壳和星火程序可以在Hortonworks Sandbox 2.1上使用Hadoop。
我想在Windows上运行Spark的原因是，我想在Windows 7机器上开发Spark程序，这是我所熟悉的。
安装Hortonworks Sandbox 2.1非常简单。
然后，我尝试在Windows 7机器上构建Spark，如下
浏览 1提问于2014-05-08得票数 3
回答已采纳
我正在尝试使用spark 2.1.0 SparkStreaming程序读取文件。csv文件存储在我的本地机器上的一个目录中，并尝试在我的本地机器上使用writestream parquet和一个新文件。但每当我尝试它总是错误的.parquet或得到空白文件夹。
这是我的代码：
case class TDCS_M05A(TimeInterval:String ,GantryFrom:String ,GantryTo:String ,VehicleType:Integer ,SpaceMeanSpeed:Integer ,CarTimes:Integer)
object Streamingcsv
浏览 23提问于2017-03-06得票数 3
我一直在查找Spark和MapReduce之间的区别，我真正发现的是Spark在内存和磁盘上运行，这使得它的速度大大加快。
我还读到，MapReduce对于非常庞大的数据集更好，这仅仅是因为你可以将更多的数据加载到磁盘上而不是内存中？
但想必，使用Spark，您无论如何都会在内存和磁盘之间移动数据，因此如果内存空间不足，您可以将一些数据移回磁盘，然后引入新数据进行处理。
基本上，还有没有真正的理由继续使用MapReduce？
浏览 0提问于2018-05-02得票数 0
目前，我正试图在运行在IBM上的Kubernetes集群上部署一个星火示例jar。
如果我试图遵循这些，我就无法启动Spark，因为我总是收到错误消息：
系统找不到指定的文件。
输入代码后
bin/spark-submit \
--master k8s://<url of my kubernetes cluster> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.
浏览 0提问于2018-05-14得票数 7
回答已采纳
我有3个nodehost a、主机b、主机c kubernetes集群(版本1.12.2)。我正在尝试运行火花-pi示例jar，如中所提到的。
主持人A是我的库伯内特斯大师。>> kubectl获取节点列表所有三个节点。
我已经使用火花2.3.0二进制文件夹中提供的内容构建了火花对接器图像。
>> sudo ./bin/docker-image-tool.sh -r docker.io/spark/spark -t spark230 build
我得到了信息，图像被成功地建立了。
>> docker images ls
REPOSITORY
浏览 0提问于2018-11-13得票数 1
回答已采纳
1回答
当我们已经有Spark的时候，Akka在SMACK架构中的作用是什么？SMACK是由Spark提供的关于数据处理的，那么我们为什么需要Akka呢？
浏览 0提问于2016-11-04得票数 0
我正在尝试使用Spark 2.1启动一个Dataproc集群。有没有Spark 2.1的镜像版本？我看到的是Spark 2.0和2.2，但不是2.1。 https://cloud.google.com/dataproc/docs/concepts/versioning/dataproc-versions
浏览 13提问于2020-12-22得票数 2
回答已采纳
mac os中的minikube无法从docker存储库中提取坞映像。
试图在k8s上运行星星之火
spark-submit --master k8s://https://ip:port --deploy-mode cluster --name test-run-spark --conf spark.kubernetes.container.image=Docker-image --conf spark.kubernetes.driver.container.image=docker4tg/Docker-image --conf spark.kubernetes.executor.contai
浏览 12提问于2022-08-07得票数 0
回答已采纳
1回答
按键显示不同值的星火/蜂巢
、、、、
在大数据处理中，通常希望在不改变现有查询结构(分组、子查询等)的情况下“勾勒”组摘要。在Spark (和HiveQL)中，collect_set就是这样做的一个例子。它构建每个组列的唯一值的数组。
我正在寻找一个联非新议程，它为B列的每个唯一值从A列构建一个唯一值的映射。例如，给定
date user_id category revenue
1/1 1 a 1
1/1 2 b 0
1/1 3 a 0
1/2 2 b 10
1/2 3 a
浏览 12提问于2016-12-30得票数 0
回答已采纳
我刚接触云和大数据，但我对它们很感兴趣，而且我在Java编程方面有丰富的经验。我目前正在做我的uni项目，用来比较Apache Spark streaming和Google Cloud Dataflow的性能。我已经阅读了很多文章，包括的比较。
我知道Spark和Dataflow的编程模型是不同的，但是由于我在这个领域的有限和新的知识，我试图理解是否仍然可以进行这种性能比较？什么类型的用例才是正确的呢？对于流应用程序，这里应该考虑哪些性能参数？
在阅读有关数据流和Spark的文章时，我也遇到了Dataproc，我还在想，在Dataproc和Spark上进行数据流和Spark之间的比较，还是在数
浏览 2提问于2016-04-19得票数 0
我有一个在Azure HDInsight (Windows)上运行的Spark集群。我必须在spark-defaults.conf中编辑spark.driver.extraClassPath和spark.executor.extraClassPath，才能将路径添加到依赖项文件夹(JDBC driver)。这很有效，但这个文件偶尔会被覆盖，我会丢失所做的更改。值转到原始值。
这是预期的行为吗？为什么会发生这种情况？这是Spark的Windows部署所特有的吗？我可以安全地关闭此行为吗？
浏览 1提问于2015-08-11得票数 1
2回答
目前我们正在开发Hive，默认情况下，它使用map reduce作为MapR集群中的处理框架。现在我们希望将map reduce更改为spark，以获得更好的性能。根据我的理解，我们需要设置hive.execution.engine=spark。
现在我的问题是spark上的蜂巢目前由MapR支持吗？如果是，我们需要做哪些配置更改？
非常感谢您的帮助。谢谢
浏览 0提问于2016-08-05得票数 1
我试图在kubernetes集群中运行zeppelin部署中的火花作业。我还在不同的名称空间上运行了一个火花洗牌服务(daemonon-v2.2.0K8s)。这里是我的星星之火(以齐柏林飞艇为背景)
--conf spark.kubernetes.executor.docker.image=<spark-executor>
--conf spark.executor.cores=5
--conf spark.driver.memory=5g
--conf spark.executor.memory=5g
--conf spark.kubernetes.authenticate.d
浏览 0提问于2020-01-14得票数 2
回答已采纳
1回答
我有一个卡桑德拉表，这是相当大的，现在我有火花-卡桑德拉与以下代码连接。
import pandas as pd
import numpy as np
from pyspark import *
import os
from pyspark.sql import SQLContext
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.1 --conf spark.cassandra.connection.host
浏览 2提问于2021-07-06得票数 1
回答已采纳
我们有两个可用版本的星火(1.6和2.1)。我已经设置了环境变量(如SPARK_MAJOR_VERSION=2)，以便在直接打开火花放电或火花壳时，它使用Spark2.1。但是，当我试图在IPython会话中导入pyspark时，它使用Spark1.6。默认情况下，如何将其设置为使用2.1？
浏览 2提问于2018-06-12得票数 0
回答已采纳
我们正在尝试从spark 1.6迁移到spark 2.1。我尝试在本地配置spark master和worker，发现spark REST api与之前不同。
在spark 1.6中，当我开始使用master时，我使用以下url来获取所有应用程序的响应
现在，在spark 2.1中，我尝试了同样的方法，但并不像预期的那样。
只是显示web用户界面
我是否遗漏了任何配置。？
浏览 3提问于2017-06-24得票数 2
我使用的是以独立模式配置的Spark2.2.0集群。集群有2台八位数核心机器。此群集只用于火花作业，没有其他进程使用它们。我有大约8个星火流应用程序运行在这个集群上。
我显式地将SPARK_WORKER_CORES (在Spark-env.sh中)设置为8，并使用全执行器核心设置为每个应用分配一个核心。此配置减少了并行处理多个任务的能力。如果一个阶段在有200个分区的分区RDD上工作，那么一次只执行一个任务。我想让Spark做的是为每个作业和进程并行启动单独的线程。但是我找不到一个单独的火花设置来控制线程的数量。
所以，我决定在每台机器上玩一玩，把每台机器上的核心数量(即火花-env.sh中的
浏览 0提问于2018-01-29得票数 1
回答已采纳
我有一个现有的Hadoop集群，其版本是hadoop版本Hadoop 2.6.0-cdh5.4.2。我在这个集群上运行了一个现有的Spark (版本1.5.1)。但是，我想使用Spark2.0/Spark2.1，并进行一些代码修改。
更新
我从中发现，理论上，我只需下载Spark-2.0 (+ Hadoop-2.6)，在conf/spark-env.sh上更改HADOOP_CONF_DIR并执行以下操作
./bin/spark-shell --master yarn
基本上，我将让Spark2.0运行在我的集群上。然而，它仍然不起作用。我已经找不到解决办法了，所以我才来这里。
浏览 2提问于2016-09-09得票数 0
我在Kubernetes上安装了Spark和Zeppeline，使用头盔图表孵化器/火花
在齐柏林解释器中，星火的主程序被设置为本地*然后，我更改为spark://ClusterIP_Spark_ master :7077
但是，解释器似乎无法连接到Spark。
有什么解决办法吗？我需要出口SPARK_HOME吗？
谢谢
浏览 0提问于2018-04-19得票数 3
回答已采纳
我正在尝试将pyspark数据帧写入Hbase。面对下面的错误。
我的集群上的Spark和Hbase版本是：
Spark版本: 2.4.0 Hbase版本: 1.4.8
Spark提交
spark-submit --jars /tmp/hbase-spark-1.0.0.jar --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/hbase/conf/hbase-site.xml
浏览 1提问于2020-03-30得票数 0
1回答
连接到本地码头火花群集
、、、、
我正在尝试连接到一个星星团，我在本地创建了我的笔记本电脑。我使用的对接组合如下：
services:
spark-master:
image: docker.io/bitnami/spark:3.2.1
environment:
- SPARK_MODE=master
- SPARK_RPC_AUTHENTICATION_ENABLED=no
- SPARK_RPC_ENCRYPTION_ENABLED=no
- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
- SPARK_S
浏览 10提问于2022-06-07得票数 0
回答已采纳
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
1回答
我试图添加火花深造(火花-深入学习) jar，但齐柏林飞艇出错了。
ImportError: No module named 'sparkdl'
我试着用：
spark-deep-learning-0.1.0-spark2.1-s_2.11.jar
还试用了0.2.0版本的sparkdl
使用maven坐标，如下所示
databricks:spark-deep-learning:0.2.0-spark2.1-s_2.11
并尝试使用jar独立的路径。
python版本3.5火花版本2.1.1
浏览 1提问于2017-10-31得票数 2
回答已采纳
我试图将星火应用程序提交给Kubernetes集群，作业文件位于:/opt/ Spark / application / path，使用以下命令提交spark：
${SPARK_PATH}/bin/spark-submit \
--master <K8S_MASTER> \
--deploy-mode cluster \
--name spark-py-driver \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=spark-py:2.4.0-rc3 \
--conf spa
浏览 0提问于2018-10-22得票数 0
回答已采纳
我尝试了下面的方法
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.claimName=OnDemand
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.storageClass=gp2
spark.kubernetes.executor.volumes.persistentVolumeClaim.spark-local-dir-1.options.sizeLimi
浏览 3提问于2022-01-27得票数 0
我有一个带有Spark2.1的Hortonworks纱线集群。
但是，我想使用spark 2.3+运行我的应用程序(因为使用中的第三方ML库需要它)。
我们必须使用Spark2.1版本的spark-submit，还是必须使用带有胖罐子的Java或Scala将作业提交给纱线？这有可能吗？Hadoop库呢？
浏览 0提问于2018-12-26得票数 0
为下面的字数统计程序创建的分区是10，但根据我的理解，如果我们在创建sparksession对象时设置了master("local2")，这意味着它将在本地运行2个内核，即2个分区
谁能帮我解释一下为什么我的spark代码创建了10个分区而不是2个。
代码：
SparkSession spark = SparkSession.builder().appName("JavaWordCount").master("local[2]").getOrCreate();
JavaRDD<String> lines = spar
浏览 0提问于2018-12-23得票数 0
我们目前使用的是spark 2.1和hadoop 2.7.3，我知道也不敢相信spark仍然需要aws-java-sdk版本1.7.4。我们正在使用一个maven项目，我想知道是否有任何方法可以设置库或我的环境，以便能够使用spark 2.1以及其他使用最新aws-java-sdk的应用程序？我猜这和询问是否可以设置一个使用不同版本的aws-java-sdk的工作流是一样的，然后当我想在集群上运行jar时，我可以只指向最新的aws-java-sdk。我知道我显然可以维护单独的项目，一个用于spark，另一个用于纯sdk工作，但我希望将它们放在同一个项目中。
浏览 0提问于2018-01-05得票数 2
我正在学习Spark，我发现我可以通过调用以下pySpark接口之一在Spark中创建临时视图：
df.createGlobalTempView("people")
df.createTempView("people")
df.createOrReplaceTempView'("people")
我可以创建一个永久视图，使其对我的spark集群中的每个用户都可用吗？如果已经为他们定义了视图，我认为这将节省人们的时间。
浏览 0提问于2018-02-01得票数 2
我发现在spark数据帧上进行相同的查询和相同的表查询时，Apache spark要比MySQL服务器慢得多。
那么，spark在哪里比MySQL更有效呢？
注意:在一个包含100万行的表上进行了尝试，所有10列的类型都是text。
json中的表大小约为10 is
使用独立的pyspark笔记本电脑，配备至强16核和64 on内存，位于同一服务器MySql上
一般来说，我想知道在目标数据大小方面何时使用SPARK与SQL server的指导原则，以便从分析查询中获得真正快速的结果。
浏览 0提问于2016-06-19得票数 0
我是大数据的新手，目前我正在学习Apache Spark。我已经创建了一个独立的集群，在同一台机器上有一个主集群和一个从集群。SPARK_WORKER_MEMORY设置为"1g“，SPARK_LOCAL_IP指向我的ip地址。因此，我编写了一段python代码来简单地创建一个SparkSession：
from pyspark.sql import SparkSession
from time import time
def main( ):
start_time = time( )
sparkSession = ( SparkSession.builder
浏览 0提问于2017-09-08得票数 1
我已经成功地构建了Spark2.1源代码。但是，当我运行一些示例(例如，org.apache.spark.examples.mllib.BinaryClassification)时，我会得到以下错误。
Exception in thread "main" java.lang.NoClassDefFoundError: scopt/OptionParser
我试着使用Spark2.1预构建版本(examples/jars/spark-examples_2.11-2.1.0.jar)运行这些示例，并且得到了同样的错误。星火1.6预建版本工程(lib/spark-examples-1
浏览 5提问于2017-02-18得票数 2
回答已采纳
上下文:我想把Avro文件读入Spark作为RDD。我想知道，如果我可以访问Avro数据模式，是否可以一次解析一行Avro文件。
我正在使用pyspark来编写我的spark作业。我正在考虑使用sc.textfile来读入这个巨大的文件，如果我可以一次解析一行的话就可以进行并行解析。任何指向解析Avro文件的指针，一次一行，将非常感谢。
浏览 1提问于2015-12-12得票数 1
其他人在Azure集群上都有此错误消息
'This cluster's runtime version is out of support. Select a new runtime and restart this cluster. [Learn more]'
(“学习更多”引导到这个站点：)
集群上有以下属性/版本：
DBR 6.5 ML
Spark 2.4.5
Scala 2.11
对于这个错误消息，我自己能做些什么吗?或者我应该联系管理员谁可以更新集群，或者类似的事情？
浏览 1提问于2020-12-03得票数 2
在spark 1.6中，我们可以使用cassandraSqlContext直接查询cassandra表，如下所示：
cassandraSqlContext.sql("select * from keyspace.tableName")
火花2.1中有这样的特性吗？
我知道spark 2.1没有cassandra上下文，相反它有一个session会话。如果我执行spark.sql("select * from keyspace.tableName")，它会引发关于未解决的关系或表名不存在的错误。
但是，我可以将cassandra表注册到dataframe，然后查询
浏览 0提问于2017-05-22得票数 1
在使用pyspark从Databricks笔记本加载数据后，我希望将alter table命令传递给我的PostgreSQL数据库。我知道我可以使用spark.read.jdbc传递查询，但在本例中，我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22提问于2020-06-02得票数 0
回答已采纳
我正在使用以下指南在我的aks集群中部署pyspark：
我已经部署了我的驱动舱，在上面的链接中解释了这一点：
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: spark
name: my-notebook-deployment
labels:
app: my-notebook
spec:
replicas: 1
selector:
matchLabels:
app: my-notebook
template:
metadata:
labels:
浏览 1提问于2020-10-19得票数 2
回答已采纳
我正在尝试从本地机器CLI使用命令在minikube(Kubernetes)上执行spark-submit
spark-submit --master k8s://https://127.0.0.1:8001 --name cfe2
--deploy-mode cluster --class com.yyy.Test --conf spark.executor.instances=2 --conf spark.kubernetes.container.image docker.io/anantpukale/spark_app:1.1 local://spark-0.0.1-SNAPSHOT.
浏览 11提问于2018-04-06得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
