我试图通过循环遍历该数据的每一行来打印数据。然后，我使用对dataframe的RDD的map()转换来应用lambda函数，并尝试将其转换回dataframe。我通过conda env在木星笔记本上运行这个程序。我的猜测是，在应用rlike()函数时存在一些问题，因为没有rlike()函数，映射工作得很好。下面的代码如下：
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
from pyspark.sql.window import Window
spark = SparkSession.bui
浏览 14提问于2022-09-19得票数 0
回答已采纳
在使用pyspark从Databricks笔记本加载数据后，我希望将alter table命令传递给我的PostgreSQL数据库。我知道我可以使用spark.read.jdbc传递查询，但在本例中，我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22提问于2020-06-02得票数 0
回答已采纳
1回答
在下面的代码中，数据文件的所有列都是字符串。其中一列用一个小数位存储整数或小数(6.1,4.8,3,9.4,6，...etc.)。但是，一旦将数据加载到pyspark dataframe中，它也会显示带有单个小数位(例如3.0)的整数。
问题：我们如何才能强迫pyspark显示所有不带小数的整数值？例如，3.0应该显示为3。
from pyspark.sql.types import StringType
from pyspark.sql import functions as F
df = spark.read.csv(".......dfs.core.windows.net/my
浏览 7提问于2022-05-21得票数 0
1回答
我正在处理一个用例，在这个用例中，我必须处理大量数据(多个表)，并试图将其作为批处理作业提交给Dataproc集群(PySpark)。
我的代码看起来像这样
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql import SparkSession
def readconfig():
#code to read a yaml file
def func(filename, tabname):
sc = SparkContext("local",
浏览 4提问于2020-06-20得票数 1
我在gcp中设置了一个composer环境，它正在运行一个DAG，如下所示 with DAG('sample-dataproc-dag',
default_args=DEFAULT_DAG_ARGS,
schedule_interval=None) as dag: # Here we are using dag as context
# Submit the PySpark job.
submit_pyspark = DataProcPySparkOperator(
task_id='run_dataproc_pyspark'
浏览 37提问于2020-09-24得票数 2
在尝试将数据插入到Oracle时，在运行以下程序时获取单机错误。
# -*- coding: utf-8 -*-
#import unicodedata
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql.functions import udf
import sys
print(sys.getdefaultencoding())
u = 'abcdé'
a = 'Austròal
浏览 0提问于2018-11-23得票数 1
回答已采纳
我正在尝试使用PySpark和SQLAlchamy读取数据库表，如下所示：
SUBMIT_ARGS = "--jars mysql-connector-java-5.1.45-bin.jar pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS
sc = SparkContext('local[*]', 'testSparkContext')
sqlContext = SQLContext(sc)
t0 = time.time()
database_uri
浏览 0提问于2018-03-31得票数 3
上下文:我想把Avro文件读入Spark作为RDD。我想知道，如果我可以访问Avro数据模式，是否可以一次解析一行Avro文件。
我正在使用pyspark来编写我的spark作业。我正在考虑使用sc.textfile来读入这个巨大的文件，如果我可以一次解析一行的话就可以进行并行解析。任何指向解析Avro文件的指针，一次一行，将非常感谢。
浏览 1提问于2015-12-12得票数 1
1回答
我有一个卡桑德拉表，这是相当大的，现在我有火花-卡桑德拉与以下代码连接。
import pandas as pd
import numpy as np
from pyspark import *
import os
from pyspark.sql import SQLContext
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.1 --conf spark.cassandra.connection.host
浏览 2提问于2021-07-06得票数 1
回答已采纳
我正在学习Spark，我发现我可以通过调用以下pySpark接口之一在Spark中创建临时视图：
df.createGlobalTempView("people")
df.createTempView("people")
df.createOrReplaceTempView'("people")
我可以创建一个永久视图，使其对我的spark集群中的每个用户都可用吗？如果已经为他们定义了视图，我认为这将节省人们的时间。
浏览 0提问于2018-02-01得票数 2
2回答
我想将数据从Oracle数据库导入到Hadoop，并考虑使用Sqoop。当我尝试时，我发现Oracle和Hadoop的数据连接器是断开的。
2019-07-18 09:19:58,203 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.oracle.OraOopManagerFactory - Data Connector for Oracle and Hadoop is disabled.
我联系了系统管理员，告诉我，我们的Sqoop目前还没有为Oracle数据库配置，而且不会配置。相反，他们建议使用下面的pyspark脚本。
我在C
浏览 0提问于2019-07-29得票数 2
回答已采纳
我的数据场景如下：
使用JDBC从数据库读取数据，使用PySpark调用count()，既可以查看记录数量，也可以在数据加载就绪时“知道”。我这样做是为了理解一个潜在的bottleneck.Write文件在s3 (在同一区域)中
因此，我的目标是准确地知道何时加载了所有的数据库/表数据，这样我就可以推断在作业变得缓慢时是否存在读写数据的问题。在我的第一次尝试中，我可以非常快地获得记录号(在2分钟的作业运行之后)，但我的猜测是，执行count()并不意味着数据全部加载(在内存中)。
浏览 4提问于2020-11-16得票数 0
我有一个SparkJob，它从在N项之间创建一个成对的分数矩阵开始。虽然密集，这是相当快-到大约20K元素，之后，它似乎被困了很长时间。我在多次尝试中看到的最后一个日志行是“清除累加器”，我将下面的代码块附加到下面，以便用随机创建的50K元素数据集来重现这个问题。笛卡尔产品的速度相当快，结果的RDD计数会在几分钟内(25亿行)返回，但是第二次计数会停留两个多小时，日志或Spark中没有任何进展更新。我有一个由15个EC2 M3.2xLarge节点组成的集群。我怎样才能理解这里正在发生的事情，以及如何加快这一进程？
import random
from pyspark.context impor
浏览 2提问于2016-06-29得票数 1
下午好,
在过去的两天中，出现了许多与Java服务器的连接问题。这有点不常见，因为错误并不总是发生，只是偶尔发生……
我使用的是PySpark和Jupyter Notebook。一切都在Google Cloud中的VM实例上运行。我在Google Cloud中使用了这个：
custom (8 vCPUs, 200 GB)
以下是其他设置：
conf = pyspark.SparkConf().setAppName("App")
conf = (conf.setMaster('local[*]')
.set('spark.executor
浏览 0提问于2018-01-30得票数 9
回答已采纳
我在GCP中启动了一个DataProc集群，有一个主节点和3个工作节点。每个节点有8个vCPU和30G内存。
我开发了一个pyspark代码，它从GCS读取一个csv文件。csv文件的大小约为30G。
df_raw = (
spark
.read
.schema(schema)
.option('header', 'true')
.option('quote', '"')
.option('multiline',
浏览 4提问于2021-05-03得票数 0
1回答
我不确定在执行聚合操作时是否应该增加或减少分区的数量。假设我使用的是火花放电数据格式。pyspark 1.6.1。
我知道，典型的行转换需要更多的分区。将数据保存到磁盘通常需要fewere分区。
但是，对于聚合来说，我不清楚在pyspark中应该做什么？？
增加分区数量的论据:由于为了聚合，我们必须对数据进行洗牌，所以您需要对周围的数据进行洗牌，从而增加分区的数量，以减小分区的大小。
减少分区数量的参数:在每个分区上收集和计算需要大量的开销。因此，过多的分区将导致过多的开销，而pyspark作业可能会超时。
是哪一个？
资料来源：
浏览 1提问于2017-08-10得票数 1
回答已采纳
开发人员朋友们，大家好！ 我最近开始学习GCP，我正在做一个POC，它要求我创建一个能够调度用PySpark编写的Dataproc作业的管道。目前，我已经在我的Dataproc集群上创建了一个Jupiter笔记本，它从GCS读取数据并将其写入BigQuery，它在Jupyter上工作得很好，但我想在流水线中使用该笔记本。 就像在Azure上一样，我们可以使用Azure数据工厂来安排管道运行，请帮我找出哪个GCP工具可以帮助实现类似的结果。 我的目标是调度多个Dataproc作业的运行。
浏览 33提问于2021-08-16得票数 2
回答已采纳
我可以在pyspark mapPartitions中使用多线程吗？ 我正在运行一个spark作业，其中我必须对每一行执行API调用。我们使用rdd map来运行python函数来进行API调用。这些API调用耗时0.01 ~ 0.5秒。 我们可以使用rdd mapParitions来运行python多线程函数吗？这意味着什么，或者为什么我们不能使用线程？ ? 注意:我们知道，Spark可能不是这项工作的最佳工具。此外，由于PyArrow依赖，我们不能使用pandas udf或矢量化。 图片来源：https://medium.com/ibm-data-science-experienc
浏览 52提问于2020-09-17得票数 3
1回答
假设我有一个数据框架df (由一个硬编码数组创建，用于测试)
+----+----+---+
|name| c1|qty|
+----+----+---+
| a|abc1| 1|
| a|abc2| 0|
| b|abc3| 3|
| b|abc4| 2|
+----+----+---+
我正在分组并聚合它以获得df1
import pyspark.sql.functions as sf
df1 = df.groupBy('name').agg(sf.min('qty'))
df1.show()
+----+--------+
|n
浏览 1提问于2017-09-27得票数 0
回答已采纳
1回答
我在一个名为part-0001、part-0002等的Linux机器上的一个目录中有大约200个文件。每个行都有大约100万行，具有相同的列(称为'a'，'b'，等等)。让这对'a'，'b‘成为每一行的键(有许多重复的)。
同时，我已经建立了一个Spark2.2.0集群，其中包含一个主服务器和两个从服务器，共有42个可用内核。地址是spark://XXX.YYY.com:7077。
然后，我使用PySpark连接到集群，并计算每个唯一对的200个文件的计数，如下所示。
from pyspark import SparkContext
fr
浏览 3提问于2017-10-11得票数 3
我是大数据的新手，目前我正在学习Apache Spark。我已经创建了一个独立的集群，在同一台机器上有一个主集群和一个从集群。SPARK_WORKER_MEMORY设置为"1g“，SPARK_LOCAL_IP指向我的ip地址。因此，我编写了一段python代码来简单地创建一个SparkSession：
from pyspark.sql import SparkSession
from time import time
def main( ):
start_time = time( )
sparkSession = ( SparkSession.builder
浏览 0提问于2017-09-08得票数 1
我发现PySpark有一个名为drop的方法，但它似乎一次只能删除一列。关于如何同时删除多个列有什么想法吗？
df.drop(['col1','col2'])
TypeError Traceback (most recent call last)
<ipython-input-96-653b0465e457> in <module>()
----> 1 selectedMachineView = machineView.drop([['GpuName',
浏览 1提问于2016-02-28得票数 42
回答已采纳
这周我刚开始使用PySpark，我已经安装了access 2的实例已经安装了Pandas。但是在星火上拥有熊猫有什么用呢？
在PySpark上运行脚本不就是为了克服像Pandas这样的软件包的局限性吗？
如果Pandas在星火上运行，它的性能会提高吗？它与星火的RDD兼容吗？
浏览 0提问于2017-01-13得票数 4
我发现在spark数据帧上进行相同的查询和相同的表查询时，Apache spark要比MySQL服务器慢得多。
那么，spark在哪里比MySQL更有效呢？
注意:在一个包含100万行的表上进行了尝试，所有10列的类型都是text。
json中的表大小约为10 is
使用独立的pyspark笔记本电脑，配备至强16核和64 on内存，位于同一服务器MySql上
一般来说，我想知道在目标数据大小方面何时使用SPARK与SQL server的指导原则，以便从分析查询中获得真正快速的结果。
浏览 0提问于2016-06-19得票数 0
我正在运行一个pyspark作业，我注意到有一些已死的执行器，但作业最终还是成功了。
当一个执行者死了，这会有什么影响。
当executor在完成任务后，失去连接并自毁时会发生什么。是否通过获取新的执行器来再次启动任务，从而导致同一任务执行两次？
请帮助我理解这一点。
浏览 0提问于2020-01-08得票数 0
2回答
我正在使用AWS glue ETL job转换拼图格式的s3上的CSV数据。Snappy压缩镶木地板数据被存储回s3。
完整的架构:当数据被上传到s3时，如果一个lambda函数还没有运行，它会触发glue ETL job。作业在s3上持续上传胶水输入数据。Glue成功处理了100 up的数据，但当输入数据堆积到0.5到1TB时，Glue作业在长时间运行后抛出错误，例如10小时。
Traceback (most recent call last):
File "script_2018-01-08-23-01-55.py", line 60, in <module>
浏览 0提问于2018-01-09得票数 4
1回答
我最近开始学习用于网络图形操作的pySpark。我仍在试图理解星火如何使用数据格式。
据我所知：
dataframes中的数据是在一组机器上分布的(就像它们与hadoop一样)。
对dataframes的操作以相同的方式分布(或者，在我的例子中，在本地使用给定数量的线程)。
我的主要问题是:只有数据文件上的操作是分布式的，还是所有操作(比如python的字典上的操作)都是在pyspark的shell中执行后才分发的？
如有任何进一步的澄清或条款，将不胜感激。
浏览 1提问于2021-03-14得票数 1
1回答
我对PySpark和AWS都是新手。我得到了一个小项目，在这个项目中，我需要每小时清除大量的数据文件，并在此基础上构建聚合数据集。这些数据文件存储在S3上，我可以利用Spark中的一些基本功能(如filter和map)来派生聚合数据。为了节省出口成本，在执行了一些CBA分析之后，我决定创建一个EMR集群并进行pypark调用。这个概念使用由S3桶中创建的文件触发的Lambda函数很好。我正在将输出文件写回S3。
但我无法理解我创建的3节点EMR集群的需求及其对我的使用。我如何利用Hadoop文件系统在这里和在节点上可用的所有存储？
如何(如果可能的话)查看集群中从节点/核心节点的使用情
浏览 4提问于2020-01-14得票数 0
我想知道下面的伪代码是否是从PySpark()读取存储在Azure数据湖中的日期范围之间的多个拼花文件的有效方法。注意:拼花文件没有按日期进行分区。
我使用uat/EntityName/2019/01/01/EntityName_2019_01_01_HHMMSS.parquet惯例在ADL中存储数据，正如Nathan在书“大数据”( Big )中所建议的，稍微做了修改(使用2019年而不是year=2019)。
使用*通配符读取所有数据：
df = spark.read.parquet(uat/EntityName/*/*/*/*)
添加列FileTimestamp，该列使用字符串操作从En
浏览 1提问于2019-02-28得票数 1
回答已采纳
对python或大规模数据处理非常陌生。我是新手，任何帮助都将不胜感激
我在pyspark里有两个数据帧
dF1 : total order schedule
aggregatedOrderId | totalOrderQuantity | ETA | Quantity
xyz | 20 | |
abc | 10 | |
dF2: detailed order
aggregatedOrderId | Quantity | ETA
浏览 0提问于2020-07-02得票数 0
我正在AWS EMR上运行一个5节点星火集群，每个大小为m3.xlarge (1个主站，4个从站)。我成功地运行了一个146 up bzip2压缩的CSV文件，最后得到了一个完美的聚合结果。
现在，我试图在这个集群上处理一个~5GB的bzip2 CSV文件，但是我收到了以下错误：
16/11/23 17:29:53警告TaskSetManager:在第6阶段(TID，xxx.compute.internal)中丢失的任务49.2 : ExecutorLostFailure (执行器16因运行任务之一而退出)原因:因超过记忆限制被纱线杀死的容器。使用10.4GB的10.4GB物理内存。考虑提高
浏览 8提问于2016-11-24得票数 64
Spark应该以闪电的速度完成数据处理。但是我猜我没有为我的程序使用正确的功能来让Spark以这种方式工作。
下面是我的程序的样子：
from pyspark import SparkContext
from pyspark import SQLContext
from pyspark.sql.types import *
from pyspark.sql import Row
from pyparsing import re
import time
start_time = time.time()
sc = SparkContext("local","test
浏览 0提问于2016-11-09得票数 7
回答已采纳
如何在Spark 2.0的Pyspark中加载gzip压缩的csv文件？
我知道可以按如下方式加载未压缩的csv文件：
spark.read.format("csv").option("header",
"true").load("myfile.csv")
或
spark.read.option("header", "true").csv("myfile.csv")
浏览 0提问于2016-11-02得票数 13
2回答
使用带有增量io包io.delta:delta-core_2.12:0.7.0镜像2.0.x创建Dataproc集群 Spark版本为3.1.1 Spark shell由以下命令启动： pyspark --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \
--conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog 执行命令以创建增量表并插入到增量sql中： spark.sql
浏览 34提问于2021-02-09得票数 4
在没有修改的情况下获得运行Elephas示例的错误：(即使使用git版本pip无缓存-dir git+git://github.com/maxpumperla/elephas.git@master)，也会得到该错误。)
我使用过的例子：
(我试图启用tf.compat.v1.enable_eager_execution()，但其他代码不适用于该设置)
pyspark_1 | 19/10/25 10:23:03 INFO SparkContext: Created broadcast 12 from broadcast at NativeMethodAccessorImpl.java:
浏览 2提问于2019-10-25得票数 2
回答已采纳
3回答
上个星期一去火场
、、、
我在Python中使用Spark2.0。
我有一个带有DateType()类型列的dataframe。我想在dataframe中添加一个列，其中包含最近的星期一。
我可以这样做：
reg_schema = pyspark.sql.types.StructType([
pyspark.sql.types.StructField('AccountCreationDate', pyspark.sql.types.DateType(), True),
pyspark.sql.types.StructField('UserId', pyspark.sql.
浏览 7提问于2016-10-26得票数 10
回答已采纳
我正在开发一个基于HTML5 5的web应用程序，它将利用本地SQL数据库。
当应用程序启动时，它需要执行以下操作(简化，但大致正确)：
检查数据库是否存在；如果不存在，则创建它检查以确保表A是否存在；如果不存在，则创建它检查以确保表B是否存在；如果不存在，则创建它检查以确保表C是否存在；如果不存在，则创建它<code>H19<//code>检查，以查看每个表A中有哪些数据可用；如果数据为空，请使用默认值<code>H 210</code><code><//code>检查每个表B中可用的数据；如果它是空的，则使用默认值va
浏览 0提问于2011-08-12得票数 1
回答已采纳
我安装了Spark，运行了sbt程序集，可以毫无问题地打开bin/pyspark。但是，我在将pyspark模块加载到ipython时遇到了问题。我得到以下错误：
In [1]: import pyspark
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-1-c15ae3402d12> in <
浏览 1提问于2014-10-24得票数 45
1回答
使用regex语句的case语句
、、、、
下面有电火花密码。在代码中，我将从另一个已转换为临时视图的dataframe创建一个dataframe。然后，我将使用sql查询在最后一个查询中创建一个新字段。我想要创建的字段的代码最初来自postgresql，我想知道在pyspark中正确版本的case语句和regex是什么？
case when a.field2::varchar ~ '^[0-9]+$' then a.field2::varchar else '0' end
我是刚转换(field2为字符串)吗？
另外，什么是regex测试的正确的pyspark版本？
代码：
from pyspark.s
浏览 1提问于2021-04-16得票数 0
回答已采纳
我正在尝试根据这个问题对一个每小时计划的笔记本进行故障排除：
在列出内核日志时，我在凌晨3点注意到notebook没有被调度：
kernel-pyspark-20170104_230002.log
kernel-pyspark-20170105_010001.log
kernel-pyspark-20170105_020000.log
kernel-pyspark-20170105_040001.log
kernel-pyspark-20170105_050009.log
kernel-pyspark-20170105_060001.log
kernel-pyspark-20170105_07
浏览 15提问于2017-01-05得票数 1
回答已采纳
我将剪切信息存储在添加到/sitecore/templates/System/Media/Unversioned/Image模板的字段中。
我想访问这个字段以及Glass.Mapper.Sc.Fields.Image复杂字段类型中存在的所有其他属性，以便在我的视图中继续使用GlassHtml.RenderImage()。
我最初从类继承的尝试失败了--它似乎破坏了映射行为--所以我想知道是否还有其他方法可以用其他属性扩展这个类？
以下是我尝试过的：
[SitecoreType(AutoMap = true)]
public class MyImage : Glass.Mapper.Sc.Fie
浏览 1提问于2013-09-11得票数 4
回答已采纳
1回答
import pyspark
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
from pyspark import SparkContext
spark = SparkSession.builder \
.master("local")
.appName("pyspark_uygulama") \
.getOrCreate()
sc = spark.sparkContext
sc
File "C:\Users\Lenovo\AppDa
浏览 3提问于2022-07-29得票数 -1
我正试图在我自己的计算机上安装Spark，请按照这里的教程操作。
我在这里执行这些步骤，但是我看到一个error.This错误如下所示：
fatih-Air:~ fatihcelik$ snotebook
-bash: /Users/fatihcelik/pyspark-2.4.0/bin/pyspark: No such file or directory
我的火花directory在这里：
/Users/fatihcelik/pyspark-2.4.0
我的.bash_profile文件如下：
#Settings path for Spark
export SPARK_PATH=~/py
浏览 1提问于2018-11-06得票数 0
我在mac上有一个工具，它有数据处理接口、web接口和UI。这三个接口运行在三个不同的串行(异步)dispatch_queues上(UI运行在主队列上)
我的数据处理接口需要停止，当web接口收到命令时，停止。数据处理dispatch_block除了需要侦听web接口中的停止命令外，没有任何依赖项。
我对如何设计数据块感到困惑，这样，我就不需要轮询web接口来检查它是否收到了停止命令。我的数据块的堆栈非常深(很多函数调用)，如果调用了Stop，我不想签入每个函数。目标是在我收到停止命令时尽快停止。
我不能依赖于isCancelled方法的NSOperationBlock，因为我的数据块总是在运
浏览 1提问于2018-12-13得票数 1
我尝试在IPython笔记本中运行Apache，遵循以下内容(以及注释中的所有建议)-
但是，当我通过以下命令运行IPython笔记本时：
ipython notebook --profile=pyspark
我知道这个错误：
Error: Must specify a primary resource (JAR or Python or R file)
如果我在外壳里运行火花放电，一切都好。这意味着我在连接火花和IPython方面有一些问题。
顺便说一下，这是我的bash_profile：
export SPARK_HOME="$HOME/spark-1.4.0"
expo
浏览 7提问于2015-07-02得票数 7
在加入dataframe的id列时，我得到了一个不明确的列异常，但是在dataframe中没有重复的列。是什么导致这个错误被抛出？
联接操作，其中a和input已由其他函数处理：
b = (
input
.where(F.col('st').like('%VALUE%'))
.select('id', 'sii')
)
a.join(b, b['id'] == a['item'])
Dataframes
(Pdb) a.explain()
==
浏览 20提问于2022-04-23得票数 2
回答已采纳
4回答
我正在尝试将这个tuto应用到我的ubuntu中，这就是我所做的： 1-安装spark 2.2....(pyspark)+ java(1.8) + anaconda (Python2.7) 2-编辑.bachrc (添加2行)： export PYSPARK_DRIVER_PYTHON=jupyter export PYSPARK_DRIVER_PYTHON_OPTS="notebook" 3-lanch Pyspark：$sudo Pyspark它工作得很好 4-lanch jupyter：$sudo jupyther notebook它工作正常 当我用Jupyter no
浏览 120提问于2017-11-10得票数 3
回答已采纳
我安装了Spark，但在将pyspark模块加载到ipython时遇到了问题。我得到以下错误： ModuleNotFoundError Traceback (most recent call last)
<ipython-input-2-49d7c4e178f8> in <module>
----> 1 import pyspark
/opt/spark/python/pyspark/__init__.py in <module>
44
45 from pyspark.conf
浏览 344提问于2019-05-28得票数 3
我正在摄取一个通常是int的数据类型，但也可以是None或inf，并使用它创建一个Spark DataFrame。我试着让它成为一个LongType，PySpark抱怨说，因为inf是一个浮点型： File "/opt/spark/python/lib/pyspark.zip/pyspark/worker.py", line 177, in main
process()
File "/opt/spark/python/lib/pyspark.zip/pyspark/worker.py", line 172, in process
ser
浏览 26提问于2020-01-22得票数 0
有人能告诉我为什么我会收到下面的错误吗？根据火花放电-卡桑德拉连接器的自述，下面我正在尝试的东西应该可以工作(没有星火包)：
$ pyspark_jar="$HOME/devel/sandbox/Learning/Spark/pyspark-cassandra/target/scala-2.10/pyspark-cassandra-assembly-0.2.2.jar"
$ pyspark_egg="$HOME/devel/sandbox/Learning/Spark/pyspark-cassandra/target/pyspark_cassandra-0.2.2-p
浏览 3提问于2016-01-10得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
