如何在Pycharm中将jar添加到Spark
在PyCharm中将jar添加到Spark可以通过以下步骤完成：
- 打开PyCharm，并打开你的Spark项目。
- 在项目结构中，找到你的Spark项目文件夹。
- 右键单击项目文件夹，选择"Open Module Settings"（或者按下F4键）。
- 在打开的窗口中，选择"Modules"选项卡。
- 在左侧的模块列表中，选择你的Spark模块。
- 在右侧的"Dependencies"选项卡中，点击"+"按钮。
- 选择"JARs or directories"选项。
- 在弹出的文件选择窗口中，找到你要添加的jar文件，选择并点击"OK"。
- 确认添加的jar文件出现在"Dependencies"列表中。
- 点击"Apply"和"OK"保存并关闭窗口。
现在，你已经成功将jar文件添加到Spark项目中了。你可以在项目中使用这个jar文件的功能和类。
相关·内容
我想知道如何在PyCharm中开发apache-spark程序。我关注了这篇中的文章。我很好地定义了SPARK_HOME并将pyspark添加到Python path中。但是，当我在PyCharm中运行该程序时，我在定义SparkContext时遇到错误。Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --Exceptio
浏览 1提问于2016-01-07得票数 1
我想在PyCharm中调试Spark代码，因为它更容易调试。但是我需要添加一个spark-redis.jar，否则就是Failed to find data source: redisspark = SparkSession \.builder \ .config("spark.redis.host&quo
浏览 9提问于2019-07-11得票数 2
回答已采纳
1回答
PyCharm中卡夫卡的电火花流
、、、、
最近，我一直在尝试调试Pycharm中的pyspark.streaming.kafka类，以便与在linux机器上进行调试相比，更容易排除故障。kafkaParams)Traceback (most recent call last): File "{script path}", line 30, in <module> {topic}], kafk
浏览 0提问于2016-02-22得票数 2
回答已采纳
我不能从zeppelin向spark类路径添加自定义依赖项。环境: AWS EMR: Zeppelin 0.8.0，Spark 2.4.0 spark解释器的额外配置： spark.jars.ivySettings /tmp/ivy-settings.xmlspark.jars.packages my-group-name:artifact_2.11:version 来自my-group-name的文件出现在 spark.yarn.dist.jars
spa
浏览 23提问于2019-03-21得票数 0
1回答
这里解释了如何在Pycharm中运行带有参数的脚本：input1 file.py input2我该怎么做？
浏览 2提问于2016-12-26得票数 0
回答已采纳
2回答
下载mysql-connector-java-5.0.8-bin.jar
from pyspark import SparkContext
from pyspark.sql import SQLContext,$SPARK_HOME/bin/
浏览 1提问于2016-06-24得票数 0
4回答
我不知道如何配置Pycharm，这样我就可以直接在Pyspark中运行脚本。我在Elasticsearch集群上使用Pyspark，并使用以下代码来运行脚本。tweetspark/analytics/tweetanalyzer.py", line 20, in <module> File "/var/opt/spark/python/pyspark/context.py", line 60
浏览 1提问于2015-07-22得票数 3
推出的应用程序与火花-子：
/opt/spark/bin/spark提交-类com.baitic.mcava.pruebacassandra.PruebaCassandraBBDD -主火花-执行器-内存1G /home/miren/NetBeansProjects/PruebaCassandra/target/original-PruebaCassandra-1.0-SNAPSHOT.jar$.org$apache$sp
浏览 2提问于2016-02-25得票数 0
然后，我将这个jar发送到AWS，或者作为一个spark-submit或java -jar可执行文件运行，但这是不起作用的。/spark-launcher_2.11-2.3.0.jarBOOT-INF/lib/leveldbjni-all-/lib/spark-network-shuffle_2.1
浏览 0提问于2019-04-18得票数 2
我正在通过胖客户端连接到apache phoenix，并且已经提供了phoenix-client.jar to --files，但是executor仍然无法找到驱动程序。
浏览 19提问于2019-08-04得票数 0
我在Java/Scala中做过相当多的spark工作，只要我在maven pom.xml中添加所需的spark jar，我就可以直接从main()程序运行一些测试spark作业。例如，我正在使用pycharm运行一个wordCount作业：如果我只是运行main()程序，我会得到以下错误： File"/Applications/PyCharm.app/C
浏览 0提问于2016-07-19得票数 2
1回答
：：java.lang.ClassNotFoundException:未能找到数据源: org.elasticsearch.spark.sql。请在找到包裹
我做了一些研究，认为我需要一个罐子，所以我把这些配置添加到我的SparkSession中。spark = SparkSession.builder.config("jars", "/Users/public/ProjectDirectory/lib/elasticsearch-spark</e
浏览 0提问于2019-02-08得票数 0
4回答
这个类是用Java语言编写的，我需要从PySpark访问它，可以从shell访问，也可以通过spark-submit访问。org.foo.module
return 1;我尝试将其打包到一个jar中，并将其与--jar选项一起传递给pyspark，然后运行：
jvm = sc.
浏览 0提问于2015-11-05得票数 6
3回答
我下载了星火的源代码，解压缩并根据官方文件构建，如下所示：tar xzf spark-1.2.0.tgzmvn -Pyarn -Phadoop-2.2 -Dscala-2.11 -DskipTests clean package最后，我将程序集jar</
浏览 1提问于2015-02-04得票数 6
通过将以下代码添加到conf/spark-defaults.conf中，我可以让spark-shell记录到S3存储桶中：spark.eventLog.enabled true
spark.eventLog.dirs3a://spark
浏览 0提问于2016-10-07得票数 6
1回答
用蜂箱和火花呢
、、、
问题在于如何在py火花代码中使用hive jar。我们正在遵循以下一组标准步骤spark.sql("create temporary function public_upper_case_udfas 'com.hive.udf.PrivateUpperCase' using JAR 'gs://hivebqjarbucket/UpperCase.ja
浏览 25提问于2022-05-25得票数 0
我了解到，在发生故障时，可以通过可选设置自动重新启动Dataproc作业，如所示。如果通过GCP控制台提交作业，则工作正常。这是气流DAG代码， 'spark.dynamicAllocation.enabled': 'true',}
"gcs_job": { "jar
浏览 10提问于2022-10-11得票数 1
回答已采纳
我创建了一个简单的Scala代码：import org.apache.spark.SparkContext._ def main(args: Array[String]) { println(s"This is a simple s
浏览 9提问于2017-01-18得票数 1
2回答
我正在用Spark和Zeppelin做我自己的第一步，不明白为什么这个代码示例不起作用。import org.apache.spark.SparkContextimport org.apache.spark.SparkConfjava.sql.ResultSet
import org.apache.spark.sql._
val ur
浏览 7提问于2016-03-23得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
