使用Scala在Apache Spark中读取MySQL时抛出NullPointerException
在Apache Spark中使用Scala读取MySQL时抛出NullPointerException是由于某些原因导致的空指针异常。空指针异常通常发生在尝试访问空对象的属性或调用空对象的方法时。
解决这个问题的方法可以包括以下几个步骤：
- 检查MySQL连接配置：确保MySQL连接配置正确，并且Spark能够成功连接到MySQL数据库。检查用户名、密码、主机名、端口号等连接参数是否正确。
- 检查MySQL驱动程序：确保在Spark的classpath中包含了正确的MySQL驱动程序。可以使用MySQL Connector/J作为MySQL的JDBC驱动程序。可以在Spark的启动脚本或配置文件中添加相关的依赖。
- 检查数据源：确保MySQL中的数据源存在，并且具有正确的表结构和数据。如果数据源不存在或者表结构不匹配，可能会导致空指针异常。
- 检查代码逻辑：检查Scala代码中读取MySQL的逻辑是否正确。确保使用了正确的API和方法来读取MySQL数据，并且没有在代码中引入空指针异常的可能性。
以下是一些可能有用的腾讯云产品和链接，可以帮助解决这个问题：
- 云数据库 MySQL：腾讯云提供的托管式MySQL数据库服务，可以轻松部署和管理MySQL数据库。链接：https://cloud.tencent.com/product/cdb
- 弹性MapReduce（EMR）：腾讯云提供的大数据处理平台，支持Apache Spark等开源框架。链接：https://cloud.tencent.com/product/emr
请注意，以上提到的腾讯云产品仅作为示例，您可以根据实际需求选择适合的产品和服务。同时，还可以参考腾讯云的文档和社区资源，以获取更多关于Spark和MySQL集成的指导和建议。
相关·内容
1回答
问题陈述：
嗨，我是星火世界的新手。我想查询MySQL数据库，然后将一个表加载到Spark中。然后，我想使用SQL查询在表上应用一些过滤器。一旦过滤了结果，我想以JSON的形式返回结果。我们必须从一个独立的Scala应用程序中完成所有这些工作。
我正在努力初始化星火上下文并得到一个错误。我知道我漏掉了一些信息。
有人能看看密码然后告诉我该怎么做吗。
代码：
import application.ApplicationConstants
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{S
浏览 0提问于2019-08-19得票数 0
回答已采纳
嗨，我正在通过shell脚本运行sparkr程序。我将输入文件指向本地意味着它工作正常，但是当我指向hdfs时意味着它抛出错误。
Exception in thread "delete Spark local dirs" java.lang.NullPointerException
Exception in thread "delete Spark local dirs" java.lang.NullPointerException
at org.apache.spark.storage.DiskBlockManager.org$apache$spark$s
浏览 3提问于2015-09-02得票数 0
我正在尝试从mysql中获取一个相当大的表，这样我就可以使用spark/databricks进行操作。我不能让它加载到spark中--我已经尝试了更小的子集，但即使在最小的合理单元，它仍然无法加载。
我尝试过在mysql中使用wait_timeout和interactive_timeout，但似乎没有什么不同
我还加载了一个较小的(不同的)表，并且加载得很好。
df_dataset = get_jdbc('raw_data_load', predicates=predicates).select('field1','field2', 'f
浏览 2提问于2018-01-08得票数 1
我正尝试在本地运行spark作业，以将mysql表内容(在本地机器中)读取到jdbcRDD。从网上，我收集了以下源代码，并自定义读取元素表和加载所有列。
private static final JavaSparkContext sc = new JavaSparkContext(
new SparkConf().setAppName("SparkJdbc").setMaster("local[*]"));
private static final String MYSQL_DRIVER = "com.mysql.jdbc.Driver
浏览 0提问于2015-08-01得票数 0
当我为表同步运行spark应用程序时，错误消息如下所示：
19/10/16 01:37:40 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 51)
com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packet
浏览 3提问于2019-10-16得票数 0
回答已采纳
1回答
我正在从spark应用程序连接到一个MySql DB (星火-2.0.0-bin-hadoop2.7)。当连接时，我得到以下错误。
这是我的代码：
def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName("LoadMySql")
.setMaster("local[*]")
.set("spark.sql.warehouse.dir", "file:///C:/temp")
val spark = Sp
浏览 1提问于2018-09-25得票数 0
2回答
我已经在Linux (在windows桌面)上安装了MySql，我正在尝试从运行在父windows操作系统上的Spark应用程序连接到MySql。在连接过程中，我遇到以下错误...
以下是示例代码
def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName("LoadMySql")
.setMaster("local[*]")
.set("spark.sql.warehouse.dir", "file:///C:/temp")
val spark
浏览 0提问于2018-09-26得票数 0
1回答
我们正在构建简单的流应用程序，它使用HBase RDD与传入的DStream连接。样本代码：
val indexState = sc.newAPIHadoopRDD(
conf,
classOf[TableInputFormat],
classOf[ImmutableBytesWritable],
classOf[Result]).map { case (rowkey, v) => //some logic}
val result = dStream.transform { rdd =>
rdd.leftOuterJoin(indexState)
}
它可
浏览 1提问于2017-02-16得票数 1
回答已采纳
1回答
在我的应用程序中，我比较了两个不同的数据集(即来自Hive的源表和RDBMS的目标)的重复和错误匹配，它在较小的数据集中工作得很好，但是当我尝试比较1GB以上的数据时，它挂起并抛出TIMEOUT ERROR时，即使在增加了抛出java.lang.OutOfMemoryError: GC overhead limit exceeded的网络超时之后，我还是尝试了使用.config("spark.network.timeout", "600s")。
val spark = SparkSession.builder().master("local")
浏览 9提问于2017-07-11得票数 3
回答已采纳
1回答
我知道我们可以使用spark从现有的mysql表中读取和写入数据。但是，我们甚至可以创建mysql表并使用dataframes将数据插入其中吗？当我试图将文件加载到dataframe并试图写入不存在的表时，我面临的是空指针，exception.Following是一个错误：
org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:99)的java.lang.NullPointerException在org.apache.spar
浏览 1提问于2018-03-12得票数 2
1回答
foreach循环嵌套的DataFrams迭代会抛出一个NullPointerException：
def nestedDataFrame(leftDF: DataFrame, riteDF: DataFrame): Unit = {
val leftCols: Array[String] = leftDF.columns
val riteCols: Array[String] = riteDF.columns
leftCols.foreach { ltColName =>
leftDF.select(ltColName).foreach
浏览 1提问于2019-05-08得票数 2
回答已采纳
1回答
在从mapr目录读取文件时，我会得到以下异常：
java.lang.NullPointerException
at com.mapr.fs.MapRFsInStream.read(MapRFsInStream.java:150)
at java.io.DataInputStream.read(DataInputStream.java:83)
at org.apache.hadoop.util.LineReader.readDefaultLine(LineReader.java:205)
at org.apache.hadoop.util.LineReader.readLine(LineRead
浏览 2提问于2014-11-16得票数 0
回答已采纳
我正在使用Apache Spark批量写入数据。批次为1天。在运行spark作业时，我得到了这个错误。我正在使用MySQL java连接器连接到TiDB集群。Spark为写入创建了144个并行任务。
java.sql.SQLException: GC life time is shorter than transaction duration
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createSQLException(SQLErro
浏览 7提问于2018-11-13得票数 0
我对星火和SparkR都是新手。我已经成功地安装了火花和SparkR。
当我试图用存储在HDFS中的csv文件建立Logistic回归模型时，我得到了“不正确的维度数”的错误。
我的守则是：
points <- cache(lapplyPartition(textFile(sc, "hdfs://localhost:54310/Henry/data.csv"), readPartition))
collect(points)
w <- runif(n=D, min = -1, max = 1)
cat("Initial w: ", w,
浏览 9提问于2014-09-26得票数 3
我的数据在PubSub中，我想流式传输数据。我使用dataproc在java.But中运行spark作业，作业失败，错误如下。 19/06/18 06:32:30接收器报告流0的WARN org.apache.spark.streaming.scheduler.ReceiverTracker:错误:无法在scala.collection.IterableLike$class.foreach(IterableLike.scala:72)处的scala.collection.AbstractIterable.foreach(Iterable.scala:54)处的scala.collection
浏览 11提问于2019-06-24得票数 3
1回答
import org.apache.spark.sql.functions.lit
val containsString = (haystack:String, needle:String) =>{
if (haystack.contains(needle)){
1
}
else{
0
}
}
val containsStringUDF = udf(containsString _)
val new_df = df.withColumn("nameContainsxyz", containsStri
浏览 6提问于2021-11-06得票数 0
回答已采纳
2回答
在EMR集群5.28.0上，从s3读取拼图文件失败，出现以下异常，而在EMR 5.18.0上，同样可以正常工作。下面是EMR 5.28.0上的堆栈跟踪。
我在spark-shell上也试过了
sqlContext.read.load(("s3://s3_file_path/*")
df.take(5)
但失败了，并出现了相同的异常：
Job aborted due to stage failure: Task 3 in stage 1.0 failed 4 times, most recent failure: Lost task 3.3 in stage 1.0 (TID
浏览 0提问于2019-12-08得票数 3
读/写操作是从火花外壳工作的。但是在本地从Development执行时抛出NULLPointer异常。
val df = spark.read
.format("singlestore")
.option("ddlEndpoint", "host:port")
.option("user", "xxxxx")
.option("password","xxxxx")
.option("database","xxxxx")
.
浏览 5提问于2022-04-13得票数 0
1回答
当我试图从csv文件创建的DF中编写avro文件时，我面临着一个NullPointerException：
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("SparkCsvToAvro")
.master("local")
.getOrCreate();
SQLContext context = new SQLContext(spark)
浏览 7提问于2017-05-09得票数 0
回答已采纳
2回答
我创建了一个简单的UDF来转换或提取spark中temptabl中的时间字段的一些值。我注册了该函数，但是当我使用sql调用该函数时，它抛出了一个NullPointerException。下面是我的函数和执行它的过程。我在用齐柏林飞艇。奇怪的是，昨天它还在工作，但今天早上它停止了工作。
函数
def convert( time:String ) : String = {
val sdf = new java.text.SimpleDateFormat("HH:mm")
val time1 = sdf.parse(time)
return sdf.format(tim
浏览 14提问于2016-07-28得票数 11
回答已采纳
我有拼图文件，假设文件名为abc/A。parquet和一些记录根据某些条件被过滤出来，并创建DF，我正在尝试用saveMode overwrite选项用结果过滤的DF覆盖文件，但抛出了以下异常：
用于覆盖filterDF.coalesce(1).write.mode("overwrite").parquet("file:/home/psub2/cls_parquet2/file:/home/psub7/abc/A.parquet")的命令
写入行时失败。在org.apache.spark.sql.execution.datasources.FileFormatW
浏览 16提问于2019-11-26得票数 0
回答已采纳
我正在尝试读取AWS S3中存在的拼图文件，并收到以下错误。
17/12/19 11:27:40 DEBUG DAGScheduler: ShuffleMapTask finished on 0
17/12/19 11:27:40 DEBUG DAGScheduler: submitStage(ResultStage 2)
17/12/19 11:27:40 DEBUG DAGScheduler: missing: List(ShuffleMapStage 1)
17/12/19 11:27:40 DEBUG DAGScheduler: submitStage(ShuffleMapStage
浏览 0提问于2017-12-19得票数 4
我有下面的方法，写卡桑德拉的时间，它保存数据很好。当我再次运行它时，有时它会抛出NullPointerException，不知道这里出了什么问题.你能帮帮我吗。
'
@throws(classOf[IOException])
def writeDfToCassandra(o_model_family:DataFrame , keyspace:String, columnFamilyName: String) = {
logger.info(s"writeDfToCassandra")
o_model_family.write.format(&#
浏览 0提问于2018-10-29得票数 0
回答已采纳
我的SMAR1.6代码在spark2.0中不起作用，我做了必要的更改，比如创建sparkr.session()而不是sparkr.init()，不传递sqlcontext参数等…
在下面的代码中，我将数据从两个文件夹加载到dataframe中。
read.df in spark1.6，工作于
sales <- read.df(sqlContext, path= "gs://dev.appspot.com/myData/2014/20*,gs://dev.appspot.com/myData/2015/20*", source = "com.databricks.s
浏览 3提问于2016-09-25得票数 4
3回答
我有一个scala对象文件，它在内部查询mysql表，进行连接并将数据写入s3，在本地测试我的代码--运行非常好。但是，当我将其提交到集群时，它会抛出以下错误：
线程"main“中的异常: java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply(JdbcUtils.scala:54) at org.apache.spark.sql.execution.datasources
浏览 6提问于2016-12-14得票数 0
1回答
我正在尝试将Spark RDD保存为gzipped文本文件(或多个文本文件)到S3存储桶中。S3存储桶挂载到dbfs。我正在尝试使用以下命令保存该文件：
rddDataset.saveAsTextFile("/mnt/mymount/myfolder/")
但是当我尝试这样做的时候，我一直收到错误：
org.apache.spark.SparkException: Job aborted due to stage failure: Task 32 in stage 18.0 failed 4 times, most recent failure: Lost task 32.3
浏览 8提问于2016-09-05得票数 0
回答已采纳
我有一个shell脚本，其中包含使用oozie操作运行的星火提交命令。
Oozie能够从shell脚本运行submit命令，但是作业在纱线中部署时失败了。
我们非常感谢你的帮助。
在NullPointerException下面抛出职务：
Exception in thread "main" java.lang.NullPointerException
at scala.collection.mutable.ArrayOps$ofRef$.length$extension(ArrayOps.scala:114)
at scala.collection.mutabl
浏览 5提问于2018-12-04得票数 2
回答已采纳
我有一个包含文件列表的文本文件。目前，我正在按顺序遍历我的文件列表
我的文件列表如下所示：
D:\Users\bramasam\Documents\sampleFile1.txt
D:\Users\Documents\sampleFile2.txt
并为每个文件执行以下代码，
val df = spark.read
.format("org.apache.spark.csv")
.option("header", false)
.option("inferSchema", false)
.option("delim
浏览 0提问于2018-05-24得票数 0
我有跟踪df -
+--------+----------+
| Id|prediction|
+--------+----------+
| 1| 0.0|
| 2| 0.0|
| 3| 1.0|
| 4| 1.0|
| 5| 0.0|
| 6| 0.0|
| 7| 0.0|
| 8| 0.0|
| 9| 0.0|
| 10| 0.0|
+----
浏览 1提问于2018-01-31得票数 0
回答已采纳
我有一个使用Scala的Spark应用程序，它执行一系列转换，然后将结果写到parquet文件中。
转换部分完成，没有问题，结果输出被正确地写入HDFS。该应用程序在30个节点的YARN集群上运行。
但是，Spark应用程序本身不会完成并退出纱线。它将保留在资源管理器中。
在挂起大约一个小时(消耗资源和vcore)之后，它要么结束，要么抛出一个错误并自行终止。
这是应用程序的错误日志。如果有人能对这件事有所了解，我将不胜感激。
16/08/24 14:51:12 INFO impl.ContainerManagementProtocolProxy: Opening proxy : phhdpd
浏览 0提问于2016-08-24得票数 0
3回答
我正在尝试从蜂箱中的db.abc中选择*，这个蜂窝表是使用spark加载的。
它不能工作，显示了一个错误：
错误: java.io.IOException: java.lang.IllegalArgumentException:超出范围的bucketId：-1 (state=，code=0)
当我使用以下属性时，我能够查询hive：
set hive.mapred.mode=nonstrict;
set hive.optimize.ppd=true;
set hive.optimize.index.filter=true;
set hive.tez.bucket.pruning=tru
浏览 3提问于2020-02-06得票数 4
回答已采纳
我有两个进程，每个进程做1)连接oracle数据库，读取一个特定的表，2)形成数据帧并处理它。3)将df保存到cassandra。
如果我并行运行这两个进程，则两个进程都尝试从oracle读取数据，而第二个进程读取数据时，我得到以下错误
ERROR ValsProcessor2: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
Exchange SinglePartition
+- *(1) HashAggregate(keys=[], functions=[partial_coun
浏览 0提问于2018-10-26得票数 12
回答已采纳
在使用TIDB通过Spark连接到mysql-connector-java 5.1.6 connector时获取以下错误。
请注意，我使用并行连接选项创建了jdbc连接，其中我们指定了列名、下限、上限和分区数。
Spark然后将其分解为(分区数目)查询，将列名的下限和上界划分为相同的大小。
java.sql.SQLException: other error: request outdated.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createS
浏览 2提问于2018-10-05得票数 0
回答已采纳
1回答
我试图写一个Spark作为ORC文件，它抛出以下错误。我去叫IndexOutOfBoundsException..。
日志：
Caused by: org.apache.spark.SparkException: Task failed while writing rows
at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.
浏览 0提问于2018-08-09得票数 0
下面是“学习火花:闪电-快速大数据分析”一书中的一个例子：
// custom partitioner
class DomainNamePartitioner(numParts: Int) extends Partitioner {
override def numPartitions: Int = numParts
override def getPartition(key: Any): Int = {
val domain = new URI(key.toString).getHost
val code = (domain.hashCode % numPartiti
浏览 3提问于2016-02-02得票数 1
回答已采纳
我有一个java项目，其中包含一个类MyFileLoader (除其他外)，它使用以下方法成功地从资源中加载了一个文件：
public static List<String> loadFile() {
Path path = System.class.getResource("/my/path/model.bin").getFile().toPath();
return Files.readAllLines(path, UTF_8);
}
然后做一些处理。
在scala中将这个项目/jar作为依赖项添加之后，我尝试访问MyFileLoader.loa
浏览 1提问于2015-08-26得票数 0
回答已采纳
2回答
我正在尝试从笔记本连接到MySQL实例.将mysql连接器加载到此位置- /usr/lib/spark/jars/mysql-connector-java-5.0.4-bin.jar。并在齐柏林飞艇翻译中添加了这件艺术品。
启动司机，
Class.forName("com.mysql.jdbc.Driver")
res77: Class_ = com.mysql.jdbc.Driver类
在这里使用Scala代码，
审判1，
val jdbcDF = spark.read.format("jdbc").options(
Map("url" -
浏览 7提问于2018-05-29得票数 3
回答已采纳
1回答
我有RDD，我想循环它。我确实喜欢这样：
pointsMap.foreach({ p =>
val pointsWithCoordinatesWithDistance = pointsMap.leftOuterJoin(xCoordinatesWithDistance)
pointsWithCoordinatesWithDistance.foreach(println)
println("---")
})
然而，NullPointerException正在发生：
java.lang.NullPointerException
at org.apache.
浏览 0提问于2014-10-27得票数 1
回答已采纳
我想获取数据行，这是插入到外部mysql数据库后每2分钟。我想做这件事与火花流。
但是在程序运行一次time.So后，我得到了这个错误，它第一次给了我数据，但在那之后，我得到了以下错误，程序终止了
我得到的错误是
16/08/02 11:15:44 INFO JdbcRDD: closed connection
16/08/02 11:15:44 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 620 bytes result sent to driver
16/08/02 11:15:44 INFO TaskSetManager:
浏览 16提问于2016-08-03得票数 1
我在pycharm终端中尝试了这个命令，以连接到mysql服务器。 $SPARK_HOME/bin/spark-submit –-jars /Users/akay_nation/Desktop/spark/jars/mysql-connector-java-8.0.19 abc.py 但是当运行这个命令时，我得到了这个错误： Exception in thread "main" org.apache.spark.SparkException: Cannot load main class from JAR file:/Users/akay_nation/PycharmProj
浏览 130提问于2020-04-06得票数 0
我在拼图文件上有一个按时间戳划分的hive表，并进行了快速转换。基本上路径看起来像这样： s3:/bucketname/project/flowtime=0/
s3:/bucketname/project/flowtime=1/
s3:/bucketname/project/flowtime=2/
... 考虑到这个表，我发现了一些不一致的地方。问题是，由于一个字段在某些拼图模式中提供LongType，而在另一个字段中提供字符串，因此运行查询会抛出ClassCastException。 所以我现在要做的就是读取我所有的拼图文件并检查它们的模式，这样我就可以重新创建它们了。我希望将我的文件名映
浏览 17提问于2019-03-22得票数 0
回答已采纳
2回答
我有以下代码： import org.jooq._
import org.jooq.impl._
import org.jooq.impl.DSL._
import java.sql.DriverManager
import org.apache.log4j.receivers.db.dialect.SQLDialect
val session = SparkSession.builder().getOrCreate()
var df1 = session.emptyDataFrame
var df2 =
浏览 15提问于2019-09-24得票数 2
2回答
我无法在scala中并行化一个列表，获取java.lang.NullPointerException
messages.foreachRDD( rdd => {
for(avroLine <- rdd){
val record = Injection.injection.invert(avroLine.getBytes).get
val field1Value = record.get("username")
val jsonStrings=Seq(record.toString())
浏览 4提问于2017-07-13得票数 0
我有一个使用Spark的任务，原始数据是：
+---------+---------+--------------------+--------+------------+---------+----------+--------------+
|InvoiceNo|StockCode| Description|Quantity| InvoiceDate|UnitPrice|CustomerID| Country|
+---------+---------+--------------------+--------+------------+---------+--
浏览 3提问于2021-12-02得票数 0
回答已采纳
我试图在Spark地图功能中使用斯坦福的LexicalizedParser。
算法大致如下：
val parser = LexicalizedParser.loadModel(englishPCFG.ser.gz)
val parserBroadcast = sparkContext.broadcast(parser) // using Kryo serializer here
someSparkRdd.map { case sentence: List[HasWord] =>
parserBroadcast.value.parse(sentence) //NPE is bei
浏览 5提问于2015-10-12得票数 1
回答已采纳
我使用Java 17和UDF在Windows 10上运行一个简单的Spark3.3.0管道。我几乎没有做什么有趣的事情，现在，当我只在3万张记录上运行管道时，我得到了以下信息：
[ERROR] Error in removing shuffle 2
java.lang.NullPointerException: Cannot invoke "org.apache.spark.ShuffleStatus.invalidateSerializedMapOutputStatusCache()" because "shuffleStatus" is null
浏览 11提问于2022-09-15得票数 0
回答已采纳
2回答
我有一个配置单元分区表txnaggr_rt_fact，它有2个列分区txninterval和intervaltype。我正在尝试使用java从spark sql插入一条记录到这个表中。在插入过程中抛出异常。如果分区不存在，因为它必须创建一个新分区，并且创建失败，但是如果分区已经存在，则插入记录。
Java代码如下所示
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.config("spark.sq
浏览 0提问于2018-08-20得票数 0
3回答
我有S3中的拼图数据，由nyc_date以s3://mybucket/mykey/nyc_date=Y-m-d/*.gz.parquet格式分区。
我有一个DateType列event_date，由于某种原因，当我尝试使用EMR从S3读取并写入hdfs时，会抛出这个错误。
from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.read.parquet('s3a://mybucket/mykey/')
df.
浏览 6提问于2016-12-14得票数 14
回答已采纳
1回答
我有一个火花批处理管道读取数据从卡夫卡与自定义反序列化。
val deviceRdd = KafkaUtils
.createRDD[String, Option[Activity]](spark.sparkContext, kafkaParams, offsetRanges, PreferConsistent)
.flatMap(_.value())
自定义反序列化器(反序列化为原型生成的类)
override def deserialize(topic: String, data: Array[Byte]): Option[Activity] = {
浏览 8提问于2022-06-15得票数 1
回答已采纳
我有以下非常基本的代码，可以从连接到在linux虚拟机器上运行的spark集群的windows机器上运行：
string sparkMaster = "spark://192.168.1.193:7077";
string hdfsURI = "hdfs://192.168.1.193:8020";
var sparkContext = new SparkContext(new SparkConf().SetAppName("MobiusWordCount").SetMaster(sparkMas
浏览 7提问于2016-05-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
