我正在尝试使用变量将记录插入到表中，但失败了。val query = "INSERT into TABLE Feed_metadata_s2 values ('LOGS','RUN_DATE',{} )".format(s"$RUN_DATE")at org.apache.spark.sql.catalyst.parser.AbstractS
浏览 36提问于2021-04-26得票数 0
回答已采纳
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。insert into output_table(fieldx, fieldy, fieldz) select cola, colb, colc from input_table
Spar
浏览 1提问于2019-01-09得票数 4
回答已采纳
我下载了Hadoop2.4的预构建spark 1.2.1。然后，我尝试使用./bin/ spark -shell启动spark shell，并收到以下错误消息：
在/Users/XXXX/Software Libraries/Java Libraries/General/spark-1.2.1-bin-hadoop2.4/lib中找不到Spark程序集，您需要在运
浏览 0提问于2015-03-12得票数 2
我使用了以下步骤在Windows中使用独立模式集群配置spark，
步骤2:将星星之火-1.3.1-bin-h
浏览 1提问于2015-04-22得票数 4
当我们启动pyspark (spark 2.4)时，它附带了一个spark变量调用下划线功能。因此，如果"spark“已经可用，那么何时调用和使用SparkSession和SparkContext方法。
浏览 3提问于2019-02-05得票数 0
我使用的是macOS，但使用Spark2.4.x并不成功；它们都无法连接，通常会产生一个"Failed to connect to sparklyr to port 8880...“错误。我终于用Spark 2.3.0解决了问题。但是，如果我尝试安装2.3.3，我得到一个错误： > spark_install("2.3.3")
Error in spark_install_find(version, hadoop_v
浏览 15提问于2019-05-17得票数 0
回答已采纳
但是，我无法通过在内核文件中的以下位置使用PYTHONPATH变量在pySpark内核中导入包：导入时“没有命名为
浏览 9提问于2017-07-06得票数 1
回答已采纳
1回答
我试图使用insert overwrite语句将数据插入到表中，但出现以下错误。org.apache.spark.sql.AnalysisException: Cannot overwrite a path that is also being read from.; 命令如下 spark.sql("INSERT OVERWRITE TABLE edm_hive SELECT run_number+1 from edm_hive") 我正在尝试使用临时表，存储结果，然后在最终的表中更新
浏览 646提问于2021-04-23得票数 0
2回答
大师必须从纱线开始，火花
、、、
beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-ha
浏览 6提问于2015-10-15得票数 3
回答已采纳
1回答
我试图读取一个阿夫罗文件使用木星笔记本在Azure HDInsight 4.0与Spark2.4。我无法正确地提供.jar文件{ "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:4.0.0" }} pyspark.sql.ut
浏览 3提问于2019-10-25得票数 3
回答已采纳
1回答
使用火花-提交，我可以使用：使用本地笔记本，我可以使用-spark2.4-s_2.11'))
但是如何在EMR笔记本上做同样的事情呢？，我可以使用引导程序在每个节点上安装它。但我不
浏览 3提问于2019-12-17得票数 4
1回答
正如所解释的，我在Windows上安装了一个本地spark 1.5.2 (Hadoop2.4)。
我在"E:/installprogram/spark-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.jar“中复制了这个库编辑星星之火-env.sh并添加SPARK
浏览 5提问于2015-12-29得票数 1
回答已采纳
我正在使用spark structured从kafka读取数据。val readStreamDF = spark .format("kafka") .sel
浏览 1提问于2019-08-02得票数 0
我使用Spark将2100万条记录插入到Cassandra表中。spark作业大约需要一个小时，并成功插入所有记录，但在最后阶段(62/63)挂起。我的Spark属性：spark.executor.cores 1spark.executor.memory4g
将<e
浏览 1提问于2018-06-23得票数 0
有人能告诉我在甲骨文中插入哪一种方式更有表现力吗？
Write.format('jdbc')模式还是使用CX_Oracle？在我的项目中，我遇到了一种情况，他们使用write.format('jdbc')插入和CX_Oracle进行更新，所以我想更改为插入和更新同一个CX_Oracle连接，您认为呢？
浏览 7提问于2021-12-15得票数 1
我使用星星之火与Scala2.4。spark.sqlContext.sql("set spark.sql.caseSensitive=false")我使用的是不同的
浏览 0提问于2020-08-01得票数 1
回答已采纳
是否可以使用已知的模式保存一个空的DataFrame，以便将该模式写入该文件，即使该文件没有任何记录？def example(spark: SparkSession, path: String, schema: StructType) = { val dataframeWriter = dataframe.write.mode(Save
浏览 2提问于2018-04-14得票数 5
3回答
home/jessica/.m2/repository/graphframes/graphframes/0.7.0-spark2.4-s_2.11/graphframes-0.7.0-spark2.4-graphframes/0.7.0-spark2.4-s_2.11/graphframes-0.7.0-spark2.4-s_2.11-src.jar (java.
浏览 7提问于2019-10-24得票数 3
回答已采纳
3回答
我使用ApacheSpark2.4使用Databricks测试了下面的查询：create temporary view temp_view_t不可能插入spark中的临时表吗？如何在spark sql中创建临时数据？
谢谢。
浏览 2提问于2020-03-30得票数 4
回答已采纳
1回答
我使用的是星火3.2.1的集群。我还安装了1.8.0_341，但这并没有什么区别。 97 ---> 99 spark.withRasterFrames44 spark_session.rasterframes = RFContext(spark_session)
45
浏览 15提问于2022-07-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
