如何在PySpark中运行.sql文件

文章/答案/技术大牛

发布

1回答

在PySpark中是否有一种使用黑斑羚而不是蜂巢的方法？

pyspark、hive、impala、hue

我正在创建一个简单的PySpark文件，如：from pyspark.sql import SQLContextsconf = SparkConf()sqlContext = HiveContext(sc) sqlContext.sql当我运行这个脚本时，查询会得到我在Hive

浏览 1提问于2020-03-25得票数 0

回答已采纳

1回答

使用套接字的火花结构化流，设置模式，在控制台中显示DATAFRAME

apache-spark、pyspark、apache-spark-sql、spark-structured-streaming

如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsimport splitfrom pyspark.sql.types import * spa

浏览 3提问于2016-12-29得票数 3

回答已采纳

2回答

无法导入模块'lambda_function'：没有名为'pyspark‘的模块

python-3.x、pyspark、aws-lambda

我正在尝试使用AWS Lambda函数运行我的PySpark作业代码。下面是错误:无法导入模块'lambda_function'：没有名为'pyspark‘的模块from pyspark.<

浏览 0提问于2018-12-11得票数 0

2回答

将数据保存到HDFS的格式是什么？

hadoop、apache-spark、hdfs、apache-spark-sql

在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？

浏览 2提问于2017-12-21得票数 1

2回答

在我的Linux终端上运行一个脚本来初始化PySpark外壳(SparkVersion2.4.4)

linux、shell、apache-spark、terminal、pyspark

我在我的Linux计算机上使用PySpark。我的火花版本是2.4.4。sqlContext = SQLContext(sc) ( a)在我的终端中<

浏览 2提问于2019-10-18得票数 0

回答已采纳

1回答

如何使用python在spark中加载sql文件

python、apache-spark、pyspark

我的pySpark版本是2.4，python版本是2.7。我有多行sql文件，需要在spark中运行。与逐行运行不同的是，是否可以将sql文件保存在python (初始化spark)中，并使用submit执行它？我正在尝试用python编写一个通用脚本，以便以后只需要从hdfs文件夹中替换sql文件。import sys from pyspark

浏览 8提问于2022-02-10得票数 -3

6回答

如何在PySpark中运行脚本

apache-spark、pyspark

我正试图在pyspark环境中运行一个脚本，但到目前为止，我还没有能够运行。我怎样才能运行像python script.py这样的脚本？

浏览 15提问于2016-10-13得票数 47

回答已采纳

1回答

Pyspark Shell中的HiveMetaStore错误，但Jupyter Notebook中没有

python、hive、pyspark、pyspark-sql

当我尝试使用pyspark dataframe或sql时，我遇到了一件奇怪的事情。当它在ipython笔记本或python控制台中工作时，当我在pyspark shell中运行它时，我得到了"javax.jdo.JDOFatalInternalException: Error creating简而言之，如果我在iPython笔记本或简单的python终端中运行以下命令，一切都会正常工作： import findspark findspark.init(&quo

浏览 35提问于2019-05-13得票数 0

回答已采纳

2回答

Spark zeppelin:如何在%pyspark解释器中获取%sql结果？

apache-spark、pyspark、apache-spark-sql、apache-zeppelin

我知道我可以用 %pyspark df = sqlContext.sql('select * from train_table') 我可以使用df.registerTempTable('xxx')使df在%sql中可访问。但是有时候我想用%sql来画图。移到df = sqlContext.sql(sql)中，重新计算。我想知道有什么方法可以在%pyspark中访问%sq

浏览 30提问于2019-02-15得票数 0

1回答

从spark调用.hql文件

scala、apache-spark、hive、pyspark、hiveql

我试图像下面这样运行hql文件，但是得到了错误noviablealtexception你能帮忙吗，怎么运行？现在，我将检查的下一个级别是，如果.hqls中定义了hiveconf，那么如何在sqlContext中传递

浏览 1提问于2018-05-22得票数 1

1回答

皮林特用火花放电抛出错误警告

pyspark、pylint

但是当我把它应用到我的代码中时，我得到了警告："drop_duplicates是不可调用的“。如果我将代码从"drop_duplicates“更改为"dropDuplicates"，则警告将消失。如何在不改变整个代码的情况下修复它？我认为drop_duplicates更像蟒蛇风格。我试着添加火花放电存根，但它确实有帮助。

浏览 5提问于2019-11-18得票数 2

1回答

在VS代码中调试PySpark

apache-spark、visual-studio-code、pyspark

我正在使用VS代码在PySpark中构建一个项目。我安装了PySpark，PySpark被正确导入并运行在木星笔记本上。这样做，我就跑：findspark.init() from pyspark.context import SparkContextsc = SparkConte

浏览 2提问于2022-07-20得票数 0

2回答

为什么exp函数在火花放电中不起作用？

pyspark、apache-spark-sql、pyspark-sql、exp

我试图从logistic回归的系数中计算赔率比，但我遇到了一个问题，这个问题最好用下面的代码来概括：F.exp(1.2)整数类似地失败。

浏览 3提问于2020-03-17得票数 0

回答已采纳

4回答

Python导入语法:我不认识这个(“它错了.”)

python、pyspark

PySpark的文档在示例中包括以下内容：from pyspark.sql.functions import *from datetime import date, timedelta, datetime 我不认识或理解最后两行的语法。(具体来说：import *from.)请有人向我解释一下，并指出它的文件</em

浏览 5提问于2022-06-15得票数 0

回答已采纳

1回答

sql、apache-spark、pyspark、apache-spark-sql

我能够使用PySpark运行单个SQL查询。例如 spark = SparkSession.builder.appNmae("___").getOrCreate() df = spark.sql("select * from ...")但是我有一个.sql文件，里面有很多我想要运行的查询。我是必须一次一个地执行它们，还是有一种简单的方法来运行所有它们？示例: table1中的3行3列和table

浏览 37提问于2020-12-11得票数 0

回答已采纳

1回答

Pyspark:从表中读取数据并写入文件

python、apache-spark、pyspark、azure-hdinsight

我正在使用HDInsight spark集群来运行我的Pyspark代码。我尝试从postgres表中读取数据，并将其写入如下所示的文件中。所以我无法将DataFrame写到文件中。为什么"spark.read“返回DataFrameReader。这里我漏掉了什么？from pyspark.sql.types import * from pyspark.sql import SparkSe

浏览 40提问于2020-04-24得票数 0

回答已采纳

3回答

为什么当我使用IPython运行Pyspark时总是得到错误env: ipython:没有这样的文件或目录

apache-spark、machine-learning

我想用IPython运行Pyspark终端。我已经在正确的目录中运行了该命令，如但我最终得到的是env: ipython: No such file or directory 我已经使用brew cask ins

浏览 6提问于2016-01-28得票数 2

回答已采纳

2回答

AssertionError: col应该是列

python、apache-spark、pyspark、apache-spark-sql

如何在PySpark中创建一个新列并用今天的日期填充该列？

浏览 4提问于2017-12-20得票数 30

回答已采纳

1回答

在Palantir Foundry的代码工作簿中如何分配执行者？

palantir-foundry、foundry-code-workbooks

如果我在工作簿A中运行一个计算成本很高的pyspark转换，并试图在工作簿B中运行某些内容，则这两个队列都将永久排队，直到工作簿A中的构建停止，然后工作簿B中的生成立即运行，就好像它在等待工作簿A中的构建

浏览 5提问于2022-03-24得票数 0

回答已采纳

1回答

如何从synapse数据库表中读取表

pyspark、apache-spark-sql、azure-synapse

但我不明白如何使用Pyspark来读取这些表。这是我的链接服务数据结构。 

浏览 5提问于2022-08-26得票数 0

点击加载更多

在PySpark中是否有一种使用黑斑羚而不是蜂巢的方法？

使用套接字的火花结构化流，设置模式，在控制台中显示DATAFRAME

无法导入模块'lambda_function'：没有名为'pyspark‘的模块

将数据保存到HDFS的格式是什么？

在我的Linux终端上运行一个脚本来初始化PySpark外壳(SparkVersion2.4.4)

如何使用python在spark中加载sql文件

如何在PySpark中运行脚本

Pyspark Shell中的HiveMetaStore错误，但Jupyter Notebook中没有

Spark zeppelin:如何在%pyspark解释器中获取%sql结果？

从spark调用.hql文件

皮林特用火花放电抛出错误警告

在VS代码中调试PySpark

为什么exp函数在火花放电中不起作用？

Python导入语法:我不认识这个(“它错了.”)