1回答
我希望我的用户在UI中运行Spark SQL查询，并查看查询的结果集。 在内部，.Net Rest API会将查询从UI传递到Databricks集群或notebook或odbc以运行查询。
浏览 12提问于2020-09-23得票数 1
回答已采纳
我已经创建了一个新的免费标准snowflake帐户"xxxxx“，我可以从Snowflake web UI访问默认的数据库、模式和表。并尝试从Spark连接到Snowflake .master("local[1]")
.appName("SparkByExamples.com，出现“权限不足，无法对架构'TPCH_SF1‘进行操作”错误
浏览 19提问于2020-02-24得票数 0
回答已采纳
我已经安装了Spark 3集群。我在SQL server中有一些数据，其大小约为100 GB。我必须对星团中的数据执行不同的查询。我已经通过JDBC从Spark连接到SQL服务器，并运行了一个示例查询。现在，我不想在SQL服务器上执行查询，而是在将数据移动/复制到Spark集群之后运行查询(因为SQL server花费
浏览 6提问于2022-01-06得票数 0
最近我开始使用Spark SQL。我读了数据源Api，仍然不明白Spark SQL的作用是什么。真的愿意接受任何答案。
诚挚的问候。
浏览 0提问于2018-01-16得票数 1
1回答
当我去查询蜂箱时，它会显示所有的数据库，但是当我从spark查询时，它只显示默认的数据库。spark = SparkSession \ .appName("Python Spark SQL Hive integration example") \.config("hive.metastore.uris&q
浏览 6提问于2021-08-20得票数 1
我有一个运行在https:azuredatabricks.net中的Spark2.3.1集群，我创建了一个带有永久表的数据库，并且能够通过Notebook web接口运行查询。现在，我正在寻找一种从.Net控制台应用程序中查询同一个集群的方法，结果我迷路了。
1.是否有Rest可用于执行SQL/查询？最后，我正在寻找一种方法，使用户能够通过使用JavaScript或.Net</em
浏览 1提问于2018-10-22得票数 4
回答已采纳
情况:我正在生成一个增量文件夹，其中包含来自以前的流查询A的数据，稍后从另一个DF读取数据，如下所示1 --当我试图以这种方式从相同的程序读取它时，在后续的readStream (链接对ETL管道的查询2 -当我在sca
浏览 2提问于2019-12-28得票数 0
到目前为止，我已经能够使用spark SQL连接并运行Mysql数据库查询，使用Mysql JDBC驱动程序将其注册为spark Data frame。可以从Spark SQL连接到TeraData并在其上运行查询吗？
浏览 0提问于2015-05-04得票数 1
2回答
我有一个星星团和一个vertica数据库。我使用若要将Spark数据文件加载到群集，请执行以下操作。:2546) at org.apache.spark.sql.Dataset.org$ap
浏览 4提问于2016-11-09得票数 5
回答已采纳
我正在寻找如何从Scala Spark读取Azure Synapse表，但没有成功。我在其他带有Spark的Azure数据库的连接器中找到了，但在新的Azure Data Warehouse中没有。
浏览 1提问于2020-03-23得票数 0
我正在尝试将数据库中的spark.sql查询的结果导出到Azure Data ADLS中的一个文件夹中base = spark.read.csv("adl://carlslake.azuredatalakestore.net/landing= spark.sql("sel
浏览 0提问于2019-01-05得票数 1
回答已采纳
我使用以下代码连接到Databricks集群。但是得到了thrift.transport.TTransport.TTransportException: TSocket read 0 bytes。我认为create_engine中的my_url有一些错误。alex_db.sams_us_clubs_sams_member_index LIMIT 5')
浏览 11提问于2019-02-23得票数 0
1回答
我想运行一个从spark到Snowflake的查询，方法如下:-因此，我想知道在创建sparksession本身时，我可以在哪里指定以下snowflake"sfSchema" -> "public",) def snowfla
浏览 6提问于2020-03-09得票数 1
1回答
我想使用在Azure SQL托管实例中的DB上执行SQL查询。我用火花连接器连接到DB。val config = Config(Map( "databaseName" -我的问题是Databricks如何处理这里的查询？
下面是文档:火花主节点连接到SQL数据库或Server中的数据
浏览 1提问于2020-07-10得票数 1
我已经开发了一个hive查询，它使用横向视图和get_json_object来解压一些json。使用jdbc客户端(dbvisualizer)对hive数据库执行查询已经足够好了，但是当在java应用程序中作为spark sql在相同的数据上运行时，它什么也不会返回。},'$.product_offer.productName') ) 当在
浏览 51提问于2019-09-03得票数 0
有没有人幸运地从Azure Synapse Analytics提供的火花池连接到Azure SQL数据库？我已经将Spark 上传为一个工作区库，并链接到Spark。安装这会导致在尝试启动Spark会话时出错。我犯了个错误。Cleaning up the Spark service job because the cluster has failed.
编辑:这实际上工作在另一个火花池，没有任何理由。我不知道根本原因，但我可以在另一个泳池运行</em
浏览 9提问于2021-03-12得票数 0
回答已采纳
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。我这样假设是对的吗？
浏览 3提问于2021-08-16得票数 3
回答已采纳
1回答
from pyspark.sql import SparkSession
.master('yarn') \ .config('spark.jars', 'gs://spark-lib/bigquery/spark-bigquery-
浏览 7提问于2021-07-02得票数 0
我已经在一个干净的ubuntu实例上安装了spark 2.4.0。Spark数据帧工作得很好，但是当我尝试对数据帧使用spark.sql时，比如在下面的例子中，我得到了一个错误“无法访问metastore。这个类不应该在运行时被访问”。.createOrReplaceTempView("some_
浏览 176提问于2018-12-17得票数 3
回答已采纳
我有一个简单的Scala代码，它从Hive数据库检索数据并从结果集创建一个RDD。它可以很好地与HiveContext配合使用。代码如下所示：val mySql = "select PRODUCT_CODE, DATA_UNIT from account"val rdd = hc.sql(mySql).rdd
我使用的Spark版本是1.3。不幸的是，我不能强迫它使用&qu
浏览 7提问于2016-06-22得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
