我使用have安装了一个正在运行的spark集群，我可以通过beeline.Hive服务器在本地通过org.apache.spark.sql.hive.HiveContext运行SQL查询。但我想知道如何通过jdbc从远程计算机连接到此配置单元转移存储，而无需在此远程系统中重新安装配置单元。
请建议具体需要什么驱动程序，以及任何jdbc客户端应用程序，如Squir
浏览 0提问于2016-03-04得票数 0
我正在尝试在AzureSQL上设置带有外部蜂窝转移存储的azure数据库。在进行设置时，我创建了Azure SQL。现在我必须运行一个MSFT给定的sql ，它有表和索引创建sql。当我运行它时，它能够创建新的表，但创建索引失败。我拥有对数据库的完全访问权限。可能是缺少了一些奖励。还有为什么MSFT或Databrick有如此漫长的过程？或者是否有更好的方法来外部化metedata.Please帮助。
浏览 0提问于2021-08-09得票数 0
我在外部mysql中使用hive metastore创建了我的metastore。我的表元数据在外部mysql中。我想将它连接到我的spark并使用元数据创建dataframe，以便使用此元数据填充所有列信息。
我该怎么做呢？
浏览 2提问于2019-09-18得票数 0
3回答
我在本地运行spark，希望访问位于远程Hadoop集群中的Hive表。[ml@master spark-2.0.0]$.SLF4J: Found binding in [jar:file:/home/ml/spark/spark-2.0.0/jars/slf4j-log4j12-1.7.16.jar!:10000
16/10/12 19:06:39
浏览 4提问于2016-10-12得票数 15
回答已采纳
我有一个使用jdbc连接运行多个配置单元查询的java应用程序。我是否可以在不使用/没有hive的情况下，在与jdbc连接的spark sql上运行相同的查询。我现在的查询就像创建表，进行简单的聚合和连接，不会发生重大的转换。我没有任何UDF。
浏览 14提问于2018-02-16得票数 0
回答已采纳
我正在尝试使用Spark SQL从Hive元存储中读取一个表，但Spark给出了一个关于表未找到的错误。我担心Spark SQL会创建一个全新的空转储。我通过以下命令提交spark任务：
spark-submit --class etl.EIServerSpark --driver-class-path '/opt/cloudera/parcels/CDHHMSHan
浏览 6提问于2015-07-01得票数 4
我们想使用apache spark进行实时分析吗？我们目前使用hive/MR进行数据处理，使用mysqlsql存储聚合结果，并使用jasper报告进行分析？我们正在探索在hdfs或cassandra上运行apache spark的过程中，唯一的问题是spark是否有办法与jasper服务器集成？如果不是，还有什么UI选项可以与spark一起使用？
浏览 1提问于2015-02-21得票数 2
我想知道Spark Dataframe保存是否有任何功能，即当它将数据写入Impala表时，它也会创建该表，而该表之前不是在Impala中创建的。例如，代码：如果表不存在我期待着您的建议/想法。
致以敬意，弗洛林
浏览 0提问于2018-06-22得票数 0
1回答
我正在尝试使用用户名/密码/jdbc url查询PySpark中的远程配置单元元存储区。我可以很好地初始化SparkSession，但无法实际查询表。from pyspark.sql import SparkSession
url = f"jdbc:hive2://{jdbcHostname}:{jdbcPort}/{jdbcDatabase}"driver =
浏览 14提问于2020-09-28得票数 0
我已经在一个干净的ubuntu实例上安装了spark 2.4.0。Spark数据帧工作得很好，但是当我尝试对数据帧使用spark.sql时，比如在下面的例子中，我得到了一个错误“无法访问metastore。这个类不应该在运行时被访问”。.createOrReplaceTempView(&q
浏览 176提问于2018-12-17得票数 3
回答已采纳
1回答
我在AWS EMR集群上运行spark 2.1.0 (基于以下-)import osfindspark.init('/usr/lib/spark/')
from pyspark.sql</
浏览 6提问于2017-04-24得票数 1
我是spark的新用户。我正在使用putty的基于远程linux操作系统的pc上工作。出于工作目的，我在spark中创建了一个配置单元表，这样当我重新进入我的linux并创建一个表时，我可以通过it.after操作我的putty会话中的sql查询。JDBC url = jdbc:derby:;databaseName=metas
浏览 0提问于2016-08-08得票数 0
2回答
我正在运行一个Spark应用程序，它通过Spark SQL运行两个单独的配置单元选择查询，然后将每个查询的结果写入数据库。注意，我需要做一个DB upsert，所以不能使用内置的Spark JDBC。到目前为止，代码是这样的：res2 =
浏览 0提问于2020-04-22得票数 0
我一直在尝试使用sqlContext.read.format("jdbc").options(driver="org.apache.hive.jdbc.HiveDriver")将蜂窝表放入Spark，但没有任何成功我做了以下的研究和阅读：
我想通过pyspark做的事情非常简
浏览 0提问于2018-01-04得票数 22
我已经创建了一个启动spark (local[*])的java应用程序，并利用它将csv文件作为Dataset<Row>读取，并使用createOrReplaceTempView创建一个临时视图。此时，我可以利用SQL来查询应用程序中的视图。有什么提示吗？
提前感谢
浏览 2提问于2017-10-24得票数 1
Spark用于从SQL server DB中获取表的模式。由于数据类型不匹配，我在使用此模式创建配置单元表时遇到问题。如何在Spark Scala中将SQL Server数据类型转换为Hive数据类型。val df = sqlContext.read.format("jdbc")
.option("url", "jdbc:sqlserver://
浏览 48提问于2019-07-19得票数 1
Aggregation或Join不会从外部表的配置单元查询中返回任何结果。 我已经将配置单元设置为使用Spark (独立)作为查询引擎，而不是使用MR.。有了SELECT，一切都好，数据返回： SELECT * FROM table1 LIMIT 100 尝试使用简单的count no data return： SELECT count(*) FROMtable1 我使用<
浏览 15提问于2019-06-10得票数 1
1回答
我安装了本地hadoop单节点和配置单元，并将一些配置单元表存储在hdfs中。然后，我使用MySQL元存储区配置配置单元。现在我安装了spark，我正在对hive表进行一些查询，就像这样(在scala中)：result = hiveContext.<em
浏览 2提问于2016-04-04得票数 2
2回答
下面是我编写的代码，用于连接到关系数据库管理系统，然后创建临时表，在该临时表上执行SQL query，通过databricks模块将SQL查询输出保存为.csv格式。= sqlContext.read.format("jdbc").option("url","jdbc:sqlserver://<server>:<port>").option("databaseName&quo
浏览 30提问于2017-12-22得票数 0
回答已采纳
我需要从spark在远程配置单元服务器上执行配置单元查询，但由于某些原因，我只收到列名(没有数据)。表中的数据可用，我通过色调和java jdbc连接检查了它。下面是我的代码示例： .option("url", "jdbc:hive2://remote.hive.server:10000/
浏览 2提问于2017-06-08得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
