腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在停止上下文后强制
关闭
与
mysql
的
Spark
Hive metastore
连接
?
、
、
、
我使用
Spark
来查询配置单元,然后进行转换。我的Scala应用创建了多个
Spark
应用。只有在
关闭
前一个
spark
应用的SparkSession和
Spark
上下文后,才会创建新的
Spark
应用。但是,在停止sc和
spark
时,不知何故,与Hive Metastore (
Mysql
)的
连接
未正确销毁。对于每个,
Spark
App我可以看到大约5个
Mysql
连接
被创建(旧的
连
浏览 23
提问于2017-08-15
得票数 0
1
回答
如何从jdbc
连接
创建
spark
数据库
我使用的是
spark
,我想创建查询来
连接
数据库
中的不同表。url "jdbc:
mysql
://XXX.XXX.XXX.XXX/mydatabase", dbtable "mydatabase.mytable13.91 seconds, Fetched 1 row(s) 我需要的是使用或创建我的
数据库
,使用jdbc
连接</em
浏览 3
提问于2022-03-24
得票数 0
回答已采纳
1
回答
关闭
Spark
中的
MYSQL
JDBC
连接
、
、
、
、
我正在通过JDBC将数据从
MYSQL
服务器加载到
Spark
,但我需要在加载数据后
关闭
该
连接
。
关闭
连接
的确切语法是什么?df_
mysql
= sqlContext.read.format("jdbc").options( driver="com.
mysql
.jdbc.Driver
浏览 13
提问于2016-09-17
得票数 1
4
回答
可以从
Spark
SQL
连接
到TeraData并在其上运行查询吗?
、
、
到目前为止,我已经能够使用
spark
SQL
连接
并运行
Mysql
数据库
查询,使用
Mysql
JDBC驱动程序将其注册为
spark
Data frame。可以从
Spark
SQL
连接
到TeraData并在其上运行查询吗?
浏览 0
提问于2015-05-04
得票数 1
1
回答
使用
Spark
或Flink将基于Kafka事件的数据转换为关系星型模式
、
、
、
、
我正在为一个使用
MySQL
作为其数据存储的应用程序构建分析功能。我们有一个基于微服务的架构,也使用Kafka。我们的用例并不真正需要“实时”分析,但这可能会在以后添加。对于卷和用例,我不认为需要基于Hadoop的系统,但Kafka Connect,
Spark
和Flink是可能的。我打算构建一个基于星型模式的报告
数据库
,独立于主生产
数据库
,由维度和事实表组成,并允许Tableau报告这一点。可以编写代码来检查每个事件,然后更新事实表,但是考虑到我可能会在事实表中的数据桶上使用15到30分钟的窗口,有没有办法使用Flink、<
浏览 0
提问于2018-03-23
得票数 3
1
回答
如何加入来自
mysql
和Oracle的SparkSQL数据?
、
在SparkSQL中可以加入
mysql
和Oracle
数据库
中的数据吗?我试图加入他们,但在
SPARK
_CLASSPATH中设置多个jars (用于
mysql
和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码:import sys sys.path.append("/h
浏览 2
提问于2015-12-30
得票数 1
1
回答
如何在
Spark
-streaming中
连接
MySQL
数据库
?
、
在JdbcRDD和DataFrames的情况下,我可以
连接
Mysql
数据库
。但是,如何在
Spark
-streaming中
连接
MySQL
数据库
呢? 谢谢。
浏览 0
提问于2016-06-07
得票数 0
2
回答
如何从
spark
.read
关闭
db
连接
?
、
、
我可以像这样从星火中的
数据库
中选择数据:format("jdbc").option("password", "<password>"). option("dbtable", "<your t
浏览 6
提问于2022-06-29
得票数 1
回答已采纳
1
回答
火花jdbc重用
连接
、
、
在
spark
应用程序中,我使用以下代码使用JDBC驱动程序从sql服务器
数据库
检索数据。在以独立模式运行应用程序时,我看到
spark
为每个rdd.From创建了唯一的
连接
-- Api描述,我理解
spark
负责
关闭
连接
。我是否可以知道是否有一种方法来重用
连接
,而不是为每个rdd分区打开和
关闭
jdbc
连接
? 谢谢
浏览 3
提问于2016-10-12
得票数 2
2
回答
如何从主机接入
MySQL
Docker镜像?
、
我正在运行
MySQL
Docker镜像并创建
数据库
和表。使用以下命令加载容器:
Spark
在我的主机上运行,所以我想将
Spark
中的数据写入容器中运行的
数据库
中。但是
连接
没有成功,我得到了一个异常: com
浏览 1
提问于2019-12-11
得票数 1
4
回答
如何使用php和外部文件
连接
到
MySQL
并控制
数据库
的打开和
关闭
、
我想
连接
到一个
数据库
,但我想使用一个外部文件,这将有
数据库
设置,并
连接
到服务器和
数据库
。当在PHP文件中执行此操作时,这很容易,我设置了所有内容,调用:
mysql
_connect()方法,然后调用:
mysql
_select_db()方法,做我需要做的任何事情并
关闭
连接
。我想问的是,如果我将所有设置以及connect和select_db方法放在一个外部帮助程序文件中,并且只想包括它,我该如何
关闭
连接
?
浏览 3
提问于2011-11-17
得票数 0
2
回答
在IDEA中在Hive项目上运行
Spark
时创建事务性
连接
工厂时出错
、
、
、
在星火外壳中,一切看起来都很好,我可以使用DataFrame.write.insertInto(“测试表”)通过
Spark
1.5将数据存储到Hive中的默认
数据库
中。但是,在IDEA中创建scala项目并使用相同设置的集群运行它时,在
mysql
中假设为"metastore_db“的亚稳态
数据库
中创建事务
连接
工厂时会引发错误。warehouse</value><property> <name>java
浏览 5
提问于2015-09-23
得票数 6
回答已采纳
2
回答
java中的
MySQL
数据库
,
连接
太多
、
、
、
我目前正在用java编写一个程序,我经常使用JDBC驱动程序从
MySQL
数据库
中获取数据。起初,我试图在每次运行程序来测试它时
关闭
连接
,但它在那一行给出了一个错误。Visual Studio中的另一个相关应用程序每次运行时都会重新构建
数据库
,所以我认为这不是问题。我在我的java编辑器Netbeans中删除了
数据库
,并重新导入了它,但这也没有解决问题。
浏览 0
提问于2014-04-16
得票数 1
1
回答
使用PySpark
连接
Mysql
,但返回“要求失败:驱动程序无法打开JDBC
连接
”
、
、
、
我尝试使用
Spark
连接
到
MySQL
数据库
,如下所示: dataframe_
mysql
=
spark
.read.format('jdbc').options( d
浏览 11
提问于2022-06-27
得票数 0
回答已采纳
2
回答
尝试从phpMyAdmin中删除
数据库
,但失败。现在我不能用它做任何事
、
、
我写了一个与我的
数据库
交互的java应用程序,但它出现了问题。我不得不删除
数据库
,因为我的应用程序做了太多错误的更改。我很小心,在运行程序之前备份了我的
数据库
,所以我继续删除整个
数据库
,打算恢复到原来的
数据库
。我使用phpMyAdmin删除了有问题的
数据库
,但20分钟后似乎什么都没有发生,所以我强制
关闭
浏览器并重新加载PMA。意想不到的是,我想要删除的
数据库
仍然显示在PMA的
数据库
列表中,但当我尝试访问它时,浏览器变成空白并挂起。现在
浏览 23
提问于2012-04-16
得票数 0
回答已采纳
1
回答
PySpark:如何通过JDBC
连接
使用
MySQL
函数?
、
我在
MySQL
数据库
中使用此查询 select *, SUBSTRING(input_date, 1, 19),现在我需要使用PySpark并通过JDBC
连接
访问该表来做同样的事情,但是当我尝试时,我得到了以下错误 Py4JJavaError: An error occurred while calling o62.sql. : org.apache.
spark
.sql.AnalysisException: Undefined function:
浏览 68
提问于2019-09-20
得票数 0
回答已采纳
1
回答
如何在读取JDBC
连接
时使用谓词?
、
、
、
默认情况下,
spark
_read_jdbc()将整个
数据库
表读入
Spark
。我使用了以下语法来创建这些
连接
。<- "
mysql
-connector-java-5.1.43/
mysql
-connector-java-5.1.43-bin.jar" name = "table_name",
浏览 2
提问于2017-08-01
得票数 5
回答已采纳
1
回答
火花源三角洲-湖泊次生砂岩
、
、
在相同的jupyter会话中使用"
spark
.sql.warehouse.dir“(无
数据库
)可以工作。但是在jupyter中重新启动内核后,目录
数据库
和表不再被识别。谢谢,克里斯蒂安 SparkSession.builder .config("
spark
.jars.packages"") "
spark<
浏览 1
提问于2021-09-17
得票数 3
1
回答
SparkSQL
连接
问题
、
、
我有一个火花作业,它将从CSV文件中的数据加载到
MySQL
数据库
中。这将不会为每个插入打开一个
连接
。
浏览 1
提问于2018-07-24
得票数 1
回答已采纳
1
回答
在创建sqlalchemy会话时,当
mysql
中的会话
关闭
时
、
、
我仍然有会话休眠,尽管在创建会话之后,我使用session.close()和session.remove()
关闭
了它。但是
mysql
会话处于睡眠状态,在随机的时间之后
关闭
它们自己。我想知道: 为什么
关闭
()和删除()不能工作
浏览 9
提问于2022-08-08
得票数 -1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python连接mysql数据库
PyCharm连接MySql数据库
JSP连接mysql数据库
MySQL数据库连接与创建
JDBC连接MYSQL数据库教程
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券