腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我必须遵守
pyspark
sql中的命令顺序吗?
、
我正在学习
pyspark
sql,我不确定函数的顺序是否必须是下一个?
浏览 2
提问于2019-09-18
得票数 0
1
回答
如何将
mysql
数据从hdfs加载到
pyspark
、
、
我使用sqoop将表从
mysql
导入到hdfs location /user/cloudera/table1,现在应该使用什么命令将该表加载到
pyspark
代码中。我只是像下面这样
写
简单的代码。谢谢if __name__ == "__main__": # create Spark context with
浏览 2
提问于2019-11-13
得票数 0
3
回答
用
MySQL
读取
PySpark
、
我有以下测试代码:sc = SparkContext('local') driver="com.
mysql
.jdbc.Driver", user="user.jar
mysql</
浏览 2
提问于2017-09-03
得票数 5
回答已采纳
1
回答
如何在Eclipse IDE中修复“异常: Java网关进程在发送其端口号之前退出”
我正尝试在Eclipse IDE的pydev环境中使用
pyspark
连接
MySQL
。设置为值--master local[*] --jars path\
mysql
-connector-java-5.1.44-bin.jar
pyspark
-shell。#import osfrom
pyspark
import SparkConf from
pyspark
.sql.context import'
浏览 23
提问于2019-01-11
得票数 1
2
回答
使用
pyspark
连接
mysql
、
、
、
我想把
mysql
和
pyspark
连接起来。我正在使用jupyter笔记本来运行
pyspark
。然而,当我这样做的时候, url="jdbc:
mysql
://localhost:3306/playground", driver = "com.
mysql
.jdbc.Driver&qu
浏览 29
提问于2018-08-21
得票数 6
2
回答
如何在Jupyter notebook中设置
MySQL
的JDBC驱动程序?
、
、
、
、
我正在尝试将一堆CSV文件逐行加载到
mysql
实例中,该实例使用
pyspark
配置在OpenShift上运行。我有一台运行着spark的Jupyter笔记本。 scSpark = SparkSession \'] = '--packages
mysql
:
mysql
-connector-java:jar:8.0.21 <
浏览 7
提问于2020-09-01
得票数 0
1
回答
无法在ipython中正确创建火花上下文以链接到
MySQL
- com.
mysql
.jdbc.Driver。
、
、
、
、
我正在使用Spark、
PySpark
、Ipython和
mysql
运行一个本地环境。我很怀疑能够通过spark启动一个
mysql
查询。主要问题是包含适当的jdbc,以便能够执行查询。-5.1.37/
mysql
-connector-java-5.1.37-bin.jar")sc =
pyspark
.SparkContext(conf=conf)from
pyspark
.sql import S
浏览 4
提问于2015-11-26
得票数 3
回答已采纳
1
回答
使用Python从
MySQL
数据库表中读取SparkSQL
、
、
我在
MySQL
中有一个'user‘表。我想把它读到我的Spark SQL程序中。如何使用Python将表从
MySQL
读取到Apache Spark的SparkSQL模块?
浏览 0
提问于2016-04-25
得票数 12
1
回答
为什么我得到了TypeError:不能在使用_thread.RLock时选择'_thread.RLock‘对象
、
、
、
、
我用火花来处理我的数据,就像这样: url='jdbc:
mysql
://xxxxxxx', dbtable='(select * frompassword='xxxxxx'
浏览 2
提问于2022-05-11
得票数 0
回答已采纳
1
回答
将转换的DataFrame保存/导出回JDBC /
MySQL
、
、
下面是我正在尝试的一个简单的例子: "url" -> "jdbc:
mysql
://localhost/foo"foo.bar").write.format("jdbc").options(Map( "url" -&
浏览 0
提问于2015-09-16
得票数 7
1
回答
火花-没有定义模式,也没有在下面找到Parquet数据文件或摘要文件
、
、
首先我开始然后
写
这段代码当我只
写
dbtable= "test_db“时,错误是相同的.
浏览 3
提问于2015-08-24
得票数 1
回答已采纳
1
回答
使用
PySpark
读取数据库的最快方法是什么?
、
、
我正在尝试使用
PySpark
和SQLAlchamy读取数据库表,如下所示:database_uri = 'jdbc:
mysql
://{}:3306/{}'.format("127.0.0.1",<db_name>) da
浏览 0
提问于2018-03-31
得票数 3
2
回答
如何使用foreach或foreachBatch在
PySpark
中对数据库进行写入?
、
、
、
我想用Python (
PySpark
)实现从Kafka源代码到MariaDB (
PySpark
)的Spark结构化流(Spark2.4.x)。from
pyspark
.sql import SparkSessionfrom
pyspark
.sql.typesimport StructField, StructType, StringType, DoubleType, T
浏览 3
提问于2019-11-08
得票数 7
回答已采纳
1
回答
将
PySpark
数据复制到
MySQL
、
、
我正在尝试将用
PySpark
在DataBricks中创建的数据文件加载到
MySql
,但它告诉我:from
pyspark
.sql import SparkSession .config("spark.jars", &quo
浏览 6
提问于2022-11-04
得票数 0
回答已采纳
1
回答
如何从
Pyspark
更新
Mysql
表中的数据
、
我可以从
pyspark
中的
mysql
表中读取数据。hiveContext.read.format('jdbc').options(url=jdbc_url, dbtable=
mysql
_query,driver='com.
mysql
.jdbc.Driver').load() 但是我找不到在
mysql
中更新记录的方法。有没有人执行过
pyspark
的更新。
浏览 4
提问于2016-12-17
得票数 1
3
回答
无法从
pyspark
连接到
Mysql
数据库,出现jdbc错误
、
、
、
、
我正在学习
pyspark
,并试图连接到
mysql
数据库。但是在运行代码时,我得到了一个java.lang.ClassNotFoundException: com.
mysql
.jdbc.Driver异常。我已经花了一整天的时间来尝试修复它,任何帮助都将不胜感激:)下面是我的代码:sqlContext= SQLContext(sc) df = sql
浏览 3
提问于2018-02-27
得票数 7
回答已采纳
1
回答
表或视图未被插入到
mysql
中,而该表或视图存在于
Pyspark
中。
、
、
、
我试图使用
Pyspark
连接插入到现有的
Mysql
表中,但是我得到了以下错误 File "/usr/hdp/current该表存在于
MySql
数据库中,在从另一个表中选择数据时,我成功地插入了Dataframe,但是我想直接插入到
Mysql
数据库表中。我的代码:from
pyspark
.sql import SQLCont
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
1
回答
Pyspark
最昂贵的产品
、
、
我正在试着用
PySpark
买到最贵的产品。基本上,我必须将这个查询从SQL转换为
pyspark
:FROM lotstempLIMIT 1 有没有人能帮我用
PySpark
写
这个查询?
浏览 0
提问于2020-05-06
得票数 0
1
回答
在调用o23.jdbc时发生了错误。::java.lang.ClassNotFoundException: com.mariadb.jdbc.Driver
、
、
我将使用
pyspark
.And从mariadb数据库读取表--运行以下代码‘’时会发生错误jdbcDatabase = "pucsl" jdbcPort
浏览 33
提问于2022-04-25
得票数 0
1
回答
使用
pyspark
代码从EC2实例向AWS - s3写入
pyspark
数据帧完成写入操作所需的时间比平时长
、
、
、
、
当我们使用
pyspark
代码从EC2实例向s3写入
pyspark
数据帧时,完成写入操作所需的时间比平时要长。以前完成1000条记录的
写
操作需要30分钟,但现在需要一个多小时。此外,在
写
操作完成后,上下文切换到下一行代码需要更长的时间(20-30分钟)。我们不确定这是AWS-s3的问题,还是因为
Pyspark
的懒惰计算。有人能解释一下这个问题吗。 提前道谢
浏览 2
提问于2019-05-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySpark数据分析基础:PySpark原理详解
pyspark 安装
PySpark调优
PySpark安装+Jupyter Notebook配置
如何使用pyspark统计词频?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券