1回答
我知道我们可以使用spark从现有的mysql表中读取和写入数据。但是，我们甚至可以创建mysql表并使用dataframes将数据插入其中吗？当我试图将文件加载到dataframe并试图写入不存在的表时，我面临的是空指针，exception.Following是一个错误：
org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.cr
浏览 1提问于2018-03-12得票数 2
我正在尝试设置一条从mysql binlogs到redshift的数据管道。我正在从Mysql binlogs(使用一个工具- cannedbeer，来自mypipe的fork )向kafka写入数据，然后使用spark streaming将这些消息写入到使用spark redshift我面临的问题是，由于Dstream .Can的foreachRDD方法(写入Redshift的副作用)中的作业失败，相同的消息被多次
浏览 1提问于2015-11-12得票数 1
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
在从dataframe向表中写入数据之前，我正在尝试从表中删除记录。这对我不起作用。我做错了什么？query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172提问于2020-10-14得票数 1
回答已采纳
1回答
我的用例如下:我们正在使用Spark从HDFS读取和转换数据。转换后的数据应保存在memsql中。长话短说: Spark</em
浏览 4提问于2016-01-15得票数 1
我正在使用Spark SQL从一个MySQL表中读入一个数据框，其中有一列的类型为MEDIUMTEXT。当我将数据框原封不动地写入新表中时，该列现在的类型为TEXT，并且我得到了一个MySQL MysqlDataTruncation异常。我不知道我是不是运气不好，或者有什么方法可以告诉Spark SQL特定于MySQL的结果列类型是什么。 在座有人对这个问题有所了解吗？
浏览 141提问于2019-08-08得票数 2
2回答
我是一个使用Spark的新手。我遵循了DataBricks：的在线指南import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.Dataset;
浏览 4提问于2017-05-01得票数 0
回答已采纳
我正在运行MySQL Docker镜像并创建数据库和表。使用以下命令加载容器：Spark在我的主机上运行，所以我想将Spark中的数据写入容器中运行的数据库中。但是连接没有成功，我得到了
浏览 1提问于2019-12-11得票数 1
1回答
我想用下面的方式写到DB上
df.write.format("jdbc").option("url", jdbc_url).option("driver", "com.mysql.jdbc.Driver
浏览 2提问于2020-09-16得票数 1
回答已采纳
在SparkSQL中可以加入mysql和Oracle数据库中的数据吗？我试图加入他们，但在SPARK_CLASSPATH中设置多个jars (用于mysql和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码：import sys
sys.path.append(&quo
浏览 2提问于2015-12-30得票数 1
我试图开发几个数据管道使用Apache气流与预定的火花作业。df_tsv = spark.read.csv(tsv_file, sep=r'\t', header=True)
df_tsv.write.jdbc(url=mysql_url, table=mysql</em
浏览 2提问于2021-10-28得票数 1
回答已采纳
我正在使用kafka从远程mysql数据库读取数据，并将其传递到Pyspark streaming以应用情感分析，然后用该值更新mysql数据库中的列。这是最好的情况，还是有比这更有效的架构？
浏览 1提问于2019-11-20得票数 0
1回答
我想将数据从PySpark DataFrame写入外部数据库，比如Azure MySQL数据库。到目前为止，我已经使用.write.jdbc()成功地做到了这一点，
spark_df.write.jdbc(url=mysql_url, table=mysql_table, mode="append", properties={"user":mysql_user, "password&q
浏览 2提问于2021-11-03得票数 1
回答已采纳
我有一个数据文件，需要插入到Server中。我以前多次这样做，使用下面的Scala代码。
浏览 3提问于2019-11-22得票数 5
回答已采纳
我使用spark rdd将数据写入mysql，我使用的运算符是foreachPartition，在运算符中我建立了连接池并写入数据(使用类似jdbc的)，然后销毁连接池，但似乎偶尔找不到连接池，日志中写道数据被完全插入了finally.But异常把我搞糊涂了
浏览 1提问于2019-08-20得票数 0
3回答
这个问题的目的是记录：
这些方法只要做一些小的改动，就可以与其他受支持的语言一起工作，包括Scala
浏览 0提问于2015-06-22得票数 81
回答已采纳
我正在使用Apache Spark批量写入数据。批次为1天。在运行spark作业时，我得到了这个错误。我正在使用MySQL java连接器连接到TiDB集群。Spark为写入创建了144个并行任务。(SQLError.java:1055) at com.mysql.jdbc.MysqlIO.
浏览 7提问于2018-11-13得票数 0
我希望将数据保存到MySQL中，覆盖某些字段中的重复行，并将挂起的数据不包含的数据保存在MySQL中。我试过的Mode.Overwrite/Mode.append仍然不能满足我的需求。因此，我尝试从MySQL加载现有数据并找到行。但是，当将数据保存到MySQL中时，获得的DataFrame变为空。在此过程中，我尝试了两种方法：
查找挂起的数据中不存在的数据</
浏览 1提问于2017-11-07得票数 3
回答已采纳
我正在使用Apache Spark加载、处理数据集，并使用JDBC驱动程序将数据集输出到Oracle DB中。
我使用spark jdbc write方法将数据集写入数据库。但是，同时将数据集写入数据库，将10行和1000万行写入数据库的不同表所需的时间相同。我想知道如何使用spark调优此<
浏览 0提问于2018-08-21得票数 0
我正在尝试使用PySpark、SQL、DataFrames和JDBC connection在MySql上插入和更新一些数据。如果我更改为SaveMode.Overwrite，它将删除整个表并创建一个新表，我正在寻找类似于<em
浏览 2提问于2020-07-02得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
