目前，我正在使用JDBC驱动程序将数据从MySQL数据库导入到spark中，使用以下命令：
dataframe_mysql = sqlctx
.read
.format("jdbc")
.option("url", "jdbc:mysql://<IP-ADDRESS>:3306/<DATABASE>")
.option("driver", "com.mysql.jdbc.Driver")
.option("dbtable", "
浏览 4提问于2017-08-11得票数 3
据我所知，火花执行者同时处理许多任务，以保证处理数据parallelly.Here是一个问题。当连接到外部数据存储时，例如mysql，有多少任务可以完成这项工作?换句话说，是同时创建多个任务，每个任务读取所有数据，还是数据只从一个任务读取并以其他方式分发到集群？如何将数据写入mysql，有多少连接？
下面是一些从mysql读取或写入数据的代码：
def jdbc(sqlContext: SQLContext, url: String, driver: String, dbtable: String, user: String, password: String, numPartitio
浏览 8提问于2022-09-27得票数 0
我正在尝试jhipster，并在启动配置为使用mysql作为后端的应用程序时遇到以下错误：
您的数据库连接池配置不正确！应用程序无法启动。请检查您的Spring配置文件，当前配置文件为: dev
我已经创建了数据库，并且mysql已经启动并在正确的端口上运行
在我的IDE中对此进行故障排除后，在尝试配置liquibase时，数据源属性似乎为空。
我的应用程序-dev.yml
服务器:端口: 8080
弹簧:轮廓:设备
datasource:
dataSourceClassName: com.mysql.jdbc.jdbc2.optional.MysqlDataSource
ur
浏览 3提问于2014-09-05得票数 4
5回答
Java和MySql连接问题
、、、、
我正在使用Java+MySql。我正在尝试添加批量数据(大约4000万条记录)。我的应用程序可以很好地处理几十万条记录，但是在那之后，它开始给我以下异常：
Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received a
浏览 3提问于2011-05-17得票数 1
回答已采纳
您好，我们正在尝试使用percona多节点(galera master-master)集群在集群模式下配置quartz调度器。Tocmat开始工作，但在日志中经常看到下面的异常。
有什么建议吗？
Tomcat 7.0.54石英- 2.1.7 Percona XtraDB群集5.5
[ERROR] 11 6 02:26:00.059 午前 MyClusteredScheduler_QuartzSchedulerThread [org.quartz.core.ErrorLogger]
An error occurred while releasing trigger 'DEFAULT.Sq
浏览 2提问于2015-06-11得票数 1
我正试图在我的VPS服务器上安装openfire。服务已经启动并运行。我被困在openfire服务器的数据库配置步骤中。我已经在mysql服务器上创建了openfire数据库，并导入了模式。但是，当我试图在基于web的安装程序中使用这些设置时，我会得到以下错误：
A connection to the database could not be made. View the error message by opening the "/logs/error.log" log file, then go back to fix the problem.
设置如下: JDBC驱动
浏览 0提问于2013-02-06得票数 -1
update语句似乎只适用于一个或三个字节长的UTF-8字符。
我的测试代码
def sql = sql.newInstance('jdbc:mysql://.../...?useUnicode=true&characterEncoding=UTF-8',
'...', '...', 'com.mysql.jdbc.Driver')
String value = 'β'
sql.execute('UPDATE Kldb_SynonymVersion SET synonyms=
浏览 2提问于2010-06-29得票数 1
这是一个基本的问题，但从骡子开始是个很烦人的问题。
错误：“无法加载类'com.mysql.jdbc.Driver'”。由: java.sql.SQLException:错误试图加载驱动程序: com.mysql.jdbc.Driver :无法加载类“com.mysql.jdbc.Driver”：[ com.mysql.jdbc.Driver，无法加载类“com.mysql.jdbc.Driver”：[类'com.mysql.jdbc.Driver‘com.mysql.jdbc.Driver’)引起
这很可能是因为我没有mysql连接器jar作为pom依赖项。但是当我
浏览 7提问于2021-12-06得票数 0
回答已采纳
我正在尝试以非常高的速度在mysql中进行批量插入。我想尝试一下rewriteBatchedStatements配置选项，因为我读到它会对性能产生重大影响。然而，当我添加这个选项时，我得到了以下异常：
java.lang.NullPointerException
at com.mysql.jdbc.PreparedStatement.computeMaxParameterSetSizeAndBatchSize(PreparedStatement.java:1694)
at com.mysql.jdbc.PreparedStatement.computeBatchSize(PreparedSta
浏览 1提问于2015-06-11得票数 1
2回答
我是一个使用Spark的新手。我遵循了DataBricks：的在线指南
我可以成功地获得到MySQL实例的连接并从中读取。但是，我一直从Spark中获得NoTableFound或NoDatabaseFound错误的变体。下面是我的整个测试类的样子：
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SQLContext;
import org.a
浏览 4提问于2017-05-01得票数 0
回答已采纳
2回答
当我试图查询数据库并将结果写入文件时，会收到此错误。以前从来没有发生过。
java.sql.SQLException:错误写入文件'/tmp/MYwADPLw‘(错误代码: 28)
在com.mysql.jdbc.SQLError.createSQLException(SQLError.java:946) at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:2870) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1573) at com.mysql.jdbc.Mysq
浏览 2提问于2010-08-20得票数 1
回答已采纳
1回答
我正在从spark应用程序连接到一个MySql DB (星火-2.0.0-bin-hadoop2.7)。当连接时，我得到以下错误。
这是我的代码：
def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName("LoadMySql")
.setMaster("local[*]")
.set("spark.sql.warehouse.dir", "file:///C:/temp")
val spark = Sp
浏览 1提问于2018-09-25得票数 0
我希望将数据保存到MySQL中，覆盖某些字段中的重复行，并将挂起的数据不包含的数据保存在MySQL中。我试过的Mode.Overwrite/Mode.append仍然不能满足我的需求。因此，我尝试从MySQL加载现有数据并找到行。但是，当将数据保存到MySQL中时，获得的DataFrame变为空。
在此过程中，我尝试了两种方法：
查找挂起的数据中不存在的数据，然后使用UNION将这两个部分连接起来。最后，使用Mode.Overwrite进行保存。
查找挂起的数据中不存在的数据。使用Mode.Overwrite保存挂起的DataFrame和Mode.append以保存获得的DF。
浏览 1提问于2017-11-07得票数 3
回答已采纳
我正在使用kafka源连接器对kafka进行mysql连接。一切都很好。现在我需要传递key.serializer和value.serializer来加密数据，就像在上显示的那样。但我没有发现产出有任何变化。
POST API启动源连接器
curl -X POST -H "Content-Type: application/json" --data '{
"name": "jdbc-source-connector-2",
"config": {
"connector.class":
浏览 1提问于2020-01-07得票数 0
回答已采纳
我正在使用spring-data-jpa执行以下mysql查询，
select 'FIRM NAME', 'USER_NAME', 'EMAIL', 'USER_PHONE', 'CLICK_COUNT', 'CLICK_DATE', 'PARTNER NAME'
union all select * from (select cf.cf_firm_name, u.u_name, u.u_email, u.u_phone, co.c_clicks,
co.c_click_date
浏览 37提问于2020-02-13得票数 0
1回答
当我在安装Ganib之后启动Tomcat7时，我会进入注册页面，但是当我尝试注册时，我会得到一个空白页，并将以下内容写入日志：
=========== checking limit ==========
Class not found exception
Is Valied 1
Error in registration process creation
com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Column 'USER_ID' cannot be null
a
浏览 4提问于2014-11-20得票数 1
回答已采纳
在Maven项目中。当我第一次设置XAMPP和MySQL时，效果很好。但在mysql-connector-java-8.0.20.zip或mysql-connector-java-8.0.20.jar.的NetBeans中，我无法连接到MySQL，也无法创建连接driver="com.mysql.cj.jdbc.Driver"和url="jdbc:mysql://localhost:3306/mysql"
当我要向MySQL添加新连接时，它会显示错误消息，
Cannot establish a connection to jdbc:mysql://loc
浏览 5提问于2020-07-12得票数 0
我正在做一个项目，在这个项目中，我决定将账单的截图保存到mysql数据库中。但是，用于截图的ImageIcon不提供文件长度，因此，setBinaryStream()无法工作，我已经尝试了pstmt.setBlob (1，(BLOB)图标)，但仍然无法工作。
你能把截图直接保存到数据库吗?如果是的话，请告诉我。或者可以在netbeans中创建和保存自定义账单。
try
{
Rectangle screen = new Rectangle (Toolkit.getDefaultToolkit().getScreenSize());
BufferedImage capture =
浏览 1提问于2020-05-29得票数 0
回答已采纳
为了找到解决办法，我看了很多帖子。我想请你帮忙找出这个问题。下面是application.properties配置文件和带有错误消息的输出。
aplication.properties:
# DATASOURCE
spring.datasource.url=jdbc:mysql://localhost:3306/hibernatedb
spring.datasource.name=hibernatedb
spring.datasource.username=nunit
spring.datasource.password=nunit
spring.datasource.driver-clas
浏览 6提问于2016-08-13得票数 1
回答已采纳
1回答
我想创建一个测试来检索/更新数据库条目。我在自动化测试方面是个新手，从未使用过到数据库的连接。为此，我有一个本地连接与用户和密码和Northwind数据库安装。SQL Server Management Studio中一切正常，但在我尝试运行的以下测试中未建立到数据库的连接：
import java.sql.*;
public class Driver {
public static void main(String[] args) {
try {
Connection myConn = DriverManager.getConne
浏览 6提问于2020-08-11得票数 0
1回答
关于电火花写作，我有一个简短的问题。
read_jdbc = spark.read \
.format("jdbc") \
.option("url", "jdbc:postgresql:dbserver") \
.option("dbtable", "schema.tablename") \
.option("user", "username") \
.option("password", "password"
浏览 9提问于2022-05-12得票数 0
当我为表同步运行spark应用程序时，错误消息如下所示：
19/10/16 01:37:40 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 51)
com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packet
浏览 3提问于2019-10-16得票数 0
回答已采纳
2回答
有一个MySQL数据库，需要处理的记录为+800万条(这在数据库本身中是无法处理的)，当我试图将它们读入我的Java应用程序时，我会遇到一些问题。
我已经尝试过一些类似问题的解决方案(例如，)，但是没有一个解决方案适合我。我试图设置FetchSize和所有，但没有运气！我的应用程序是使用BlockingQueue构建的，生产者可以从数据库中连续读取数据，并将其存储在队列中，这样消费者就可以对其进行处理。这样，我就可以同时限制主内存中的记录数量。
我的代码适用于少量的记录(我测试了1000条记录)，因此我建议需要修复从数据库到应用程序的fase。
Edit1
connection = Conne
浏览 9提问于2014-03-17得票数 2
我无法在mysql数据库中运行查询。抛出异常:数据库名称正确，仍然无法理解Java Eclipse中运行的问题是什么。使用Mysql Jar：external/mysql-connector-java-5.1.16-bin.jar
com.mysql.jdbc.exceptions.MySQLSyntaxErrorException: Unknown database 'autodist' at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:936) at com.mysql.jdbc.Mysq
浏览 7提问于2016-09-03得票数 1
在SparkSQL中可以加入mysql和Oracle数据库中的数据吗？我试图加入他们，但在SPARK_CLASSPATH中设置多个jars (用于mysql和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码：
import os
import sys
os.environ['SPARK_HOME']="/home/x/spark-1.5.2"
sys.path.append("/home/x/spark-1.5.2/python/")
try:
from pyspark import SparkContext, Spar
浏览 2提问于2015-12-30得票数 1
当我第一次插入到一个表中时(在删除/创建我的数据库之后)，我收到了键'PRIMARY‘的错误重复条目'1’。这会导致回滚。如果我再次执行，插入的行是OK的。有人能给我解释一下为什么/我做错了什么吗？
我有一个user类(在DB中预先填充)，它有一个附加到它的任务列表。数据库具有表users、user-tasks和tasks
User.hbm包含
<id name="id" type="java.lang.Integer">
<column name="id" />
浏览 3提问于2011-04-27得票数 5
我有以下错误：
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user 'root'@'%' to database 'GUEST_BOOK'
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstr
浏览 4提问于2011-12-02得票数 2
回答已采纳
1回答
我想以负载平衡的方式连接tomcat和mysql。
这在Tomcat 7中有可能吗？
在以下配置中需要进行哪些更改？
<Resource name="jdbc/TestDB" auth="Container" type="javax.sql.DataSource"
maxActive="100" maxIdle="30" maxWait="10000"
username="javauser" password="
浏览 0提问于2015-07-27得票数 1
回答已采纳
我试图弄清楚如何使用新的DataFrameWriter将数据写回JDBC数据库。我似乎找不到这方面的任何文档，尽管看一下源代码，它似乎是可能的。
下面是我正在尝试的一个简单的例子：
sqlContext.read.format("jdbc").options(Map(
"url" -> "jdbc:mysql://localhost/foo", "dbtable" -> "foo.bar")
).select("some_column", "another_column
浏览 0提问于2015-09-16得票数 7
我正在使用modeshape 3.6.0，最后与JBoss6EAP。
根据，前面的元素
高速缓存索引存储
为了配置缓存，已经删除了通过JDBC配置缓存的其他方法。
我找到了一些所有的配置，这正是我想要实现的：
<cache-index-storage
cache-container-jndi-name="index_cache_container"
lock-cache-name="index_locks"
data-cache-name="index_data"
metadata-cache-name
浏览 0提问于2014-03-10得票数 0
回答已采纳
我试着使用这段代码进行连接，但它不起作用：
Class.forName("com.mysql.jdbc.Driver").newInstance();
//line 4 Connection con = DriverManager.getConnection("jdbc:mysql://example.com:3306/db", "user", "pass");
Statement st = con.createStatement();
String sql = ("SELECT * FRO
浏览 2提问于2014-12-01得票数 0
1回答
我正在尝试将具有多个同名的表的MySQL数据插入到Access数据库中
问题:我不确定应该如何建立连接，因为我只连接了一个数据库(MySQL)，现在我需要连接到一个mdb (Access)。我已经到了可以使用"UCanAccess“的地步了，但它只是一个很小的框架，我不确定它是否能工作。
Class clazz = Class.forName("com.mysql.jdbc.Driver");
Class clazz2 = Class.forName("net.ucanaccess.jdbc.UcanaccessDriver");
Connect
浏览 2提问于2017-10-04得票数 0
我想在mysql中插入一个300MB的blob，但似乎做不到。我得到了所有的时间OutOfMemoryError。
我已经在my.cn中设置了max_allowed_packet = 500M。
下面是我的代码：
@Test
public void testWriteBlobWithJdbc() throws IOException {
System.out.println("Memory is " + Runtime.getRuntime().maxMemory() / 1024 / 1024 + " MB");
Con
浏览 2提问于2015-04-21得票数 1
1回答
我已经在我的机器(1)上安装了Maven/Jacoco/Surefire插件的SonarQube，但是我想测试一个属于另一台机器(2)的项目，并在#1机器的服务器上获得结果。两者都已经安装了SonarQube。
因此，我尝试将#1计算机及其db的地址设置为主机url：
#2计算机的设置：
settings.xml:
<sonar.jdbc.url>jdbc:mysql://<#1_machine_address>:3306/sonar</sonar.jdbc.url
<sonar.jdbc.driverClassName>com.mysql.jdbc.
浏览 1提问于2014-01-06得票数 1
回答已采纳
我想使用Mirth连接到一个数据库，然后将一条记录写入该数据库中的一个表。
该记录包含字段"file_name"，该文件名包含Date值，因此新文件的名称如下：
temp_2015-08-10
这是我传递给Mirth Destination SQL字段的内容：
INSERT INTO statutory_reports (str_est_id, str_type, str_create_date, str_created, str_record_status, str_file_path, str_file_name, str_created_by) VALUES (2, &
浏览 3提问于2015-08-10得票数 0
当您运行在Jmeter测试计划之下时，“无法加载JDBC驱动程序类'com.mysql.jdbc.Driver‘响应消息。有谁能对此有任何解决方案？
响应代码: null 0响应消息: java.sql.SQLException:无法加载JDBC驱动程序类“com.mysql.jdbc.Driver”
📷
📷
浏览 0提问于2017-02-20得票数 2
回答已采纳
我正试图给TIDB (Spark2.3)写一条电火花数据(百万行)。
df.write.format('jdbc').options(
url='jdbc:mysql://<host>:<port>/<table>',
driver='com.mysql.jdbc.Driver',
dbtable='<tablename>',
user='<username>',
password='<password>',
浏览 5提问于2019-12-29得票数 0
回答已采纳
您好，当尝试使用logstash与多个JDBC输入创建索引时，无法在linux环境..but中创建索引，它在Windows上工作。在windows系统类型的Cento-os索引上创建的索引正在创建，如下所示%{ ....but }
input {
jdbc {
jdbc_driver_library => "/Users/logstash/mysql-connector-java-5.1.39-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_conne
浏览 3提问于2019-07-15得票数 0
我是openshift的新手。我创建了一个带有spring安全性的示例应用程序，并试图在其中进行部署。我的Springdatabase.xml片段如下所示。
<bean id="dataSource"
class="org.springframework.jdbc.datasource.DriverManagerDataSource">
<property name="driverClassName" value="com.mysql.jdbc.Driver" />
<pro
浏览 9提问于2014-04-26得票数 1
回答已采纳
我更新了Jmeter5.4.3，并将MySQL连接java-8.0.27添加到bin文件夹中，并将JDBC类指定为-com.mysql.jdbc.Driver，并提供了所有详细信息。但当我运行but时，“无法加载JDBC驱动程序类'com.mysql.jdbc.Driver'”
浏览 14提问于2022-03-10得票数 0
我无法在Netbeans中设置MySQL 8.0JDBC驱动程序。有人能帮忙吗？
我的Netbeans 8.0IDE是使用较早版本的MySQL JDBC驱动程序5.1.23设置的。我将MySQL升级到8.0，并试图在Netbeans中设置一个新的JDBC驱动程序，因为旧的驱动程序无法连接到新的DB (*参见最后注意事项)。
这些是我遵循的步骤。
步骤1:我从D:\Program Files\NetBeans 8.0\ide\modules\ext中删除了旧的mysql文件，并复制了新的mysql-connector-java-8.0.12.jar文件并重新启动了IDE。
步骤2:在Databa
浏览 1提问于2018-09-20得票数 1
回答已采纳
我无法让"Guestbook“示例与我的本地mySQL DB一起工作。
我有以下例外：
java.security.AccessControlException:拒绝访问("java.lang.RuntimePermission“"modifyThreadGroup")
和
嵌套在javax.servlet.ServletException: java.lang.NoClassDefFoundError:无法初始化类com.mysql.jdbc.ConnectionImpl：
这是我试图连接的代码(实际上只有最后2行相关)：
if (System
浏览 0提问于2014-02-13得票数 0
1回答
使用hive的mysql连接错误
、、、、
当我试图将mysql (从hadoop-2.5.1集群中的datanode )远程连接到hive时，它抛出了errot：
由:java.sql.SQLException引起:无法打开到给定数据库的测试连接。JDBC url =jdbc:mysql://192.168.4.43:3306/亚稳态？createDatabaseIfNotExist=true，用户名= root。终止连接池。原始异常：- java.sql.SQLException: null，服务器消息：“主机'ravi‘不允许连接到com.mysql.jdbc.SQLError.createSQLException(SQ
浏览 2提问于2014-11-17得票数 0
3回答
我有一个java/mysql应用程序。我正在使用我的java应用程序向mysql写入大量数据。但在某些情况下，由于磁盘已满，mysql会崩溃。可以从java/jdbc处理mysql磁盘满的情况吗？
问候
浏览 1提问于2011-12-26得票数 0
回答已采纳
我正在尝试使用PySpark、SQL、DataFrames和JDBC connection在MySql上插入和更新一些数据。
我已经成功地使用SaveMode.Append插入了新数据。有没有办法从PySpark MySql中更新现有数据并插入新数据到SQL表中？
我要插入的代码是：
myDataFrame.write.mode(SaveMode.Append).jdbc(JDBCurl,mySqlTable,connectionProperties)
如果我更改为SaveMode.Overwrite，它将删除整个表并创建一个新表，我正在寻找类似于MySql中可用的"ON DUPLIC
浏览 2提问于2020-07-02得票数 1
我对石英很陌生。我用下面的配置使用mysql配置了jdbcjobstore存储。如果我通过java创建一个调度程序，它就能正常工作。
# Main Quartz configuration
org.quartz.scheduler.skipUpdateCheck = true
org.quartz.scheduler.instanceName = DatabaseClusteredScheduler
org.quartz.scheduler.instanceId = AUTO
org.quartz.scheduler.jobFactory.class = org.quartz.simpl.Si
浏览 7提问于2014-04-01得票数 5
回答已采纳
1回答
启动管理节点、数据节点、mysql节点后，无法连接到mysql集群数据库。我通过在dbURL中添加负载平衡进行了必要的更改。但我无法访问连接。mysqld端口是1186。请协助。
String dbURL = "jdbc:mysql:loadbalance://localhost/bank";
String dbDriver = "com.mysql.jdbc.Driver";
private Connection dbCon;
public boolean connect() throws ClassNotFoundException, SQLExceptio
浏览 0提问于2012-03-03得票数 1
1回答
启动管理节点、数据节点、mysql节点后，无法连接到mysql集群数据库。我通过在dbURL中添加负载平衡进行了必要的更改。但我无法访问连接。mysqld端口是1186。请协助。
String dbURL = "jdbc:mysql:loadbalance://localhost/bank";
String dbDriver = "com.mysql.jdbc.Driver";
private Connection dbCon;
public boolean connect() throws ClassNotFoundException, SQLExceptio
浏览 0提问于2012-03-03得票数 0
2回答
我正在使用jmeter对使用CloudSQL的GAE服务进行压力测试，我得到了间歇性的通信链路故障异常。
我尝试过使用直接连接和连接池，在这两种情况下我都看到了异常。随着每秒请求数的增加，异常也会增加。
请注意，我们使用的是最高层的云sql、D32，测试结果远低于最大3200个连接数。
下面是一个供参考的堆栈跟踪：
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
at sun.refle
浏览 5提问于2014-02-28得票数 3
1回答
我试图将ElasticSearch与MySQL结合使用。似乎正是我想要的，但是除了jdbc/jdbc之外，我无法将数据插入到其他任何地方：
curl -XPUT 'localhost:9200/_river/my_jdbc_river/_meta' -d '{
"type" : "jdbc",
"jdbc" : {
"driver" : "com.mysql.jdbc.Driver",
"url" : "jdbc:mys
浏览 1提问于2014-01-10得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
