Cause: java.sql.SQLException: Can not update sharding value for table `biz_purchase_data`.; Cannot update sharding value for table `biz_purchase_data`.; nested exception is
有一个表event_logs表中大约有1600万个条目。数据库为MySQL。,对于接下来的100k记录,大约需要1分钟,对于接下来的100k记录,大约需要2分钟,大约需要11分钟com.mysql.jdbc.exceptions.jdbc4.CommunicationsException(MysqlIO.java:3562)
at com.mysql.jdbc.MysqlIO.checkError
我正在尝试将我的数据写入mysql表。当我尝试写作时,我得到了No suitable driver found for jdbc:mysql://dbhost。作为预处理的一部分,我从同一个DB中的其他表中读取数据,没有问题。我可以完成完整的运行,并将行保存到一个parquet文件中,因此它肯定是从mysql读取的。我提交文件时使用:
spark-submit --conf spark.executor.extraClassPath=/home/u