我有一个数据帧,我必须过滤.However,在过滤器火花是连接到数据库。如果数据库到连接失败,我必须将该行写入hdfs
//filteredRawDf is dataframe
val filteredRawDf = dfToReingest.filter { rawRow =>
// getting.database object to connect
val databaseClient = getDataBaseClient(config)
//getting primary key from row
val re
我为Server 2008 R2上的完整恢复模型中的数据库提供了一个简单的备份脚本:
backup database livendb to disk = '\\ehsjmaydb01\Data\livendb.bak' with init, format
backup log livendb to disk = '\\ehsjmaydb01\Data\livendb_log.tran' with init, format
周末,我们打开了一个新的ETL脚本,这让我可怜的服务器完全崩溃了。事务日志已填满,TempDB已填满。
查看我的备份作业的历史,它失败了
当我试图踩到一个SQLite时,我遇到了一个sqlite3_stmt错误。令人惊讶的是,我得到了错误14:无法打开数据库文件。
这让人困惑,因为我在前面打开了数据库,并成功地向其中一个表提交了一个insert。我从来没有关闭过数据库。
BEGIN TRANSACTION
INSERT to table A
INSERT to table B
END TRANSACTION
当我尝试运行第二个insert命令时,我会得到失败。
有人知道什么会导致这个问题吗?