我们能够通过在ADF中将增量文件源指定为parquet数据集来读取文件。尽管这会读取增量文件,但它最终会读取增量文件中数据的所有版本/快照,而不是专门选取增量数据的最新版本。这里有一个类似的问题-- Is it possible to connect to databricks deltalake tables from adf 但是,我希望从ADLS Gen2位置读取<
我正在处理增量合并逻辑,并希望在最近的dataframe读取时删除增量表中的一行。我的示例DF如下所示[
('Java', "20000"), # create your data here, be consistentdf.write.format("delta").mode("append").saveAsTable("xx.delta_merge_check&q