我们有一个Azure数据工厂管道,它执行一个简单的数据流,它接收来自cosmosdb的数据,并在DataLake中进行汇。作为目标优化逻辑,我们使用分区类型作为密钥,使用唯一值分区作为cosmosdb 标识符。目标Dataset还具有压缩类型,即gzip和压缩级别 to (最快E 221)
问题:
数据按预期进行分区,但我们没有看到所创建的文件的压缩。这是预期的行为还是一个bug?有人能帮忙吗。


发布于 2022-06-23 06:58:54
我认为您应该将压缩级别更改为:最佳,这将需要更多的时间来执行,但它将保证您的文件将在目标数据源中被压缩。
在Microsoft文档中编写的 :
级别:压缩比,可以是最优的,也可以是最快的。
最快:压缩操作应该尽快完成,即使结果文件没有被优化压缩。
优化:压缩操作应该是最优压缩的,即使操作需要更长的时间才能完成。
https://stackoverflow.com/questions/71659343
复制相似问题