Spark & Parquet查询性能
Spark & Parquet查询性能
提问于 2017-03-07 03:14:22
我正在运行emr-5.2.0，并在S3中存储了一年的数据，这些数据是按天分区的。当查询一个月时，我希望Spark只将一个月的数据加载到内存中。但是，我的集群内存使用量看起来像是加载了整整一年1.7TB的数据。
我假设我可以像这样加载完整的数据湖
val lakeDF = spark.sqlContext.read.parquet("s3://mybucket/mylake.parquet")
lakeDF.cache()
lakeDF.registerTempTable("sightings")Spark将使用查询中的日期来仅选择与WHERE过滤器匹配的分区。
val leftDF = spark.sql("SELECT * FROM sightings WHERE DATE(day) BETWEEN "2016-01-09" AND "2016-01-10"")
val audienceDF = leftDF.join(ghDF, Seq("gh9"))
audienceDF.select( approxCountDistinct("device_id", red = 0.01).as("distinct"), sum("requests").as("avails") ).show()我想知道是不是分区转换为日期导致了这个问题？
我还在相同的数据集上用Athena/PrestoDB运行了一些测试，很明显只扫描了几of的数据。
在提交查询之前，Spark有没有办法告诉我要加载多少数据？
回答 1
Stack Overflow用户
发布于 2017-03-07 03:49:02
该问题是由于在应用筛选器之前调用lakeDF.cache()造成的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42633757
复制相关文章
相似问题
腾讯云开发者
