6月5~7日,Spark Summit 2017 在美国旧金山举行。来自 Databricks 的 Matei Zaharia、Michael Armbrust 和 Tim Hunter 分享了 《Expanding Apache Spark Use Cases In 2.2 And Beyond》,介绍了 Spark 目前的重点开发方向,特别是对深度学习和流式数据处理的支持。
Apache Spark 的哲学:大数据应用的统一引擎;高层次、用户友好的 API。
Spark 2.2 将提供的新特性:Structured Streaming 已经进入 production-ready 状态。
Databricks 两大新的开源努力方向。
深度学习方面:
Structured Streaming 方面:
参考资料:
1.幻灯片:https://www.slideshare.net/databricks/expanding-apache-spark-use-cases-in-22-and-beyond-with-matei-zaharia-and-demos-by-michael-armbrust-and-tim-hunter
2.视频:https://www.youtube.com/watch?v=qAZ5XUz32yM&index=1&list=PLTPXxbhUt-YV6RdCNARfSKs3-3Old6XTk