首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    揭秘| 大数据计算引擎性能及稳定性提升神器!

    本文讨论了京东Spark计算引擎研发团队关于自主研发并落地Remote Shuffle Service,助力京东大促场景的探索和实践。近年来,大数据技术在各行业的应用越来越广泛,Spark自UCBerkeley的AMP实验室诞生到如今3.0版本的发布,已有十年之久,俨然已经成为大数据计算领域名副其实的老将。虽然经过不断的迭代和优化,Spark功能日趋成熟与完善,但在性能及稳定性方面,仍然还有很多可以提升的地方。Shuffle过程作为MapReduce编程模型的性能瓶颈,就是其中的重点。我们希望在京东超大规模数据体量及复杂业务场景的背景下,通过自研并落地Remote Shuffle Service服务,解决External Shuffle Service中存在的现有问题,打造稳定高效的JDSpark计算引擎,助力京东大促过程中的一些应用实践,能够给大家提供一些思路和启发,同时也欢迎大家多多交流,给我们提出宝贵建议。

    00

    趋势前瞻 | 年轻的气象科学家们正转向深度学习来改进地球系统模式

    去年在MeteoAI和气象学家公众号解读过《Nature(2019)-地球系统科学领域的深度学习及其理解》[1],累计阅读量超过1.5w。时隔一年多再回头看地球科学相关的研究动态,你会发现无论是就研究领域还是实际业务之中,深度学习被越来越多的人接纳,特别是年轻的研究生和科学家,在相应的交叉研究中也逐渐地不再把深度学习看成“黑盒子”了,一方面确实有些很好的实际使用效果,另一方面也能够结合数学或者物理机制给出部分解释。那么,下面再来了解一下美国能源部关于物理学家使用深度学习改进地球系统模式的科学新闻。(后文内容均为DeepL翻译,如有不当请多多包涵,可点击文末原文阅读看英文报道。)

    02
    领券