开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

社区首页 >专栏 >Spark redis的坑

Spark redis的坑

作者头像

shengjk1

发布于 2018-10-24 15:16:53

发布于 2018-10-24 15:16:53

1.8K0

举报

文章被收录于专栏：码字搬砖码字搬砖

对于用scala来写spark程序员来说，spark streaming连接redis spark-redis.jar肯定是首选，但有一个坑就是ssc.sparkContext.fromRedisKV 底层是通过scan来获取数据的，当redis中数据过多时，效率十分低下
设置并行度的时候，要注意不能大于redis的个数

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018年01月31日，如有侵权请联系 cloudcommunity@tencent.com 删除

云数据库 Redis®

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

云数据库 Redis®

评论

登录后参与评论

0 条评论

热度

最新