首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

spark分析网吧同行朋友思路

你好,我们现在正好遇到一个spark的问题。 在mysql库中有2.5kw网吧轨迹数据, 需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上 (如:a和b在19号十分钟前后出现在了A网吧,又在21号十分钟前后出现在了B网吧, 再在22号十分钟前后出现在了D网吧) 就需要保留他们的身份ID和一起上下网的次数。 2.5kw轨迹中有8k+网吧请问有什么思路吗? 如果flink有更好的处理方式也可以。 使用用一个mysql的连接器,但是这东西需要配置一个分区列。 直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列), 是不是有问题?今天测试了一下。 两个网吧,3w多数据,两个小时没跑完。。 (我们是先用连接器抽出数据,按照网吧分组计算单次然后聚合筛选3次及以上的) 网吧数据从几条到几万条不等。

01

从动物科学到乐队鼓手,腾讯技术小哥的开源人生

“要么孤独,要么庸俗” 在孤独和庸俗之间,王炜选择了开挂。 小学三年级开始学编程,爱打游戏,为了上网省钱,攻破网吧计费系统;因为喜欢小动物,大学时期选择抛弃自己擅长的计算机,选择冷门的动物科学,业余时间参加乐队,成功追到了乐队主唱;为了发家致富,在大学二年级自己创业开发外卖系统,后期做成 SaaS 自己寻找客户售卖,超前性的以云的模式赚到了人生的第一桶金,在武汉实现了买房自由。 一路走来,王炜用活生生的案例,无时无刻不在提醒着我,彪悍的人生不需要解释。 和王炜在深圳南山的比克大厦见了面,第一眼看到他,

03

从动物科学到乐队鼓手,腾讯技术小哥的开源人生

“要么孤独,要么庸俗” 在孤独和庸俗之间,王炜选择了开挂。 小学三年级开始学编程,爱打游戏,为了上网省钱,攻破网吧计费系统;因为喜欢小动物,大学时期选择抛弃自己擅长的计算机,选择冷门的动物科学,业余时间参加乐队,成功追到了乐队主唱;为了发家致富,在大学二年级自己创业开发外卖系统,后期做成 SaaS 自己寻找客户售卖,超前性的以云的模式赚到了人生的第一桶金,在武汉实现了买房自由。 一路走来,王炜用活生生的案例,无时无刻不在提醒着我,彪悍的人生不需要解释。 和王炜在深圳南山的比克大厦见了面,第一眼看到他,

03
领券