首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

大数据实时流式数据处理是大数据应用中最为常见的场景,与我们的生活也息息相关,以手机流量实时统计来说,它总是能够实时的统计出用户的使用的流量,在第一时间通知用户流量的使用情况,并且最为人性化的为用户提供各种优惠的方案,如果采用离线处理,那么等到用户流量超标了才通知用户,这样会使得用户体验满意度降低,这也是这几年大数据实时流处理的进步,淡然还有很多应用场景。因此Spark Streaming应用而生,不过对于实时我们应该准确理解,需要明白的一点是Spark Streaming不是真正的实时处理,更应该成为准实时,因为它有延迟,而真正的实时处理Storm更为适合,最为典型场景的是淘宝双十一大屏幕上盈利额度统计,在一般实时度要求不太严格的情况下,Spark Streaming+Flume+Kafka是大数据准实时数据采集的最为可靠并且也是最常用的方案,大数据实时流式数据采集的流程图如下所示:

02

一个深入浅出的 MySQL 高并发优化指南,多年MySQL实战经验分享

这半个月,很多小伙伴留言问我618各大电商后端的技术,最多的是关于系统压力暴增情况下如何进行MySQL数据库优化的。 今天就结合我自己工作中的真实案例和大家分享一下吧。 前几年我待过一家创业公司,做的是商城业务。那两年公司业务迅速增长,用户从零积累到千万级别,每天访问量几亿次,高峰QPS高达上万次每秒。 赶上618、双十一大促期间,系统的写压力成倍增长,读业务的请求量更是在写业务的请求量的50倍。后面我们就面临了极具技术挑战性的数据库升级过程。 最初的技术选型,采用的是Java语言进行开发,数据库使用的是M

02

一入职就遇上Mysql亿级优化!方案改了5遍,天天被老板爆怼……

这半个月,很多小伙伴留言问我618各大电商后端的技术,最多的是关于系统压力暴增情况下如何进行MySQL数据库优化的。 今天就结合我自己工作中的真实案例和大家分享一下吧。 前几年我待过一家创业公司,做的是商城业务。那两年公司业务迅速增长,用户从零积累到千万级别,每天访问量几亿次,高峰QPS高达上万次每秒。 赶上618、双十一大促期间,系统的写压力成倍增长,读业务的请求量更是在写业务的请求量的50倍。后面我们就面临了极具技术挑战性的数据库升级过程。 最初的技术选型,采用的是Java语言进行开发,数据库使用的是M

02
领券