摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。主要内容包括：
当我们做一个项目时往往都需要选择该用什么技术。这一部分不是我们普通员工想的，而是架构师会根据客户的需求选择出合适的技术。当选择合适的技术会让我们的开发事半功倍。下面我就来讲解下我做的项目(实时数仓）是如何进行选型的。
消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。
在大数据Hadoop组件中，有MapReduce、Spark，但基于实时的流式计算，Hadoop体系外的Storm有着不可替代的快速的优势。那Storm的作用是什么呢？
小刘，服务器这会好卡，是不是出了什么问题啊，你看能不能做个监控大屏实时查看机器的运行情况？
在过去的这几年时间里，以 Storm、Spark、Flink 为代表的实时计算技术接踵而至。2019 年阿里巴巴内部 Flink 正式开源。整个实时计算领域风起云涌，一些普通的开发者因为业务需要或者个人兴趣开始接触Flink。
近日，个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动（个推）的资深数据研发工程师为大家详细解读了实时数仓架构演进，分享了实时数仓的技术选型要点，并结合实战案例详细剖析实时数仓搭建秘诀。
Flink Forward是由Apache官方授权，用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日，Flink Forward首次来到中国举办。腾讯TEG数据平台部参加了会议并在会上介绍了腾讯内部基于Flink打造的一站式实时计算平台Oceanus。 一、背景介绍 TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长
AI 前线导读：有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调用链，风控等多个业务场景，本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。
抢红包流程 红包生成，数据库中创建红包信息，把红包的ID、数量放入缓存 用户抢红包，分为抢和拆两个动作，抢动作只是决定用户是否得到红包资格，如果抢到了，进入拆动作，此时实时计算红包的金额、记录红包流水
备注：Table & SQL API通过Apache Calcite进行SQL解析，并转换成Calcite执行计划，最终调用Flink DataStream/DataSet API。
Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的组件，其实还是最核心的RDD。 只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream。其实，学过了Spark SQL之后，你理解这种封装就容易了。之前学习Spark SQL是不是也是发现，它针对数据查询这种应用，提供了一种基于RDD之上的全新概念，DataFrame，但是，其底层还是基于RDD的。所以，RDD是整个Spark技术生态中的核心。要学好Spark在交互式查询、实时计算上的应用技术和框架，首先必须学好Spark核心编程，也就是Spark Core。 这节课，作为Spark Streaming的第一节课，我们先，给大家讲解一下，什么是大数据实时计算？然后下节课，再来看看Spark Streaming针对实时计算的场景，它的基本工作原理是什么？？
对于一个实时数据产品人员、或者开发人员来说，产品上展示的实时数据，pv、uv、gmv等等，怎么知道这些数据是不是正确的呢？当其他的小组开发的产品的数据(或者其他的数据提供方)又是另外一个数字，那么究竟该如何判断自己的数据还是别人的数据是正确的呢？这就需要一套实时数据对数方案，本文主要从背景、实时数据计算方案、对数方案、总结四方面来介绍，说服老板或者让其他人相信自己的数据是准确的、无误的。
作者 | 梁李印，滴滴出行大数据架构部技术专家。梁李印将于5月18-19日在上海A2M峰会分享《滴滴实时计算平台架构与实践》话题，更多峰会议题请至A2M峰会官网查看，点击底部阅读原文可直达官网。
所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络监控、电信数据管理、 Web 应用、生产制造、传感检测，等等。在这种数据流模型中，单独的数据单元可能是相关的元组（Tuple），如网络测量、呼叫记录、网页访问等产生的数据。但是，这些数据以大量、快速、时变（可能是不可预知）的数据流持续到达，由此产生了一些基础性的新的研究问题——实时计算。实时计算的一个重要方向就是实时流计算。
状态管理是流计算系统的核心问题之一。在实现流数据的关联操作时，流计算系统需要先将窗口内的数据临时保存起来，然后在窗口结束时，再对窗口内的数据做关联计算。在实现时间维度聚合特征计算和关联图谱特征计算时，更是需要创建大量的寄存用于记录聚合的结果。而CEP的实现，本身就与常说的有限状态机（Finite-state machine，FSM）是密切相关的。不管是为了关联计算而临时保存的数据，还是为了保存聚合计算的数据，抑或是CEP里的有限状态机，这些数据都是流计算应用开始运行之后才创建和积累起来。如果没有做持久化操作，这些数据在流计算应用重启后会被完全清空。正因为如此，我们将这些数据称之为流计算应用的“状态”。从各种开源流计算框架的发展历史来看，大家对实时流计算中的“状态”问题也是一点点逐步弄清楚的。
摘要：本文整理自中泰证券大数据中心实时计算平台架构师连序全，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分：
前言 6月10-11日，2017年SDCC峰会在深圳举行。为期两天的会议邀请业内顶尖的架构师和数据技术专家分享干货实料。来自腾讯TEG架构平台部的Jerome以及数据平台部的Boyce作为演讲嘉宾，分别发表主题为“基于空闲资源的弹性计算实践”以及“StreamSQL实时计算平台的挑战及解决方案”的演讲。本文为演讲者现场PPT及演讲稿整理编辑。 大会介绍 SDCC 2017·深圳站，拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会，秉承干货实料的内容原则，邀请业内顶尖的架构师和数据技术专家，共话高可用
本文介绍了如何利用Apache Spark技术栈进行实时数据流分析，并通过可视化技术将分析结果实时展示。我们将使用Spark Streaming进行数据流处理，结合常见的数据处理和可视化库，实现实时的数据流分析和可视化展示。本文包括了数据流处理、实时计算、可视化展示三个主要步骤，并提供相应的代码示例和技术细节。
实时计算的输出内容，以及提供的分析能力：OLAP 分析，key-value 实时数据服务，维度填充，数据打标等。
对于技术人来说，最可怕的事在于：当技术每天都在更新，自己却没有学习的机会，于是轻易被抛弃……
作者简介：诸葛子房，目前就职于一线互联网公司，从事大数据相关工作，了解互联网、大数据相关内容，一直在学习的路上。
介绍完了SparkSQL，接下来让我们推开SparkStreaming的大门，接收新知识的洗礼。跟刚入坑SparkSQL时一样，让我们来回顾一下Spark的内置模块。
数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。
有人说，买基金一定要心态好，要学会风险对冲，把8成的钱全仓买基金，剩余2成买意外身亡险，基金大涨就赚，基金大跌就跳楼，赔率1：4，怎么都赚钱。
场主认为：Flink=风口趋势所在！而技术人就是追风的人，stay hungry，stay young！
MES 是马蜂窝统一实时计算平台，为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面，MES 借鉴了 Lambda 架构的思想。本篇文章，我们将从四个方面了解 MES：
在本文中，我们将讨论如何使用HTML，CSS和JavaScript开发实时计算器。通常，如果我们观察任何实时计算器，我们知道它有 -
还记得2017年，微信红包收发总量达到460亿个，2019年，除夕到初五，8.23亿人收发微信红包。一觉醒来，微信群里各种红包，顿时觉得错过了几个亿，破解了红包的规律，是不是就可以发财了呢？
一方面互联网行业对实时化服务的要求日益增多，尤其在信息流，短视频应用最为显著，同时随着实时技术引擎的发展能够提供高效，稳定的实时数据服务能力。另一方面初期实时计算都是以需求为导向，采用"一路到底"的开发模式，没有形成完整的，统一的，规范化的实时数据体系。
本次演讲主要是和大家分享一下实时计算在滴滴的应用场景和一些实践。 滴滴大数据体系 滴滴大数据体系的主要特点在于数据都是实时的，数据采集可以采集到90%以上的数据。我们的数据来源一共有三类，一类是Bin
摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。
摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为 Apache Flink 在贝壳找房业务中的应用，分为以下三方面：
阿里双11实时业务量和数据量每年都在大幅增长，去年双11的实时计算峰值达到了创纪录的每秒 40 亿条记录，数据体量也达到了惊人的7 TB 每秒，相当于一秒钟需要读完 500 万本《新华字典》。
在不少的支付分析场景里，大部分累计值指标可以通过 T+n 的方式计算得到 。随着行业大环境由增量市场转为存量市场，产品的运营要求更加精细化、更快速反应，这对各项数据指标的实时性要求已经越来越高。产品如果能实时把握应用的整体运行情况或特征用户的状态，就可以及时安排合理的市场营销活动，这对改善用户的体验和促进收益的增长有明显的帮助。
做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就是Spark 和 Flink两面大旗。
接下来，我们是要讲解商品详情页缓存架构，缓存预热和解决方案，缓存预热可能导致整个系统崩溃的问题以及解决方案；
flume，版本1.7.0，主要用来从业务系统收集数据以及从jms收集数据。
数据时代，从数据中获取业务需要的信息才能创造价值，这类工作就需要计算框架来完成。传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决。 基于此，一种新的数据计算结构---流计算方式出现了，它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送
阅读目录: 实时计算 storm简介 流式计算 归纳总结 高容错性 实时计算 接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。 举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。 按照以前离线计算的做法是不能满足的，需要使用到实时计算。 小明作为有理想、有追求的程序员开始设计其解决方案了，主要分三部分。 每当搜索内容的数据产生时，先把数据收集到消息队列，由
阿里妹导读：今年的双11，实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录，数据体量也达到了惊人的每秒7TB，基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角，并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验，回顾“流批一体”大数据处理技术的发展历程。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
