首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

钱大妈基于 Flink 的实时风控实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...图二:钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风控规则模型主要分为统计型规则和序列型规则...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求

2.3K20

资源利用率提高67%,腾讯实时风控平台云原生容器化之路

导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...自研上云效果 水滴平台在进行迁移上云过程中,自研平台迁移到 TKE 云上后带来了不少的效率提升。

70620
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    携程是如何把大数据用于实时风控的?

    2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。...主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的 UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...使用RiskSession就可以做到跨平台,更加有利于分析用户特征。 ?

    2.4K80

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    1.1K61

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条,其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...支撑风控系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风控的几个核心服务和组件: ? 风控引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

    2.6K50

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风控系统查询。两者问题都不大,根据场景选择即可。...09/29/基于规则的风控系统/ 4.网易严选风控实践 https://sq.163yun.com/blog/article/183314611296591872 5.网易考拉规则引擎平台架构设计与实践

    5.8K20

    TiDB 帮助万达网络科技集团实现高性能高质量的实时风控平台

    万达网络科技集团的技术团队,建设和维护着一套实时风控平台。这套实时风控平台,承担着各种关键交易的在线风控数据的写入和查询服务。...实时风控平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到...但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风控平台的业务要求。...这些问题集中反映在以下几个方面:最终万达的技术团队,通过评估验证,选择了 TiDB 帮助他们实现一个高性能,高可靠性和高扩展能力的实时风控平台后台数据库系统。...在实时风控平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。

    1.2K10

    微分享回放 | 携程是如何把大数据用于实时风控的

    2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。...图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及 报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...使用RiskSession就可以做到跨平台,更加有利于分析用户特征。 ?

    1K80

    开放平台是什么意思?有哪些主流平台?

    开放平台对很多人来说并不陌生,说白了就是有人提供一个平台,然后大家来这个平台上投放某些内容或者东西给有需要的朋友来使用。...image.png 一、开放平台的含义 开放平台包含了两种含义,其中一种是指技术性的开放,另一种则是指软件系统能够通过公开其应用程序编程接口来促使外部的程序增加软件系统的功能,或者是能够使用这款软件系统的资源...二、主流开放平台 开放平台的含义不一样,主流开放平台也会有所差别,第一类技术性开放的平台,像我们比较熟悉的百度,腾讯,阿里巴巴等都属于技术性开放主流平台,从一定程度上来讲,这一类技术性开放平台在未来可以是整个互联网企业的发展趋势...第二类开放平台,比较主流的开放平台有淘宝商城,日本乐天等平台,这一类平台模式是平台不碰商品的进销存直接由入驻的商家来做,除此以外,还有京东商城这种自营加联营的平台模式。...开放平台说简单也简单,说繁杂也繁杂,但在未来绝对是互联网企业发展的一个大趋势,选择主流开放平台的时候,根据平台的模式来做选择就可以了。

    6.7K40

    管控平台适合面向Kubernetes设计么?

    现在都流行面向Kubernetes编程,也就是使用Kubernetes申明式API,面向终态思想衍生出来的管控平台。 但流行的东西就真的适合么?...管控平台 管控平台就是公司后台资源和应用服务的系统,也被称作运维平台。 演进 一个公司的运维,通常先从单机脚本开始,随着规模逐渐扩大,需求增多,慢慢演变出平台型的云位系统。...更进一步,让运维平台支持更大的规模,以及多租户后,就变成了云平台。 分层 一般的运维系统通常会有两个部分,逻辑层和操作层。逻辑层组织业务处理的流程,操作层负责执行具体操作。...管控逻辑 操作层都差不多,主要的区别在于逻辑层。 同样的功能有不同的设计思想和实现方式,但本质上还是相同的,都是让事情按照一定的依赖执行下去。...比如使用Kubernetes的Operator来设计管控平台,也就是所谓的面向Kubernetes编程。 对比 在适用范围上,面向任务的接口模式是面向终态的超集。

    65830

    干货 | 携程新风控数据平台建设

    2014年加入携程,主要负责验证码、风控数据平台的开发设计工作,提供性能测试与性能优化的相关支持。...在携程,各BU经常受到恶意注册、登录、恶意刷单、扫号等行为,所以建设了一套数据平台,希望能够从数据中挖掘出有用的信息,不仅可以为风控系统提供数据支持,还可以为其他服务提供支撑。...本文主要从架构和业务的角度介绍下携程信息安全团队的数据平台建设之路,以及如何为业务和风控提供支持的。 一、数据平台1.0的特点 ?...1.0数据平台架构图 为了快速支持风控平台,在早期建设数据平台的时候,我们直接通过RabbitMQ收集业务数据,再使用数据引擎对数据做清洗、计算,再存储在MySQL中,把数据处理以sql的形式写入到代码中...2.0的改进 基于这两个痛点,无法提供稳定的数据服务,甚至影响了账户风控平台的业务,所以为了解决这些问题,提供稳定可靠的服务,我们重新设计了数据平台2.0,解决以上痛点,并从下面三个方面考虑,解决以上痛点

    1.1K80

    车路协同云控平台建设实践

    根据《车路协同云控基础平台第 1 部分:通用要求》征求意见稿的定义,「云控基础平台」是指服务于车路协同业务的基础平台系统,具有基本的实时信息融合与共享、实时计算编排、智能应用编排、大数据分析、信息安全等基础性服务能力...、V2X 消息转发、业务消息配置等核心功能,满足车路协同 V2X 国标消息高并发转发需求;云控可视化模块通常会结合高精度地图实先数据可视化、数字孪生、电子地图、车辆轨迹追踪、事件监控、设备状态监控等核心功能...图片多级云控、云边协同是未来技术趋势目前示范区建设项目中,通常单个项目建设一个车路协同云控平台,项目区域内所有数据接入、业务处理都由这个车路协同云控平台负责实现。...车路协同云控平台建设面临的挑战根据《车路协同云控基础平台第 1 部分:通用要求》,云控基础平台基础能力主要分为:资源连接、数据处理和数据共享。...EMQ 可为车路协同产业链提供车路协同云控基础平台资源连接、数据接入层基础软件以及数据「采集-移动-传递-对接」的整体解决方案,基于自研产品为客户打造完整的云控物联基础架构,助力快速构建云控平台。

    1.6K30
    领券