首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

携程是如何把大数据用于实时风控的?

主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...五、Chloro系统 Chloro系统是数据分析服务也是整个风控系统的核心,数据服务层所使用到的数据,都是由Chloro系统计算后提供的。...比如:用户在PC端下单、然后在手机APP里完成支付,这个对于Chloro是一个会话,这个会话我们称之为风控Session,通过Risksession的定义,风控系统使用户的行为可以量化,也可以刻画。...Risk Graph 是根据携程风控系统的特点开发出来的,Risk Graph是一个基于HBase进行为存储介质的系统,比如,以用户为节点其值就是HBase用户表的key,其每个列就是特性,然后根据用户的某个特性再创建一个...所以该系统的一个核心思想是先创建各个维度的数据索引,然后根据索引值再进行内容的查找。目前风控系统已经创建了十几个维度的快速索引。 六、Aegis其它子系统 ?

2.4K80

钱大妈基于 Flink 的实时风控实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...图二:钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风控规则模型主要分为统计型规则和序列型规则...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求

2.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    微分享回放 | 携程是如何把大数据用于实时风控的

    图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...五、Chloro系统 Chloro系统是数据分析服务也是整个风控系统的核心,数据服务层所使用到的数据,都是由Chloro系统计算后提供的。...比如:用户在PC端下单、然后在手机APP里完成支付,这个对于Chloro是一个会话,这个会话我们称之为风控Session,通过Risksession的定义,风控系统使用户的行为可以量化,也可以刻画。...图6 Risk Graph 是根据携程风控系统的特点开发出来的,Risk Graph是一个基于HBase进行为存储介质的系统,比如,以用户为节点其值就是HBase用户表的key,其每个列就是特性,然后根据用户的某个特性再创建一个...所以该系统的一个核心思想是先创建各个维度的数据索引,然后根据索引值再进行内容的查找。目前风控系统已经创建了十几个维度的快速索引。 六、Aegis其它子系统 ?

    1K80

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...期间计算生成的变量个数接近2000个,90%以上的变量是Velocity和Ratio类型的变量,甚至较大一部分是精确到当笔交易的;执行完整个规则校验,风控返回给支付系统通过或拒绝的指令,平均耗时不到150ms...有些接入点是做实时校验用的、有些是收集数据用的,在携程整个大系统内一共有超过400个风控接入点,审核或监控携程交易的每一个环节,保障着每一笔交易的安全和用户的利益。...支撑风控系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风控的几个核心服务和组件: ? 风控引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

    2.6K50

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风控过程中根据原始数据进行计算,因为风控的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风控系统查询。两者问题都不大,根据场景选择即可。

    5.8K20

    单点登录是怎么回事

    一、网站登录是怎么回事 在一个普通的网站开发中,Web Server怎么知道当前用户是谁? ? 1. 典型WEB 在典型的WEB应用中,应用大致包含三类数据:用户数据、权限数据、业务数据。...下图是一个简单的描述。 ? 问题来了,在登录成功后的后续访问中,服务器是怎么知道当前请求的用户到底是谁呢?...我们都知道,HTTP是无连接的协议,每次浏览器的请求,对服务器来说都是一个新的请求,它怎么知道是上次登录的那个浏览器上发来的? 这就要提到两个概念:Cookie和Session。...更安全合理的做法,是基于第三方成熟的解决方案进行定制,或者是参考这些方案,设计更符合环境特点的单点登录方案。...,用Ticket查到 Username ,因为 Ticket是 CAS Server 产生的,因此,所以 CAS Server 的判断是毋庸置疑的。

    1.6K31

    刀具补偿是怎么回事?

    换刀点 所谓换刀点是指刀架自动转位时的位置。大部分数控车床,其换刀点的位置是任意的,换刀点应选在刀具交换过程中与工件或夹具不发生干涉的位置。...还有一些机床的换刀点位置是一个固定点,通常情况下,这些点选在靠近机床参考点的位置,或者取机床的第二参考点来作为换刀点。...二、刀具补偿与刀位点 所谓刀位点是指编制程序和加工时,用于表示刀具特征的点,也是对刀和加工的基准点。数控车刀的刀位点如图所示。...所谓刀尖圆弧半径是指车刀刀尖圆弧所构成的假想圆半径(图中的r)。实践中,所有车刀均有大小不等或近似的刀尖圆弧,假想刀尖在实际加工中是不存在的。 3....刀补的取消用G40来执行,需要特别注意的是,G40必须与G41或G42成对使用。

    16010

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...指标: 作为一种度量字段,是用来做聚合或者相关计算的。 维度: 是指标数据的属性,通常用例过滤指标数据的不同属性。

    70620

    Go内存泄漏是怎么回事?

    前言知识1:什么是内存泄漏内存泄漏(Memory Leak)并不是指物理上的内存消失,而是在写程序的过程中,由于程序的设计不合理导致对之前使用的内存失去控制,无法再利用这块内存区域,程序中已动态分配的堆内存由于某种原因程序未释放或无法释放...2:垃圾回收GC我们知道Golang垃圾回收 (GC garbage collection) 是一种自动内存管理机制,即我们在程序中定义一个变量后,会在内存中开辟相应空间进行存储。...比较常见的是发生在 slice、time.Ticker、goroutine 等的使用过程中,本文将从Golang内存泄漏的一些常见场景来看内存泄漏,然后学习如何避免和排查。...并且我们是在 for 循环中定时执行 select,也就相当于每一次执行 select 我们都重新创建(实例化)了新的 time.After(),因此每一次执行 select time.After()...我们启动一个goroutine非常简单,如果没有按预期退出,直到程序退出时goroutine才退出,goroutine就泄漏了,goroutine泄漏的本质是channel阻塞,无法继续向下执行,导致此

    96820

    CAS到底是怎么回事

    CAS到底是怎么回事 为什么需要CAS 如何实现CAS 关于CAS和ABA 关于应用层的锁和CPU的锁的关系 参考 ---- 为什么需要CAS CAS全称为Compare And Set(比较并交换)...对于早期的CPU,总是采用的是锁总线的方式。具体方法是,一旦遇到了Lock指令,就由仲裁器选择一个核心独占总线。其余的CPU核心不能再通过总线与内存通讯。从而达到“原子性”的目的。...根据文档原文:如果是P6后的CPU,并且数据已经被CPU缓存了,并且是要写回到主存的,则可以用cache locking处理问题。否则还是得锁总线。...), curVal, newVal); // 这里是CAS 即这个代码的第一句和第三句可能看到的curVal是一样的,但是有可能造这个curVal在另一个线程ABA了。...解决的是多个进程并发访问同一块内存的问题。比起CPU的层级来说,应用层的锁可以多一个招数,叫做“让当前进程不可调度“。这个是OS提供的支持。

    76620

    分布式锁是怎么回事

    微信access_token是2小时过期,为了保险起见,每隔1个小时就获取(刷新)一次access_token。...两个中控服务器每个5分钟读一次数据,大多数时候,refreshtime>now(refreshtime是设置的未来一个小时的时刻,这一个小时之内的时间访问数据,都是这个结果),这种情况下没到刷新时间,不会刷新...两个中控服务器的计时器一般是不同步的,多数情况下,两个中控服务器会一前一后(一个执行完了,另一个才执行)的执行这3步。...这种情况下,后一个执行这3个步骤的中控服务器,看到的refreshtime已经是1个小时之后,它不会去刷新access_token。...后一个中控服务器也就不会去请求(刷新)access_token。 至此,分布式锁被转化成了mysql的行级锁。那mysql的行级锁又是怎么实现的呢(苦海无边,回头是岸)?

    99510

    Python中的random是怎么回事?

    今天马哥教育要跟大家分享的文章是Python中的random是怎么回事?如何增加输出结果的不确定性?...就是说,我们输入内容之后,至于会输出什么,我们是不知道的, python入门新手和正在python学习的小伙伴快来看一看吧,希望能够对大家有所帮助 ! 如何增加输出结果的不确定性?...就是说,我们输入内容之后,至于会输出什么,我们是不知道的,这就是我们这节课要给大家介绍的random,来看看到底是怎么一回事吧!...以上就是马哥教育今天为大家分享的关于Python中的random是怎么回事的文章,希望本篇文章能够对正在 python学习 和从事python相关工作的小伙伴们有所帮助,想要了解更多相关知识记得关注马哥教育官网

    98630

    风控“规则集”的性能测试(Python实操)

    本篇更新策略篇的规则集性能测算及Python实操,内容选自《100天风控专家》第57期。 首先介绍规则集的完整分析流程,包括五个步骤。 一、规则集分析流程 1....相互覆盖率 相互覆盖率是对规则集内部规则覆盖情况的统计,如果一个规则的命中可以完全被其他规则覆盖,那么该规则在规则集中就没有存在的价值了。...完全被覆盖与单一命中率为0是等价的。...三、案例分析Python代码实操 通过配置决策树参数以及入模变量数量,自动化生成规则100多条,通过规则评估指标如命中率、精准率、召回率、lift进行初步筛选,组成为规则集进行初步的性能测试。...以下是通过相互覆盖率筛选内部规则的案例结果。相同颜色的规则是互相覆盖的,对于相互覆盖的规则如何进行取舍。 -end- 以上内容节选自《100天风控专家》从0到1的信贷风控训练营

    40410
    领券