「13章」Flink 从0到1实战实时风控系统Flink 核心技能实操环境搭建在进行 Flink 开发之前，需要先搭建好开发环境。...) .startNewChain() .keyBy(value -> value.f0) .sum(1);使用异步 I/O：对于涉及到外部存储（如数据库、文件系统
摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...除了数仓的分析场景以外，钱大妈面临着业务系统中的风控需求，例如每季度的营销费用中被不少的羊毛党薅走正常用户的利益，其中羊毛党一方面可能导致用户的口碑下降，另一方面也会影响原有的活动运营预算迅速攀升从而导致资损...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...图一：钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分：事件接入、风险感知、风险应对、风险回溯。...图六：社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境，在此解决方案里未引入新的技术组件和编程语言，最大化复用 Flink 资源实现实时风控场景需求
2010加入携程，参与了携程结算平台、风控系统的开发，对系统架构、流式数据处理等有比较深入的研究。...目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是：风控Event数据（订单数据、支付数据），各个系统采集来的 UBT、设备指纹、日志数据等等。 除了这些，风控平台还有非常完善的监控预警系统，人工审核平台以及报表系统。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用
这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： ?...该系统有三条数据流向： 实时风控数据流，由红线标识，同步调用，为风控调用的核心链路； 准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据； 准实时/离线分析数据流，由绿线标识，异步写入，...2.1 实时风控 实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。...前边提到，做规则判断需要事实的相关指标，比如最近一小时登陆次数，最近一小时注册账号数等等，这些指标通常有一段时间跨度，是某种状态或聚合，很难在实时风控过程中根据原始数据进行计算，因为风控的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase，供实时风控系统查询。两者问题都不大，根据场景选择即可。
性能和复杂度可以兼得 携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主： 支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右，直到2015年正好赶上公司技术栈从.Net往Java平台转变，风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条，其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...模型执行引擎： 风控引擎支持把SAS或SPARK等工具训练出来的模型直接在风控系统中部署，支持DOT和PMML等多种格式。
摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。...开发了相关代码并跑起作业后，遇到 d1、a1、b1、b2、d2、c1 的事件流，Flink CEP 就能找到其中的 a1、b1、b2、c1 这一次匹配，之后用户就可以在作业中针对这次匹配做出处理，比如发送报警到下游系统等...我们这里展示三个典型场景： 第一个场景，实时风控。
导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...，我们将指标监控系统由 Monitor 监控系统改造为智研监控系统。
2010加入携程，参与了携程结算平台、风控系统的开发，对系统架构、流式数据处理等有比较深入的研究。...目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 图1 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是：风控Event数据（订单数据、支付数据），各个系统采集来的UBT、设备指纹、日志数据等等。 除了这些，风控平台还有非常完善的监控预警系统，人工审核平台以及 报表系统。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用
12月1日晚间，卓翼科技（002369.SZ）发布公告称，公司控股股东、实控人夏传武因涉嫌内幕交易、操纵证券市场罪，经深圳市中级人民法院批准，于12月1日被深圳市公安局执行逮捕。...资料显示，夏传武生于1973年，2004年起任职卓翼科技，2014年初成为卓翼科技实控人。而夏传武被抓主要以与2018年公司重组期间内幕交易有关。
本篇更新策略篇的规则集性能测算及Python实操，内容选自《100天风控专家》第57期。 首先介绍规则集的完整分析流程，包括五个步骤。 一、规则集分析流程 1....三、案例分析Python代码实操 通过配置决策树参数以及入模变量数量，自动化生成规则100多条，通过规则评估指标如命中率、精准率、召回率、lift进行初步筛选，组成为规则集进行初步的性能测试。...-end- 以上内容节选自《100天风控专家》从0到1的信贷风控训练营
陈建平，后台开发工程师，现就职于TEG安全平台部-业务安全中心，主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块：主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
自 2018 年投产以来，三年的时间里 TiDB 稳定的支持了北京银行的网联支付和银联无卡支付的核心系统，采用了北京同城+西安两地三中心的多活容灾结构，顺利的渡过了两次双十一，比较好的支撑这个业务。...此外，我们也在北京银行的理财销售平台和微众银行企业同业的理财交易流水有了相关的场景落地。 TiDB 在实时风控业务中的实践 我们还有一大类关键的金融应用场景是实时风控业务。...跟传统的风控不一样，随着互联网化的业务场景增多，银行和泛金融机构对于实时风控的要求是非常高的。TiDB 目前在风控业务中的实时风控数据汇聚、存储、管理、加工、计算场景方面已经有多个落地实践。...在金融业务场景方面，我们有包括北京银行线上业务风控模型管理平台、微众银行 CNC 反欺诈系统、天翼支付反洗钱平台、拉卡拉金融实时风控平台等一系列的场景落地。...同时在互联网及电商业务场景中，包括像东南亚知名电商 Shopee 的风控平台，小红书反欺诈系统及实时风控平台、拼多多风控平台等都有了一些落地。
账号：垃圾注册、撞库、盗号等 交易：盗刷、恶意占用资源、篡改交易金额等 活动：薅羊毛 短信：短信轰炸 项目介绍 实时业务风控系统是分析风险事件，根据场景动态调整规则，实现自动精准预警风险的系统。...本项目只提供实时风控系统框架基础和代码模板。...对各种场景风险阈值和评分的设置，需要长期不断的调整，所以灵活的规则引擎是很重要的 支持对历史数据的回溯，能够发现以前的风险，或许能够找到一些特征供参考 项目标签 轻量级，可扩展，高性能的Java实时业务风控系统...基于Spring boot构建，配置文件能少则少 使用drools规则引擎管理风控规则，原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存，历史事件支持水平扩展 原理 统计学...； 扩展风控规则，针对需要解决的场景问题，添加特定规则，分值也应根据自身场景来调整。
选择稍后安装操作系统 ? 版本选择Debain 因为我的光盘映像文件是2020最新版 所以我版本也选择了最新版的64位 ? 名称是虚拟机上的名称，可以改写 ?...双击“Ext4文件系统”，点交换空间分配swap ? ? 根据同样的方法将剩余内存分配给“/”，注意分区是逻辑分区不是主分区 最后得到这样的分区 ?
phoneDCS | 手机群控系统 前言 无言......view code to github 简介 phoneGCS全称phone group control system，顾名思义即是一款手机(Android)群控系统，基于Cli形式运行，支持自定义的编排任务...、任务录制任务群控。...主要有如下特性： 自定义剧本任务 | 录制及运行脚本 自定义频率控制 指定编排任务 指定编排任务执行数量 查看设备主要信息以及剧本列表 实时群控( 未实现 ) 构建云控系统( 可行&未实现 ) 使用
技术进步推动实时风控 随着互联网金融的发展，各类网银支付欺诈、电商钓鱼网站等风险因素也在增加，对风险控制(简称“风控”)的要求越来越高。 ...舒赵平指出，目前互联网金融的风控大部分是线上线下结合，纯线上的风控如信用审核，在目前的大环境中不太现实，主要原因是网络客户身份信息真实性无法核实，以后随着信用审核技术(如大数据、云计算)成熟、央行征信系统接入...就如何找到用户体验与信息安全的平衡点，杭州邦盛金融信息技术有限公司总经理王新宇指出，通过实时风控一定程度上可以解决这个问题。...从人类感知学来讲，实时风控如果判断的时间大于200毫秒，这件事情是不可接受的，同时，实时风控每秒又要面对上万笔的吞吐量，所以实时风控平台的技术门槛特别高。...但有了实时风控系统，企业可以更自如地做产品创新、限额的调整。
万达网络科技集团的技术团队，建设和维护着一套实时风控平台。这套实时风控平台，承担着各种关键交易的在线风控数据的写入和查询服务。...实时风控平台后端的数据库系统在高性能，可靠性，可扩展性上有很高的要求，并且需要满足如下核心功能和业务要求： 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到...这些问题集中反映在以下几个方面：最终万达的技术团队，通过评估验证，选择了 TiDB 帮助他们实现一个高性能，高可靠性和高扩展能力的实时风控平台后台数据库系统。...在实时风控平台的高并发高性能的对外服务过程中，在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持，使得实时风控类和 BI 分析类的业务应用能够高效运行。
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的...2015中国大数据技术大会 （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。...腾讯安全云部助理总经理 李旭阳 数美公司联合创始人兼CTO梁堃：Sentry金融实时风控系统 数美公司联合创始人兼CTO梁堃在主题演讲中介绍了Sentry金融实时风控系统。...他表示实时风控系统对于银行业继续保持高速发展越来越重要。Sentry金融实时风控系统是基于大数据技术构建的实时交易风险评估系统。...其工作过程是，在每一笔交易发生时，实时进行（1）业务系统将交易信息发送风控系统；（2）发现该交易中存在的异常行为和可疑场景；（3）根据发现的“证据”计算该交易的风险系数；（4）将风险系数等相关信息反馈给业务系统
在信息安全领域，建立在人工智能技术之上的策略引擎已经深入到了风控产品功能的方方面面，相应的，每一个策略系统都离不开大量的特征，来支撑模型算法或人工规则对请求的精准响应，因此特征系统成为了支持线上风控引擎的重要支柱...本文以智能风控在线特征系统为原型，重点从线上数据从生产到特征物料提取、计算、存取角度介绍一些实践中的通用技术点，以解决在线特征系统在高并发情形下面临的问题和挑战。 特征系统的基本概念 1....c) 并发大，风控策略系统面向用户端，服务端峰值QPS超过35万，每日调用量超过200亿次。...d) 延迟低，面对用户的请求，风控系统为了保持良好的用户体验，更快的完成对用户准入条件的判断，要求特征系统接口的延迟在50ms以内。...总结和规划 本文主要以智能风控在线特征系统为原型，提出了在线特征系统的一些设计思路。其中特征工程系统的边界并不限于特征的解析、计算、存取等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
