很多团队现在的数据链路，看起来挺“现代化”：Kafka、Flink、Spark、数仓、BI，一个不落。但你要真扒开一看，底层还是在干一件事——每天定时全量拉表。

前面我们已经了解了 Flink 几个核心概念，分别是时间、Watermark 已经窗口。今天我们来一起了解下 Flink 是怎么进行多个流的 Join 的。

Echo，Delta、Iceberg、Hudi，我到底该用哪个？ 现在不用是不是就“落后”了？

在实时信贷审批场景中，风控系统需要在极短的时间内（通常 < 200ms）做出决策。如果一个申请人当前存在信贷逾期或属于欺诈团伙成员，系统必须立即“熔断”流程，直...

在现代金融 SaaS 平台或信贷管理后台的开发中，前端往往需要展示一个可视化的“借款人风险仪表盘”。然而，上游风控接口为了追求传输效率和扩展性，通常返回扁平化的...

在构建企业级信贷审批系统（Loan Origination System, LOS）时，后端工程师常面临对接繁琐的问题：为了获取借款人的完整画像，往往需要分别调...

在信贷风控领域，风控人员常常面临“数据孤岛”的困扰：查询多头借贷需要调一个接口，查询逾期黑名单需要调另一个接口，反欺诈又是第三个接口。这不仅增加了对接成本，也降...

在前文中，我们已经了解了 Flink 时间和 Watermark 两个概念，今天就来聊一下 Flink 实时数据处理的另一个核心概念：窗口。

大家好，我是 Echo_Wish，一个在大数据 ETL 世界里摸爬滚打多年、见过无数 Airflow“惨案”的人。

随着商业版项目运行中暴露出更多高频场景问题，我们基于实际反馈完成了大量缺陷修复与体验优化。为保证两个版本的一致性，我们将所有稳定性增强项与界面优化同步至开源版，...

在处理海量信贷申请（Loan Origination）时，风控系统需要极低的延迟和极高的吞吐量。传统的单一维度查询已不足以应对复杂的欺诈手段。“多头借贷行业风险...

在现代金融科技架构中，Node.js 常驻于业务网关层，负责聚合数据并为前端提供响应。当用户在 APP 端发起借款申请时，网关层需要在毫秒级时间内判断用户的风险...

在银行核心信贷系统或消费金融的风控中台（Risk Decision Engine）构建中，单一的“黑名单”查询已无法满足差异化的客群经营需求。业务部门往往需要更...

在互金与银行信贷业务中，“多头借贷”（Multi-Lending）往往是借款人资金链断裂的前兆。然而，传统的借贷次数统计已难以满足精细化风控的需求——借款人是在...

很多公司到现在还在用“单体式任务管道”——Airflow 一堆 DAG、Shell 脚本一堆定时任务、Spark 每天凌晨 2 点准时开工……所有数据任务像一列...

在前文中，我学习 Flink 的整体架构，接下来的几篇文章，我将重点学习一下 Flink 的几个核心概念。包括时间属性、Watermark、窗口、状态以及容错机...

在微服务架构盛行的今天，Go (Golang) 凭借其卓越的并发处理能力和极低的内存占用，已成为构建金融风控中台的首选语言之一。在处理海量信贷申请时，如何快速、...

说句实在话——在一家没有元数据管理（Data Catalog）的公司里做数据人，是一种什么体验？