成都农商银行：基于大数据的网络安全态势感知技术在中小银行的研究和实践

“2018金融科技发展论坛暨第三届中国金融科技创新大会”定于10月12日—13日在北京万寿宾馆召开。论坛以“新科技·新金融·新动能——推动金融科技发展，助力实体经济腾飞”为主题，届时将邀请国内外知名专家学者、金融机构负责人、金融科技企业家等嘉宾到会发表主题演讲，并于现场发布《中国金融科技发展概览》。本次论坛开展的“2018中国金融科技创新榜”案例征集活动，收到了来自金融机构和金融科技服务商提交的109个案例。

中国金融科技创新大会已成功举办两届，大会立足国内，放眼全球，聚集行业热点，已成为金融科技业界理论研究、趋势探讨、案例推介、成果分享、应用指导和业务对接的交流平台，对于推动我国金融科技的理论研究和业务创新有着积极意义。

识别下方二维码，马上加入，与金融科技同业者共同探讨行业发展！

“2018金融科技发展论坛暨第三届中国金融科技创新大会”报名通道

扫描二维码参与投票

以下为成都农商银行参评案例展示：

一、研究背景、目的和意义

在“科技引领业务”的互联网时代，信息安全与业务已经融合在一起，很难再将其二者很清晰的区分开来。信息安全已经成了整个经营和业务活动中不可缺少的以部分。

传统信息安全体系建设中，一般都经历以“被动式响应”为特征的初级防护阶段，到以“基础性防范”为特征的基本防护阶段，再到以“体系化控制”为特征的信息安全防护阶段。随着外部攻击的多样化以及自身安全体系的发展，银行安全架构日趋复杂，各种类型的安全设备、安全数据越来越多，导致数据的爆炸，传统的分析能力明显力不从心；随着业务慢慢过渡到大数据平台之上，传统的评估标准和体系结构面对新的信息安全环境也渐渐无法快速有效的应对。如何对大数据环境下的信息安全做出有效应对、建立快速的分析和响应机制，已经成了我们迫切需要解决的问题。

态势感知是为了应对新形势下网络安全挑战提出来的。它不仅仅是一套技术，更是一个全新的安全建设思路、安全运作体系，体现了一系列安全防护体系构建思路的转变。这些转变包括：在建设目标上，从注重合规向注重对抗的转变；在威胁检测上，从知所已知向知所未知的转变；在响应处置上，从看见看清到快速闭环的转变。建立基于大数据态势感知的统一的安全日志分析平台，实现对安全信息的整合、对攻击行为的预测以及快速响应已经迫在眉睫。

二、研究问题和成果

在信息安全技术体系建设的基础上，逐步扩展融入信息安全组织体系、管理体系、运行体系，从而形成综合的信息安全保障体系，将信息安全保障体系与信息科技风险管理体系进行融合。然而，在新技术、新应用层出不穷的今天，信息安全已经扩展了物联网安全（IoT Security）、数字安全（Digital Security）等内容，现有的安全体系仍旧面临一些内部和外部的突出问题：

1.各类安全设备产生的大量告警数据，难以形成联动，形成了一个个数据孤岛，无法快速、准确的发现威胁。

2.外部攻击更加多样化，大量未知的威胁如难以及时发现。

3.外部的攻击更为集中。银行、金融机构成为引人注意的“大目标”。

4.现有的安全、审计措施难以适配大数据环境下的信息安全。

5.风险评估标准和指标体系的缺失。难以对大数据等新兴的系统进行评估。本课题基于上述银行所面临的关键问题开展研究，形成了较好的研究成果，成功在我行进行落地实施，成功实现了日志的整合，对未知攻击的捕获以及可视化告警。

本课题的研究成果具体体现在如下几个方面：

1.高效、准确的机器学习和数据挖掘模型。采用基于大数据spark架构，使用Spark ML库，通过聚类、分类、提取特征值、模型训练和模型优化等步骤，实现了对未知威胁的主动识别。如：使用朴素贝叶斯、HMM等算法，对URL进行异常检测、对可疑词进行提取，实现钓鱼网站的自动识别。

2.全面覆盖的场景。数据驱动安全、而安全则由的场景组成。在日常的管理上，我们依托于安全场景。主要实现的安全场景可以分为两类：日常的基础场景以及应用场景。基础场景为逻辑简单、规则单一，不需要复杂维度的关联；而应用级场景需要多种规则进行组合，多个维度进行关联。通过关联分析，机器学习等手段，得到攻击者画像、系统画像等。

3.先进的可扩展的技术架构。基于大数据流式计算框架和内存计算技术，分为采集、分析、展现3个大的模块进行实施。架构支持存储、日志源、分析模块的横向和纵向扩展。系统可以接入其他系统的数据，如应用系统，业务系统等。结合安全态势，从各个维度对业务系统进行画像，真正实现统一的日志平台先全方位的日志监控。

4.丰富外部态势信息。通过推广建立信息安全生态圈，与信息安全企业以及信息安全同业进行战略合作，信息共享，从外部通过各种渠道获取最新行业态势信息，与我行内部态势进行结合，达到主动防御、提前预警的目的。推动信息安全生态圈的建设，达到优势互补，提高双方、多方的信息安全水平。

5.动态可视化。动态实时展示当前态势，根据攻击路线、攻击事件等进行动态展示。支持动态告警、态势地图的下钻，支持安全事件的向下钻取。

6.日志数据治理。对结构化，非结构化的数据进行了统一标准化；对维度缺失、数据重复、数据标准、数据不可用的情况进行数据治理，从采集、ETL、规则转换保证数据的标准化和可用性；同时提供多种API接口，保证数据的扩展性。

本课题的理论研究成果目前已经在我行成功落地。

三、研究方法和内容

网络安全态势感知技术是基于大数据架构、通过海量数据的分析来实现。需要采集什么样的数据、实现什么样的感知场景、达到什么样的防护效果，都是我们的研究内容。

1.数据的获取。日志数据主要有三⼤关键数据源：镜像流量数据，主机、设备日志数据，外部态势情报数据。

我行目前有30多台核心网络安全设备组成的防护平台，100多台核心网络设备组成的骨干网络，以及大量的存储、主机。

这些设备产生的日志具有如下的特点：

数据量大。每天T级的数据量。

多样性。不同设备拥有不同的日志数据，格式、内容均不相同。

日志生成速度块。流量数据>3gbps，日志数据>10g/天。

真实性。数据与行内业务、应用系统息息相关。

在进行数据获取的过程中，需要对数据进行统一的规范。通过对数据的ETL加工。按照固定的格式进行分布式的存储。

2.数据的理解和分析。日志数据的理解和分析，最终要达到的目标是日志转化为事件。日志数据本身是离散，本身没有任何意义。通过规则引擎，复杂事件处理，数据挖掘，机器学习等分析过程，对日志进行关联、聚合、特征值提取，最终实现将日志转换为事件。

3.可视化。通过态势场景和可视化，实现网络安全的全方位监控和预测。网络安全态势预测是网络安全态势感知的一个重要组成部分，根据网络运行状况发展变化的实际数据和历史资料，运用科学的理论、方法和各种经验、判断、知识去推测、估计、分析其在未来一定时期内可能的变化情况。对事件以及预测结果的进行实时动态的展示，就是可视化的目标。

四、研究成果价值总结分析

本课题对于中小银行基于大数据的网络安全态势感知技术理论和实证研究，是一项具有开创意义的研究，丰富和发展信息安全建设的理论和方法，必将推动中小银行信息科技风险建设的实践，具有较高的理论和实际价值。

在理论价值方面：

1.当前中小商业银行网络安全主要是通过设备的堆叠，无法应对未知威胁，本课题提出的大数据安全态势感知，是网络安全建设新方向对当前大数据环境下网络安全建设新思路；

2.本课题提出的“场景+数据分析驱动安全”的网络安全建设理论为中小银行的信息安全建设提供了理论基础，为网络安全建设实施落地提供了理论依据。

在实际价值方面：

1.模型、规则适用性广泛。基于大数据的规则引擎、数据挖掘和机器学习模型，在进行设计和样本训练的过程中，与我行的实际数据情况进行结合，引入了大量分行、支行、村镇银行的数据，以提供模型的适用性，并通过模型调优得到最优解。该套模型不仅仅适用于母行，也可以推广至支行、分行、村镇银行，乃至分享至其他同业的信息安全系统之中。

2.所有模型自主研发、自主可控。随着我行大数据平台的上线，我行大数据人才的储备显著提升；而态势感知项目则进一步提升了我行人才储备的技能深度。对模型的自主可控也同时保障了模型的高命中率以及高适用性。

3.良好的数据质量治理成果。数据决定了结果的边界，而模型决定了距离边界有多远。再好的算法、模型，都比不过优良的数据质量。以此为指导，我们将业务数据治理的思想引入到科技数据之中，对日志、流量数据进行规范化、标准化，保障数据的可用性。

五、我行实际应用

本次研究成果已经于2017年11月在我行的大数据日志分析系统中进行了应用落地，目前该系统已实时呈现我行网络安全态势，相关态势数据均为5分钟刷新一次，其中信息安全事件为实时滚动呈现，实现了网络安全可视化。可配置的机器学习，通过图形化的配置界面，方便快捷的对规则进行配置，快速建立机器学习模型，实现快速扩展。系统让用户非常容易上手，通过可视化的窗口呈现方式，非常方便让信息安全人员以及运维监控人员使用，关键信息可以层层下钻以及全局的安全事件检索功能，通过点击大屏幕上的信息，可以快速下钻到相应的攻击明细数据，再通过详细数据解析，识别出我行开发测试环境中发现可疑流量，定位攻击者ip，可以快速识别攻击者的供给链，协助判断攻击行为，提供给信息安全人员进行干预与处置，执行相应策略，阻止攻击行为。目前阻止攻击数据为，平均每月阻断80余万次攻击行为、每天阻断3万余次攻击行为、平均每分钟阻断20余次攻击行为，并成功捕获到我行开发测试网中互联网入口的APT攻击行为，并在第一时间进行了阻断。

六、研究结论和进一步研究建议

本课题对中小商业银行基于大数据的网络安全态势感知技术进行了研究，不仅圆满地完成了课题研究任务书的既定目标，还在部分领域超额完成了规定的目标和任务。比如，在对未知威胁的分析和场景上，本课题不仅重点利用大数据的技术优势进行机器学习和分析，是当前最紧急的未知攻击进行了分析和主动识别；同时引入了外部态势，协同防御。

本课题的研究结论主要有以下几点：（1）本课题提出的“场景+数据分析驱动安全”的网络安全建设思路，可以帮助中小商业银行理解大数据环境下网络安全建设的方向；（2）本课题提出的建设内容及方法，包括数据标准化、数据分析、态势展示，形成了完整的方法论，可以为中小商业银行在网络安全建设提供借鉴；（3）本课题提出信息安全生态圈以及智能防护、系统画像等功能，明确了未来网络安全建设的方向，为网络安全未来的建设做好了铺垫。

网络安全的防护工作不是一蹴而就的，需要经过长期实践和总结，不断改进和完善现有模型，只有这样，才能始终将威胁阻挡在门外，保障银行信息化建设可持续发展。尽管本文结合实际的落地情况进行了阐述，但是很多方面还有值得进一步研究的地方。具体体现在以下几个方面：

1.模型优化的持续进行。

课题虽然通过数据挖掘、机器学习实现了从被动到主动、自动的防护方式，但是未知的威胁层出不穷，需要对模型进行监督，如果模型命中率下降或者无法应对，及时的进行调整。

2.推动信息安全生态圈的进行，丰富生态链的内容。

本课题在实施过程中提出的信息安全生态圈的建立，目前生态圈的信息交换内容相对而言比较单一，需要加快生态圈的建设步伐，达到信息共享，共同防御的目的。

3.进一步探索基于大数据的信息安全管理以及风险。

本课题虽然针对态势感知进行了实施和论证，但是由于基于大数据的信息科技风险评估缺乏历史经验、风险损失难以衡量、风险管理水平不成熟等因素，基于大数据的信息安全风险管理仍未达到要求，如何对基于大数据的信息安全进行管控，是接下来重点探索和研究内容。

4.做好数据标准化推广工作，为全面数据接入做好准备。

在课题的实施过程中，数据的标准化工作取得了良好的效果，形成了一套日志数据的治理方法。如何在日常的工作中对标准进行执行和推动，对全行的数据进行统一的标准化，不仅仅为全面日志接入做好准备，也可以减少日常维护成本，是下一步工作的重点。