基于大数据架构的经济风险智能管控系统平台的建设

摘要：2023年2月，我参加了X集团经济风险智能管控系统的开发，担任系统架构设计师，主要负责整体架构设计与技术选型。作为国家防范及化解重大风险决策部署的重点项目，该系统构建融合审计管理、法律合规以及风险内控三大业务，建立实时在线的风险监控和预警体系，为智能化管控提供重要决策依据。本文以经济风险智能管控系统为例，主要讨论了大数据架构在该项目中的具体应用。本次项目基于Lambda架构，将系统分为批处理层、加速层和服务层，其中每层按照各自的职责处理各自的业务和数据。整个系统开发工作历时9个月完成。目前，该系统已稳定运行一年。实践证明，这种架构设计有效地处理历史数据和实时数据，极大提升了集团的经济风险管控能力及决策效率，同时提高了系统的性能、容错性和可扩展性。

关键字：经济风险智能管控，Lambda架构，系统性能

1.项目概况

面对波云诡谲的国际形势、复杂敏感的周边环境、艰巨繁重的改革发展稳定任务，国家要求各企业需坚持底线思维，增强忧患意识，提高风险防控能力，保持经济持续健康发展和社会大局稳定。

在此大背景下，本系统建设以集团公司审法业务发展现状为输入，以业务蓝图、规划、愿景为指引，建设基于大数据的集团公司经济风险智能化管控系统。该系统是建立在信息技术基础上，利用现代企业的先进管理思想，为企业提供有计划、有控制、有评估和有决策的经济风险管理平台。

本次经济风险智能化系统按照事前防范预警、事中执行管控、事后审计监督管理思路构建系统功能架构，实现对重大经济风险的预警、控制、化解的闭环管理，形成数据驱动的风险监控业务模式。功能应用建设为1+1+3，即1个门户、1套可视化看板、3个业务应用系统。项目组全体成员共35人，我主要负责整体架构设计与技术选型。该项目于2023年11月结项，整个项目耗时9个月。

2.理论部分

在架构工作的开始阶段，我便意识到，本项目的业务场景十分符合大数据架构设计，尤其是Lambda架构可有效处理审计、法律业务版块中的大量离线数据，同时可将风险监控的实时数据展示在不同类型的看板中做统计分析和预警，形成本项目绝佳的解决方案。

Lambda架构是一种数据处理架构，它提供了一个框架，用于处理和分析大规模的数据集，以支持批处理和实时处理的需求。Lambda架构由以下三个主要组成部分构成：

批处理层：这是架构的核心，用于存储所有历史数据。批处理层通常由分布式文件系统或数据库组成，它可以处理大规模的数据集，并且能够定期进行批量处理，以生成静态的数据视图。

加速层：加速层用于处理近实时的数据，以便快速响应用户查询。它通常使用内存计算或流处理技术，如Apache Storm或Spark Streaming，来快速处理最近的数据。加速层可以提供快速的数据处理能力。

服务层：服务层是Lambda架构的最顶层，它结合了批量层和加速层的结果，提供给用户一个统一的、最新的数据视图。服务层通常使用高性能的数据库或搜索索引，以支持快速的数据查询和检索。

Lambda架构的设计目的是提供一个能够同时处理批量和实时数据处理的系统，它允许系统在保持高吞吐量的同时，也能够快速响应用户查询。这种架构特别适用于需要处理大量数据并提供实时分析结果的场景。其关键优势在于其能够结合批量处理的高吞吐量和实时处理的快速响应，为用户提供一个全面、一致的数据视图。同时，它还具有良好的容错性和可扩展性，能够适应不断变化的数据处理需求。这也是本项目选择该架构的原因。

3.实践部分

根据系统建设的业务需求，我们首先进行数据采集，之后采用Lambda架构将系统分为批处理层、加速层和服务层。接下来，我将详细介绍本系统架构的设计过程。

数据采集：在建设系统前，我们首先识别了数据源，整体系统由审计管理、法律合规以及风险内控三个子系统组成，三个系统中审计管理、法律合规系统存在大量的历史数据，而风险内控则需要将风险相关数据实时展示在看板上以做统计分析、即席查询、实时预警等。我们将两种数据通过Kafka分配到不同的数据节点中。

批处理层：本层我们根据业务需求选择审计管理中的计划管理、项目管理、审计成果、档案管理、审计资源和专项填报业务数据，法律合规管理中的法律事务管理、法律纠纷案件管理、合同管理、合规管理数据作为历史数据通过ETL存入数仓中，这些数据均具有面向主题的、历史的、整合的、稳定的特点，适合在数据采集后作为离线数据处理，我们同时会在本层对所有数据进行数据清洗、元数据管理、主数据管理、数据质量管理和数据安全管理，保证数据的准确性和可靠性。本层我们选择kafka+MapReduce将数据存在HDFS中，通过Spark对数据进行分析处理。

加速层：在项目初始，用户就向我们提出，集团的审法业务与企业经营风险强相关，做好风险控制，可以大幅提升对企业经营的管控能力，尤其是实时监控和实时预警，可有效约束企业经营行为，避免经营事故的发生。据此我们选择风险内控业务包括风险事项实时管理、内控实时评价、可视化实时监控、问题实时统计分析展现在业务看板上。这些实时数据按需流入风控系统中做统计分析和处理，最后通过风险处理算法按不同风险主题展示在看板中，以做实时监控和预警。加速层我们采用基于kafka+Redis集成的方式将数据存储在缓存服务器集群中，通过Spark Streaming对数据进行分析处理。

服务层：服务层集成审计、法律和风控三大业务数据，将批处理数据和实时数据汇总至服务层服务器中以供用户查询和分析，我们将两类数据汇总至HBase中，底层基于ElasticSearch进行日志全文检索以及利用 Kibana 提供日志可视化服务。用户可创建不同查询需求，例如企业用户想要签订集团管控下的某项目增补合同，需调用法律合规系统中的合同管理功能，因此用户可先查询历史合同数据作为组织过程资产规避常见的合同风险，系统会将以往相关合同数据风险信息以视图的形式展示给用户。同时用户将合同数据上报后也可查询此时系统会结合历史数据和实时数据展示合同在当前交易流程中存在的潜在问题或可能面临的审计合规问题，例如资金分配、供应商合规等问题，以避免增补合同由于不合规而导致审批不通过。

4.总结

最终项目成功上线，正常运行了一年多，收到甲方一致好评，同时也在公司内部获得了优秀项目奖，尤其是看板实时展示功能，为解决集团全级次单位风险事项、风险评估管理、成熟度评价的实时上报、化解或整改情况的实时跟踪提供了良好的技术和数据支持。在系统的架构设计中，我们引入了Lambda架构的设计思想，有效地融合了历史数据和实时数据的场景融合，提高了系统的开放性，可扩展性，可重用性以及可移植性。当然还是存在一些问题的，如历史系统中审计事件、法律事件历史信息的导入问题，对这种高水平高价值的遗留系统问题，我们采用了重构整合的方式进行了改造，保证了系统的延续性，确保了系统整体的稳定运行。