金融业信息化规划和系统建设前的大数据管理平台

随着金融业务的快速发展和变化，企业对业务系统的转型需求呈爆炸式增长，频率越来越快。尤其是集成业务系统已经处于正常的研发阶段。业务系统的频繁变化通常会导致下游数据管理系统的变化，从而导致高开发和维护成本，并影响下游系统用户的使用。

根据业务调研，随着综合报表平台使用的不断深入，业务部门数据利用的广度和深度不断扩大，对业务数据分析功能的要求也越来越高。信贷、会计、风险管理、内部审计等业务部门需要获取统一标准和统一口径的所有业务数据，对日常业务进行统计、分析和监控，根据查询分析结果有针对性地规范业务运营和管理流程，增强业务运营和管理能力。各级领导需要包含历史信息的全面完整的业务数据，以便及时准确地掌握银行业务的经营状况，分析预测业务发展变化趋势，为管理决策提供支持。

一是缺乏统一的数据标准体系，无法建立全面、准确、完整反映全行业务状况的单一数据视图，制约了数据共享；

第二，数据质量亟待提高；

三是数据管理切片部。

充分借鉴行业先进数据仓库建设的成功经验，经过分析验证，决定先建设数据集市，后建设数据集成层的方案来建设数据仓库，搭建数据基础平台，整合全行主要业务系统的数据，形成全行数据应用的统一导出。同时，将制定一批重要的业务数据标准，按照这些标准对数据进行处理和整合，并通过标准的逐步完善，为解决数据管理和数据质量问题提供手段和依据。

总体架构包括四个部分:数据源、数据平台、数据管理平台和数据应用。

(1)数据源

通过“数据管理平台”的数据处理和数据调度，将数据源中的数据分别写入数据平台。

(2)数据平台

数据平台是基于传统的关系数据库结构，它存储、集成、处理和应用结构化的业务数据。其数据来自银行的各种业务系统，为应用程序提供全面的数据支持。

(3)数据管理平台

数据管理平台管理数据平台的数据关系、数据质量、ETL操作、生命周期等内容，是保证数据平台正常运行、促进数据仓库逐步完善、提高数据仓库管理水平的重要手段。

(4)数据应用程序

向最终用户提供数据的应用程序，包括数据应用程序，如统计报告和执行驾驶舱。

平台设计通过分析数据平台的需求，提炼出需求的共同特征并对其进行分类。不同的平台是分开的。平台功能是有偏向的，并且是协调的，以形成一个完整的数据平台系统。

基础数据平台是基于成熟的行业模型TD-FSLDM定制的。在保留银行业总体设计的基础上，根据农业发展银行的业务特点对模型实体进行细分和扩展，形成反映农业发展银行政策业务特点的模型设计。

数据管理平台包括数据调度、数据传输、数据生命周期、元数据管理和数据质量检查。每个子平台独立运行，相互协作，共同支持数据仓库的整体运行。

数据平台建成后，源系统中所有具备多种服务、多角度、多格式的合格业务数据都可以按照统一的标准进行整合，各种业务对象都可以保存，最终形成一个全面、一致、统一的全银行标准化数据视图

同时，数据平台也将作为下游系统的唯一数据源，为下游系统提供稳定可靠的数据库。当源系统随业务变化时，集成层的反源变化特性保证了集成层模型在大多数数据情况下不需要变化，下游系统通常不需要变化，或者只能通过微调报表样式或查询条件来适应源系统的变化。这样，避免了下游系统随着源系统的变化而频繁升级和调整，不仅降低了应用程序维护的复杂性和工作量，节约了开发和维护成本，还减轻了业务用户的系统使用负担。同时，根据对等数据平台的建设经验，源系统中存在的数据质量问题会不同程度地干扰源系统和下游系统的业务准确性，影响数据分析的准确性和一致性。

因此，在数据平台建设过程中，公司将对源系统的数据质量问题进行识别、定位、分析和处理，并将有质量问题的源数据以报表查询或分析报表的形式反馈给源系统，以便能够准确识别和定位数据质量问题，从源头上解决数据质量问题，从而提高和提升源系统的数据质量。源系统数据质量的提高和提升可以进一步保证数据平台的数据质量。通过这样的迭代，源系统和数据平台最终将形成统一的高质量数据，从而进一步保证业务数据应用的准确性和一致性。