建设分布式统一调度平台，提升银行数字化运营能力

“十四五”规划纲要指出，信息技术应用创新产业(以下简称“信创产业”)发展应加强关键数字技术创新应用。在此背景下，业务数字化、技术分布式、平台可进化等新一代建设需求对科技转型发展提出了全新挑战，而准确把握产品、技术等核心竞争力也成为银行机构需要重点关注的核心问题。

金融行业拥有丰富的数据类型，面对EB级规模的历史数据、PB级的数据增长以及百万级执行中的数据任务，如何进一步提升企业内部的数字化运营能力、激活数据价值，已然是银行机构急需解决的关键问题。同时，数据的井喷式增长也为数据采集、数据管理、数据应用及运维带来了极大考验，而数据调度尤其是批量调度作为数据加工处理、数据报表生成的重要环节，则会对业务处理效率产生巨大影响。

一般而言，银行业批处理作业调度是指通过一系列监测手段和算法，根据系统运行情况动态分配资源，以及对批处理作业进行调用的整个过程。据相关研究显示，银行所有系统中需要批处理调度的系统约占70%，且这类系统大多以项目形式建设而成。但是，在建设过程中，银行很少对“调度”任务的执行进行统一规划，同时其所使用的调度系统往往并不统一，包括开源、自主研发、厂商附带等，以上系统无论从功能上还是性能上都难以满足所有系统的调度需求。此外，加之系统日益增多、数据量日益增长等因素影响，导致银行对批处理作业的管理愈加困难，不仅运维工作量大且效率较低，同时系统运行风险也越来越高。面对上述挑战，银行机构对建设全行级统一调度平台的需求日益迫切。

对于银行机构动辄百万级的作业量而言，分组分层是一种极为有效的管理方式，考虑到批处理作业间具有依赖性，北京先进数通信息技术股份公司(以下简称“先进数通”)适时提出了流程化的管理思路：在纵向上，模拟目录与文件的结构关系进行作业管理；在横向上，将同一个层级归属为同一流程进行管理；在全局上，支持在任意两个对象间建立依赖关系。流程化管理思路如图1所示。

图1 流程化管理思路

在金融业务领域，一个强大的任务调度系统应具备支持7×24小时连续运转的能力，且即便某一任务环节出现问题，也不会影响其他环节正常运行。同时，鉴于银行批处理作业量仍会不断增加，因此统一调度平台还应具备一定的扩容能力，即可在薄弱环节通过增加资源、扩大调度容量等方式，增强系统性能。对此，先进数通在平台中引入分布式微服务架构，实现了统一调度功能。具体来说，即通过将调度方式按照功能、处理业务进行拆分，使得每个服务均可根据用户实际需求进行部署，不仅实现了整个调度平台无单点故障及便捷扩容，同时也为用户未来调度业务上云提供了便利条件。微服务架构如图2所示。

图2 微服务架构

一般情况下，常规的调度平台往往只注重调度能力，极少考虑开发及投产因素，从而易忽视真正的业务需求。尤其是金融业务普遍存在频繁变更、频繁上线等特点，因此使得敏捷开发能力、便捷投产能力也成为建设统一调度平台的基本要求。具体而言，敏捷开发能力主要包括图形开发、批量开发、接口开发等，其中，图形开发重在实现批处理作业间快速配置依赖，批量开发重在实现一次性大批量作业的导入或修改，接口开发重在实现与开发平台或其他系统的集成。此外，对于银行机构来说，上线投产也几乎每周都在发生，而调度投产则是指将调度配置信息根据业务需要迁移到生产环境，且为了最大程度降低投产风险，需尽可能将投产粒度控制在最低水平。换言之，即全行级统一调度平台需能够支持从每个系统、每个层级甚至到单个作业级别的投产需求。

对于银行机构而言，当一个全行级的统一调度平台建设完成，通常会被移交给运维部门，并要求统一调度平台具备全方位的监控能力及便捷高效的运维手段，可以对调度运行状况进行全方位监控(包括调度各个层级的监控、所有调度作业的监控、调度流程的监控以及血缘视角的监控等)，以节省运维部门在人力、物力上的投入。调度全方位监控如图3所示。

图3 调度全方位监控

在全方位监控之外，统一调度平台还需能提供便捷的运维手段，包括短信、微信、邮件等通知机制，以及支持运行过程中的各种人工干预措施，如中断、重做、续做、插队等(如图4所示)。

图4 人工干预措施

全行级统一调度平台需要具备统计分析功能，如大屏、总览、日报等，以便于运维人员快速、及时地掌握调度全局的运行情况，以及根据分析数据进行调优。可视化大屏展示如图5所示。

图5 可视化大屏展示

多头管理一直是金融数据管理中难以回避的重要问题，齐抓共管如“九龙治水”，不仅会严重影响管理效率，同时也难以界定金融业务数据的管理和使用权责。对此，通过建立分布式统一调度平台，可有效控制管理规范，使工作重心回归业务。

一是建立企业统一规范，即通过建设统一调度平台，建立相应的管理规范、开发规范、上线规范、运维规范，有效减少开发和运维工作量。

二是提高系统运行效率，即利用系统事件触发和负载均衡机制，实现调度快速响应及资源动态分配，从而充分利用调度资源、缩短调度时间窗口。

三是降低系统运行风险，即通过集群调度机制，在保障系统高效率的同时，确保其具备高可用性；以及通过并发控制及故障自动处理技术，减少人工操作，提升调度系统的容错能力，并同步降低运营风险。

四是完善企业IT架构，即通过建设企业级统一调度平台，实现企业调度任务的集中化、可视化管理，确保统一调度、统一监控、统一运维，最终让各系统建设者可更专注于业务处理本身，促使企业IT架构更为完善和规范。

随着内外部经济环境的不断变化，我国银行业面临着深刻的变革和挑战，从传统的银行1.0时代到如今以现代科技实现服务嵌入的银行4.0时代，科技对金融的“破局”效应不言而喻，而数字化建设无疑是助推金融业转型的强大引擎。先进数通作为国内大数据领域知名的软件产品及解决方案供应商，二十余年来坚持打造分布式统一调度平台，并与业界多家金融机构建立了长期良好的合作关系。未来，先进数通将基于长期积累的丰富经验，坚持为处于变革期的金融企业持续赋能!