金融业数据库国产化趋势及典型问题 -浅析数据存储部署方案

字数 4491阅读 4485评论 2赞 7

内容摘要：

存算分离架构适合金融业高弹性和高负载业务，可提高可靠性、资源优化、能力复用和架构先进等优势。存算一体适合业务负载较低的场景。未来数据库自主可控的趋势下，存算分离架构是金融行业的趋势。

当前摘要为AI生成

# 摘要：
本文介绍了国内数据库国产化的背景、金融业的发展趋势特点及存在的典型问题。以数据库国产化进程中，基于数据库本地盘部署的“存算一体”方案为例，分析了其优势及实践中面临的备份慢、扩容难和成本高等问题。结合金融业数据库架构发展趋势，探讨了基于专业存储的“存算分离”方案优势、两套方案的技术特点和适用场景，对金融业数据库国产化中，数据库存储部署方案及趋势进行分析和探讨。

# 1   背景
近年来，在全球国际的紧张形势、国家政策的大力支持、国内企业的不懈努力和行业应用的不断探索中，国产IT产品不断发展、生态逐渐健全。IT产业生态体系庞大，从产业链角度看，主要由基础硬件、基础软件、应用软件、信息安全 4 部分构成，其中芯片、操作系统、数据库是最重要的产业链环节，而数据库作为基础软件皇冠上的明珠，一直是国内数据库厂商奋发攻关和行业用户重点关注的对象。

通过多方不断努力，数据库国产化趋势愈发明显，金融行业在数据库领域的信息创新不断深化，但同时也面临着，国产数据库产品种类繁多、技术线路迥异、规范标准匮乏等问题。本文从金融行业视角出发，对国产数据库发展趋势进行分析，并以“数据库数据存储部署方式”作为切入点，分析金融行业在数据库国产化中的典型问题进行分析和探讨。

# 2   趋势

## 2.1国产化进程加快
在政策指引和监管考核推动下，金融业作为唯二的信息创新试点行业取得了瞩目的成绩。上百家金融业试点单位在数据库国产化的进程中，进一步增强信心，向50%国产化率大步迈进。

## 2.2使用范围扩大
通过近3年的持续探索，国产数据库使用场景逐步从一般类到重要类应用、承载数据量逐步增大、需求特点日趋复杂，其适用范围势必更加广泛、场景更为丰富、更为全面。

## 2.3多线路并存
在数据库国产化进程中，涌现出数百家产品，但以数据库发展的历史经验来看，必然逐步显现马太效应，经过市场磨砺逐步收敛，但仍会在相当一段时间内呈现多线路并存的态势，同时通过供给与需求两侧的共同努力，逐步形成数据库行业的事实标准。

## 2.4逐步带动整体架构转型
数据库国产化对于金融业来说，既是压力也是契机。在数字化转型、信息创新和数据赋能的大趋势下，金融机构必然会同时考虑，利用数据库国产化的契机加速向分布式、云原生、微服务等技术更迭。

# 3   典型问题
当前，国产数据库产品中，主要存在MySQL和PG两个线路。以MySQL线路为例，MySQL作为当前最流行的数据库之一，使用广泛，生态丰富，OLTP性能强大，适用于中小型应用场景。特别是中小企业在使用在MySQL时，为降低成本，提高维护便捷性，普遍采取国产数据库+服务器本地盘的部署策略。但随着数据库国产化的深入，单库数据量急剧增长，场景更为复杂，此类部署方式在实践中逐渐捉襟见肘。本文将探索本地盘与专业存储两种部署方式的异同。

## 3.1广泛采用本地盘部署的原因

**（1）国产数据库技术线路的选择**
从目前国产数据库的开源技术路线上，要存在两大类别的，分别是“引用开源”和“自主研发+自主开源”。目前多数的国产数据库采用的是“引用开源”类型。以“引用开源”方式，可以有效利用业内较为成熟开源数据库的技术架构、核心代码及产品生态，快速形成自有产品体系，通过行业实践快速更迭，形成自有产品生态。

目前国内“引用开源”方式，主技术线路有PG和MySQL。MySQL作为当前最流行的数据库之一，国产数据库基于其线路的产品，必然在功能特点、部署方式上存在路径依赖（方案惯性）。

**（2）安装部署便捷**
数据库基于服务器本地盘部署方式，由于其基于服务器即可完成整个数据库架构的搭建，安装部署和维护管理均较为便捷，特别是近年随着SSD盘性价比的大幅提升，更高性能、更低故障率的特性，使数据库本地盘部署方式得到了更为广泛的应用。

**（3）使用场景单一**
相对金融行业，其他行业特别是中小企业在投入资金、科技意识、技术能力和人员数量等方面存在较大差距，MySQL等开源数据库凭借其成本和技术特点得到了广泛使用。但中小企业受限于企业规模和场景需求，往往使用国产数据库场景的数据量较小、功能较基础，本地盘部署已基本能够满足性能、功能及可维护性要求。

## 3.2存在问题
数据库本地盘部署方式的广泛性和便捷性，较大地推动了金融行业数据库国产化进程，但随着数据库国产化的深入，在实践中也存在一些典型问题。

**（1）备份慢**
随着单库数据量的增长，数据库备份耗时大幅增加，对业务系统维护窗口需求提出了更高要求，备份期间对系统性能也造成了部分影响。亟需更为快速便捷的数据备份方案。

**（2）扩容难**
基于本地盘部署的数据库，其物理空间不足时，只能通过扩充服务器物理硬盘，往往受制于服务器硬盘插槽及配置，无法弹性扩容。另一方面，随着数据库数量的增多，各业务系统的数据增长不均衡，使用本地盘部署的方式，极大的增加了扩容维护工作量。

**（3）成本高**
随着数据库国产化的深入，使用场景更加丰富。而对于客户来说，往往购买通用标准配置服务器以降低采购和维护成本，但由于业务种类的差异，通用标准的固定计算与存储配比，一般会出现负载不匹配，导致资源闲置。同时为保证本地盘部署方式的高可用性，通常采取增加数据库副本数量，增加了技术架构的整体成本。

**（4）容灾少**
数据库容灾是企业容灾体系的重要组成部分。一般来说，重要类数据的容灾需要采用多种容灾技术，从多个维度进行数据保护。例如，在传统容灾架构体系中，重要类数据往往采用存储3DC及数据库逻辑复制的方式实现数据的物理和逻辑的多副本多重保护。而数据库本地盘部署方式，仅能通过数据库逻辑层实现数据复制和保护，相对来说容灾手段较为单一，特别是当前国产数据库仍处于产品成长期，相关容灾功能尚在完善期，实现重要类数据容灾场景有些捉襟见肘。

# 4   另一种思路
若我们将数据库存放于本地盘的部署方式称为“存算一体”，那么将由专业存储提供数据库存储功能与服务分离的“存算分离”架构也许是数据库国产化进程中，解决上述典型问题的另一种思路。

## 4.1技术发展趋势

**（1）数据库架构发展趋势**
从 20 世纪 60 年代至今，数据库的发展历程大致经历了前关系型阶段（1960-1970）、关系型阶段（1970-2008）及后关系型阶段（2008-至今）三个阶段。进入 21 世纪，随着信息技术及互联网不断进步，数据量呈现爆 发式增长，各行业领域对数据库技术提出了更多需求，数据模型不断 丰富、技术架构逐渐解耦，一部分数据库走向分布式、多模处理、存 算分离的方向演进。

**（2）监管部门技术要求**
对于分布式数据库，国家发布的《分布式数据库技术金融应用规范 技术架构》 （JR/T 0203-2020）要求：“分布式事务数据库应采用计算与存储分离、计算分布式和存储分布式的技术架构”。目前很多金融用户由于现阶段国产数据库试点场景以一般管理类系统为主，数据量的规模相对较小，实际并没有做存算分离架构，而是采用本地盘方案。但未来随着数据量的增长，分离架构势必会得到更为广泛的认可。

**（3）技术及场景发展趋势**
随着云/分布式的发展，敏态场景数据量快速增长，原有的融合模式资源使用率低下，推动部分企业开始存算分离的试点。同时随着全闪存储架构的成熟，其对性能的改善等也促进了存算分离方案的可落地性。

## 4.2“存算分离”的优势
“存算分离”带来的最大好处就是计算资源和存储资源可以独立灵活扩展，提高计算和存储资源利用效率，计算和存储之间相互故障隔离，同时底层数据可以基于数据湖的理念，构建一个可以承载多样化数据、数据自由流动的数据底座，为业务层提供多样化的服务，基于存储层的灾备能力，也可以重新构建大数据低成本保护体系建设。其优势具体如下：

**（1）可靠性提升**
外置共享存储可靠性结合云原生故障隔离和迁移能力，解决一体化方案可靠性短板，并为降低资源冗余提供基础。

**（2）资源优化**
解决数据快速移动，实现计算、存储弹性扩展，按需分配，减少因可靠性、运维能力不足造成的硬件冗余。

**（3）能力复用**
使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力，快速提升数据库整体解决方案能力，节约开发成本。

** （4）架构先进**
基于开放生态存储底座，可快速实现云原生数据库能力，不影响上层应用，实现平滑演进。

同时，存算分离的使用也存在一些弊端，包括分离后组网更复杂，IO路径更长，交互更复杂以及带来的性能下降等，因此需要结合不断发展的新技术如RDMA来降低新架构下的性能损耗，存算分离需要达到一定的数据量才会体现出投资成本优于存算一体化方案。

趋势上对于大规模的云平台部署存算分离更适合，同时有些传统的系统和应用，原来使用OS级别的存储管理能力，扩展性不足，无法匹配集群化分布式计算架构发展，所以需要独立的分布式的软件定义存储管理系统等专业存储。
   
##    4.3适用场景
“存算一体”一般适用访存密集（大数据需求）和计算密集（低精度规整运算）的特征业务。从场景维度来说，存算一体适合面向业务负载较低的场景，业务种类比较固定、系统规模较小的场景，而不适合业务负载较重，需要高计算性能的场景。适用场景如，银行的跑批业务和数据处理业务，以及中小规模的云平台部署，尤其是现在对于一些分行 / 网点的边缘云部署。

而存算分离适合面向高弹性和高负载业务，可支撑多种类型差异较大的业务，系统规模较大的存储资源池，比较适合面向云化的场景。不适合较小规模场景下，存算分离成本比较高，计算与存储都需单独部署，因此并不适合简单场景。

以银行业务场景，可以从性能、容量、扩展能力、可靠性等多维度考虑：
1) 针对银行的核心/关键应用，结合数据量和性能要求，更多偏向存算分离方案；
2) 对于转向云的应用，小规模场景下资源充分利用，存算一体性价比高，对于未来有灵活扩展的需求，分离的架构更加适合；
3) 对于非结构化数据/敏态应用，更多的是采用存算分离的架构；
4) 对于大数据相关业务，存算分离是未来的趋势；
5) 对于金融的安全性/容灾必要性要求，分离架构更好的隔离故障的影响。

具体可见下表：
![](/home/attachment/202305/25/1250049_168500547442283.png)

# 5   总结
通过上文的分析介绍，当前数据库国产化进程加快、使用范围扩大、多线路并存、逐渐推动整体架构转型的几大趋势下，数据库自主可控的进程既存在一定的典型难点与问题，但同时也不妨换种思路，由专业存储提供数据库存储功能与服务分离的“存算分离”架构作为未来自主可控道路的强有力方案。在适宜场景下，面对眼花缭乱的技术和产品，金融企业需要结合自身情况和对技术特性的深入了解，才能选择TCO最优的、稳定的解决方案。

银行数据库国产化存算分离 PostgreSQL 国产数据库 MySQL

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！