节省空间、使用运维简单、快速敏捷部署、提供更高的性能…以上优势对于部署和使用过 SmartX 超融合的 IT 基础架构部门人员来说并不陌生。这些优势,对于 IT 运维人员来说是可以量化,可以被看得见的。
但对于业务部门来说,他们期望的 IT 基础架构是对业务系统透明,因此业务部门和 IT 运维部门对于基础架构的看法和关注点有所不同。业务部门更关注什么?
- 业务部门首先关注的是系统的稳定性,即:基础架构部门提供的 IT 基础设施资源是否稳定、可靠;
- 业务部门也关注所提出的资源请求被响应的效率,即:IT 基础设施资源提供的敏捷性;
- 同时,业务部门也非常关注什么样的 IT 技术能够提升业务系统的指标和效率,即:让运维部门所认为的很牛的 IT 技术如何转化为业务部门能够看得见的可量化的业务指标?
今天我们来谈一谈,如何利用超融合技术给保险行业报表系统提升效率。
报表、MIS 系统(不同保险公司的叫法不尽相同,本文统称 “报表系统” ),对于保险行业来说并不陌生,报表系统通常由以下三个部分组成:第一部分为业务系统数据源;第二部分是数据加工处理部分,第三部分为报表的使用。
三个部分中最为核心的是用于存储、加工处理数据的加工处理平台部分。首先通过数据抽取工具将各重要业务系统数据抽取到数据仓库中,在数据仓库中按照需求对数据进行计算、加工处理,然后将加工好的数据按照需求通过报表系统进行展现,以满足各部门人员对报表数据的需求。
对于报表系统主要关注两个指标:
- 数据仓库中数据的新鲜度,即:仓库中的数据是否为最新数据,通常行业内期望能够获取前一工作日的数据,所以数据采集的速度越快越好。
- 数据加工和展现的速度,即:用户在提交了报表请求后,在多久之内能够获得生成的报表数据,通常根据用户所要查询的不同复杂程度和报表内容,生成报表的时间也有所不同,用户的希望是越快越好。
某用户报表系统现状
用户通过数据抽取工具将业务数据抽取到 Greenplum 数据库,报表系统则是采用 IBM Cognos 报表工具。Cognos 部署于某知名中高端存储和 VMware 虚拟化组成的虚拟化平台上。
当前系统每天的基本业务流程如下:
- Job 1:每天凌晨 01:00 ,从 Greenplum 中导出数据到各个前端 Cognos VM,导出数据所需时间 4-5hr。
- Job 2:每个 Cognos 主机进行不同模型的计算分析并生成报表,报表类型按照难易程度分为简单模式、中等模式、困难模式。
当前系统运行效果数据如下:
通过超融合架构对现有系统进行改造
通过对原有系统分析了解到,由于 Cognos 所在虚拟机部署于传统架构存储上,而在从 Greenplum 数据库向 Cognos 主机导入数据的过程中,会有大量的顺序 IO 写入。传统存储采用 SAS 磁盘作为存储介质,存储的性能成为数据写入速度的瓶颈。
因此,我们通过部署一套三节点(最小部署规模)超融合一体机,搭建了 SmartX 超融合集群。将 Cognos 虚拟机在超融合平台进行部署。
单节点硬件配置(集群共 3 个节点)
- CPU:2 x Intel Xeon E5-2670 v3(2.30 GHz,12Cores)
- RAM:128GB
- SSD: 2 x 400GB
- SATA:4 x 1TB
同样的导出数据规模,以及报表模型,测试数据如下:
效果对比分析
Job 1:数据导出速度由之前的 4.5hr,缩短至 0.5hr。性能提升了 8×。
Job 2:三种不同复杂程度的报表模型,有 1× - 3× 的性能提升。
对业务的提升
通过对用户现有平台的超融合改造,从两个重要 Job 阶段体验到超融合对业务系统带来的价值:
- 数据导出速度提升 8 倍,理论上用户可以在更早的时间内获取最新的业务数据,提升了报表数据源的新鲜度;同时随着业务数据的不断增长,原有传统架构很快就会突破业务部门所规定的时间限制窗口(1:00am - 6:00am),而部署在超融合架构上的报表系统还远远没有达到窗口限制。
- 报表生成速度的提升,进一步提升相关业务人员的效率以及客户的满意度,提升业务水平。
随着金融行业 IT 系统的迅速发展,业务系统的发展对 IT 系统的依赖程度与日俱增。按照金融科技服务金融业务的目标和宗旨,每一次 IT 基础架构的变革和创新都将以更好地服务业务为目标,只有能够提升业务效率的 IT 系统才能真正实现价值。