论文部分内容阅读
信息化高度发展和银行业数据大集中的背景下，业务系统中断已经成为银行难以接受的风险..每次银行信息系统宕机都会导致很严重的损失，并且对银行的声誉带来很大的负面影响。建设一个高可用的信息系统成为了各商业银行的一个十分重要的工作，高可用数据中心基础设施建设是最基础的的工作。
招商银行是我国第一家企业法人持股的股份制商业银行。成立至今，招商银行通过实施科技兴行战略，积极推动业务的信息化，不断开发金融新产品来赢得顾客、赢得市场，从而超越物理网点的局限，快速成长为全球500强企业。招商银行一直将高可用作为信息化建设的一个核心目标。围绕这一目标，招商银行于2012年完成了上海数据中心的建设及投产工作，实现了“异地双中心”的信息化布局，从而大大提升了信息系统的可用性、安全性、连续性。
上海数据中心建设是招商银行信息化发展中的一个重要环节，凝聚了招商银行建设高可用信息系统的理念。在上海数据中心建设过程中，招商银行积累了以下经验：
选择高的设计标准
与互联网等行业的需求不同，高可用是银行业数据中心优先考虑的目标。目前，国内数据中心基础设施的设计主要有TIA 942、GB50174 、GB9361、GB/T2887等标准可以参考。
TIA 942标准是一套较为全面的以数据中心为对象的技术规范标准，它对数据中心建设提出了较新的设计理念、系统架构和技术指标。TIA 942参考美国The Uptime Institute文献，依照可靠性、可用性、可维护性将数据中心分为四个等级，按等级为数据中心的选址、配电系统、空调系统、综合布线等提出了较为细致的技术建议，有助于规划和设计更具前瞻性、更容易落地。为实现高可用设计目标，招商银行在上海数据中心项目中将TIA 942最高等级Tier IV作为项目的设计目标。
将高可用理念贯穿规划设计环节
第一，依据战略规划对数据中心准确定位
招商银行经全面调研，发现一主一备的数据中心传统容灾模式已不能满足信息高可用的要求。他们在分析技术可行性的基础上，充分考虑招商银行的实际状况、监管需求，以及同业动向后，认为上海数据中心不应是简单的灾备中心，而是和深圳数据中心一起，实现双中心运行。
第二， 高可用数据中心建设需注重选址
数据中心选址需要考虑以下几个因素：自然灾害、气候、电力、通信、市政配套、人才、治安、政策、与原有中心的距离等。综合来看，上海是建设招商银行第二数据中心的理想地点。
第三， 高可用的配电系统架构
参考设计标准和行业的实践经验，数据中心的供配电系统最终选择了2N STS架构：市电由独立双路供电，每路均配置柴油发电机组，经ATS切换开关，供电至两套UPS系统，两套物理隔离的UPS系统分别供电至STS设备，STS选择输出一路通过精密配电柜分配至末端IT设备。在此配电架构中UPS、STS、配电柜均成对配置，从而可以避免单点故障发生。系统具备容错功能，在UPS等设备故障或停机维护的情况下，IT设备仍能实现双路供电。
在完成架构设计后，借助数量化工具，招商银行对架构的可用性进行了量化评估。他们通过蒙特卡罗（Monte Carlo）模拟，计算出配电系统的可靠性、可用度、平均无故障工作时间（MTBF）和故障概率。相对2N系统，双中心架构可用性参数有了明显改善，其中可用性指标达到了99.99988%。
第四， 高可用空调系统架构
上海数据中心空调系统采用“2N 储冷罐”的架构，构建了两套独立的冷冻水系统，独立双路的冷冻水分别为每个机房供冷，在单套冷冻水系统故障、保养、维修的情况下，数据机房的运行温度不受到影响。空调系统的水泵、精密空调用UPS供电，结合储冷罐实现了不间断制冷。这种高可用的不间断制冷带来了两个好处：首先，空调系统的可用性有较大提高；其次，在高功率的情况下，避免市电切换到柴油发电机时机房温度急升的情况。
第五， 全面覆盖的环境监控系统
环境监控系统覆盖基础设施的配电、空调、温湿度、漏水、配电柜等每个环节，通过短信告警通知责任人，帮助实现故障的快速响应和快速处理。环境监控系统通过双短信号码告警、服务器冗余配置、独立干节点告警等措施，大大提升系统的稳定性和冗余度，实现了监控的高可用。
质量控制与深度验收测试相结合
为实现设计标准和高可用架构的落地，招商银行在数据中心的设计及实施过程中邀请了国际领先的实施团队和顾问团队来帮忙；在关键基础设施设备和材料选择上品牌与质量并重，层层严格把关；在过程管理中，业主、监理、顾问单位三方把关，消除过程隐患；竣工验收时间，通过全程满载模拟运行环境，对数据中心进行全方位深度测试和验收。
通过上述各种精细化管理措施，招商银行达到了上海数据中心高质量的设计目标。
建立可持续改进的运维管理体系
在原有IT运维管理建设的基础上，上海数据中心完成了ITIL运维管理体系的部署，从而实现了运维管理的流程化、制度化。上海数据中心还通过了ISO27001、ISO20000的管理体系认证。
上海数据中心建立的这种符合多种管理框架的管理体系具有较高的科学性，能够从多个维度提升了运维管理的成熟度。
运维管理体系的建设对于数据中心可用性的提升起到了很好的促进作用。
培养专业的建设和运维团队
招商银行一直注重基础设施团队的建设和培养，配置了配电、空调、建筑规划等专业人员。在建设和运维中，不断积累自己的经验，团队的技术能力和管理能力不断提升，也促进了高可用数据中心的建设工作。
招商银行在数据中心基础设施建设中，注重从规划、建设到运维的全生命周期管理，实现了多维度的精细化管理，努力落实建设高可用信息系统的战略诉求。
数据中心的建设要从自身需求出发，结合业界最佳实践，才能真正建设具有前瞻性的 ，能够满足企业战略需求的数据中心。
招商银行是我国第一家企业法人持股的股份制商业银行。成立至今，招商银行通过实施科技兴行战略，积极推动业务的信息化，不断开发金融新产品来赢得顾客、赢得市场，从而超越物理网点的局限，快速成长为全球500强企业。招商银行一直将高可用作为信息化建设的一个核心目标。围绕这一目标，招商银行于2012年完成了上海数据中心的建设及投产工作，实现了“异地双中心”的信息化布局，从而大大提升了信息系统的可用性、安全性、连续性。
上海数据中心建设是招商银行信息化发展中的一个重要环节，凝聚了招商银行建设高可用信息系统的理念。在上海数据中心建设过程中，招商银行积累了以下经验：
选择高的设计标准
与互联网等行业的需求不同，高可用是银行业数据中心优先考虑的目标。目前，国内数据中心基础设施的设计主要有TIA 942、GB50174 、GB9361、GB/T2887等标准可以参考。
TIA 942标准是一套较为全面的以数据中心为对象的技术规范标准，它对数据中心建设提出了较新的设计理念、系统架构和技术指标。TIA 942参考美国The Uptime Institute文献，依照可靠性、可用性、可维护性将数据中心分为四个等级，按等级为数据中心的选址、配电系统、空调系统、综合布线等提出了较为细致的技术建议，有助于规划和设计更具前瞻性、更容易落地。为实现高可用设计目标，招商银行在上海数据中心项目中将TIA 942最高等级Tier IV作为项目的设计目标。
将高可用理念贯穿规划设计环节
第一，依据战略规划对数据中心准确定位
招商银行经全面调研，发现一主一备的数据中心传统容灾模式已不能满足信息高可用的要求。他们在分析技术可行性的基础上，充分考虑招商银行的实际状况、监管需求，以及同业动向后，认为上海数据中心不应是简单的灾备中心，而是和深圳数据中心一起，实现双中心运行。
第二， 高可用数据中心建设需注重选址
数据中心选址需要考虑以下几个因素：自然灾害、气候、电力、通信、市政配套、人才、治安、政策、与原有中心的距离等。综合来看，上海是建设招商银行第二数据中心的理想地点。
第三， 高可用的配电系统架构
参考设计标准和行业的实践经验，数据中心的供配电系统最终选择了2N STS架构：市电由独立双路供电，每路均配置柴油发电机组，经ATS切换开关，供电至两套UPS系统，两套物理隔离的UPS系统分别供电至STS设备，STS选择输出一路通过精密配电柜分配至末端IT设备。在此配电架构中UPS、STS、配电柜均成对配置，从而可以避免单点故障发生。系统具备容错功能，在UPS等设备故障或停机维护的情况下，IT设备仍能实现双路供电。
在完成架构设计后，借助数量化工具，招商银行对架构的可用性进行了量化评估。他们通过蒙特卡罗（Monte Carlo）模拟，计算出配电系统的可靠性、可用度、平均无故障工作时间（MTBF）和故障概率。相对2N系统，双中心架构可用性参数有了明显改善，其中可用性指标达到了99.99988%。
第四， 高可用空调系统架构
上海数据中心空调系统采用“2N 储冷罐”的架构，构建了两套独立的冷冻水系统，独立双路的冷冻水分别为每个机房供冷，在单套冷冻水系统故障、保养、维修的情况下，数据机房的运行温度不受到影响。空调系统的水泵、精密空调用UPS供电，结合储冷罐实现了不间断制冷。这种高可用的不间断制冷带来了两个好处：首先，空调系统的可用性有较大提高；其次，在高功率的情况下，避免市电切换到柴油发电机时机房温度急升的情况。
第五， 全面覆盖的环境监控系统
环境监控系统覆盖基础设施的配电、空调、温湿度、漏水、配电柜等每个环节，通过短信告警通知责任人，帮助实现故障的快速响应和快速处理。环境监控系统通过双短信号码告警、服务器冗余配置、独立干节点告警等措施，大大提升系统的稳定性和冗余度，实现了监控的高可用。
质量控制与深度验收测试相结合
为实现设计标准和高可用架构的落地，招商银行在数据中心的设计及实施过程中邀请了国际领先的实施团队和顾问团队来帮忙；在关键基础设施设备和材料选择上品牌与质量并重，层层严格把关；在过程管理中，业主、监理、顾问单位三方把关，消除过程隐患；竣工验收时间，通过全程满载模拟运行环境，对数据中心进行全方位深度测试和验收。
通过上述各种精细化管理措施，招商银行达到了上海数据中心高质量的设计目标。
建立可持续改进的运维管理体系
在原有IT运维管理建设的基础上，上海数据中心完成了ITIL运维管理体系的部署，从而实现了运维管理的流程化、制度化。上海数据中心还通过了ISO27001、ISO20000的管理体系认证。
上海数据中心建立的这种符合多种管理框架的管理体系具有较高的科学性，能够从多个维度提升了运维管理的成熟度。
运维管理体系的建设对于数据中心可用性的提升起到了很好的促进作用。
培养专业的建设和运维团队
招商银行一直注重基础设施团队的建设和培养，配置了配电、空调、建筑规划等专业人员。在建设和运维中，不断积累自己的经验，团队的技术能力和管理能力不断提升，也促进了高可用数据中心的建设工作。
招商银行在数据中心基础设施建设中，注重从规划、建设到运维的全生命周期管理，实现了多维度的精细化管理，努力落实建设高可用信息系统的战略诉求。
数据中心的建设要从自身需求出发，结合业界最佳实践，才能真正建设具有前瞻性的 ，能够满足企业战略需求的数据中心。