多校区虚拟化平台的设计与实现
随着信息化技术不断发展，虚拟化技术越来越多应用于学校信息化建设。常见服务器虚拟化的软件主要有Microsoft Hyper-V、VMware vSphere和Citrix XenServer等等。在华东师范大学闵行校区(或中北校区)，通过服务器虚拟化软件VMware vSphere来将多台物理服务器组合成一个群集，并通过配置SAN共享存储，来实现vSphere的HA、DRS和vMotion的虚拟化高级功能，保障闵行校区（或中北校区）虚拟化业务高可用性和安全性。但这种方式存在单校区安全隐患，如当闵行机房（或中北机房）出现断电故障、用于支持物理服务器的PDU故障或者主机故障，将会使大范围的服务受到影响，导致业务的长时间中断或者不可恢复。
如何实现当任何一个校区的虚拟化出现故障，能够快速实现将业务飘到另一个校区提供服务，最大限度地减少损失，保证业务的高可用性与安全性，下文将从理论到实践详细阐述闵行校区和中北校区进行多校区虚拟化平台如何实施部署。
多校区虚拟化架构设计
华东师范大学闵行校区和中北校区的多校区虚拟化平台实施部署时，中北校区和闵行校区现有网络架构，服务器层面通过VMware vSphere 来实现服务器虚拟化。存储层面通过EMC vplex设备创建虚拟卷为虚拟化平台提供共享存储。通过服务器和存储虚拟化技术，在中北校区与闵行校区搭建两校区虚拟化平台。其基本架构如图1所示。
在中北校区和闵行校区各部署一套配置一致UCS 刀片，通过虚拟化软件VMware vSphere来实现服务器层面的虚拟化。两校区网络实现万兆互联，具有高速率、低延时、二层互通等特性，满足虚拟化业务对网络要求。在两校区通过部署EMC vplex设备来实现存储层面的虚拟化，两校区vplex设备通过四根万兆以太网实现两校区数据复制与通信。同时，在第三点故障域部署监控点，主要用于两校区vplex设备的健康监测与故障切换。在每一个校区，服务器与存储之间通过两台brocade光纤交换机进行连接。利用虚拟化技术，建立一个统一的、整体部署的多校区虚拟化的系统架构，实现多校区虚拟化业务的双活容错，提高信息化集成业务的连续可用性和安全性。多校区虚拟化实现
虚拟化的实施部署工作主要涉及服务器虚拟化与存储虚拟化这两个方面的实施部署，具体如下。
服务器虚拟化实现
在中北校区与闵行校区都采用配置一致的UCS 刀片用作虚拟化主机，虚拟化软件采用VMware vSphere。服务器虚拟化主要涉及以下三个方面工作。
1.UCS 刀片服务器初始化工作
在安装虚拟化软件ESXI之前，我们需要对UCS 刀片进行初始化工作。UCS 刀片主要用于部署虚拟化软件，承载虚拟化业务。UCS 刀片主要由机箱和FI（fabric interconnect）组成。FI处理UCS所有的管理任务，提供上联到现有的LAN和SAN，提供下联到机箱。UCS 刀片初始化工作主要通过FI管理控制台来配置，主要涉及organization配置、UUID suffix配置、server池配置、本地磁盘策略配置、service profile模板配置、MAC池配置、vlan配置、vlan group创建、虚拟网卡模板配置、wwpn配置、wwnn配置、vsan配置、vhba模板配置、FEX配置、电源冗余策略配置、FI端口类型配置、物理刀片服务器与service profile关联配置等。
2.vSphere ESXi安装配置
ESXi直接运行在物理服务器上，能够提供功能强大且经过生产验证的虚拟化层。通过对服务器硬件资源（如内存、存储器、处理器及网络设备等）进行抽象，实现多台虚拟机共享底层硬件资源。当我们完成UCS 刀片服务器初始化工作，接下来就需要在中北校区和闵行校区每台刀片服务器上安装和配置虚拟化软件ESXi。
（1）ESXi安装工作。通过调整服务器BIOS引导顺序进行安装工作，在安装过程中需要设置root用户密码等。
（2）ESXi配置工作。完成安装后，通过root用户进行配置，主要涉及IP地址、DNS、VLAN、主机名和功能许可license等。
（3）vCenter server安装配置
vCenter Server是VMware vSphere 一个关于ESXi主机和虚拟机集中管理的虚拟化平台。通过vCenter Server可以实现vSphere许多高级功能，如HA、DRS、vMotion等。
（1）vCenter server安装工作。按照vCenter server部署基本要求，我们将软件安装到一台Window Server2008R2 64位操作系统的虚拟机上。在安装过程中，需要配置vCenter的数据库，可以选择系统自带的Microsoft SQL Server Express,但对主机数量和虚拟机数量都有限制，仅适用于小规模部署，因此我们采用外部数据库配置。关于涉及到TCP、UPD端口都采用默认设置。
（2）vCenter server配置工作。通过客户端软件连接到vCenter server进行相关配置工作， vCenter server配置工作主要涉及vCenter server基本功能配置、虚拟化网络配置和共享存储配置等。
vCenter server基本功能配置。主要涉及添加vCenter 许可license、建立两校区数据中心、建立两校区群集、将两校区配置好的虚拟化主机添加到群集中、两校区群集HA、DRS和vMotion功能配置等。
虚拟化网络配置。网络虚拟化可以实现不同虚拟机之间以及虚拟机与物理主机之间通信。针对每一台主机采用标准交换机网络模式，根据业务需求对端口组、管理网络、网络流量调整、网络安全策略、物理网卡绑定等进行配置。
共享存储配置。针对通过光纤通道分配的两校区虚拟卷，建立虚拟机文件系统（VMFS）,实现多个物理主机对同一存储器同时执行读写操作。
存储虚拟化实现
通过服务器虚拟化配置，将中北校区和闵行校区的ESXi主机都添加到同一个群集中。要实现两个校区虚拟化，还需要为两校区主机配置SAN共享存储。基于两校区已有的EMC的存储设备，在闵行校区和中北校区各部署一台vplex设备，通过EMC vplex虚拟化技术，将中北校区和闵行校区的存储卷做成一个虚拟卷，对于中北校区和闵行校区的ESXi主机而言，识别到的是同一块存储。接下来详细介绍虚拟卷的配置，假设需要配置的虚拟卷大小为10T。
1.vplex 初始化工作。主要涉及Hostname与管理端口配置、meta-volume配置、时间同步配置、WAN interface配置、logging volume配置、监控点部署等
2.存储卷分配。在中北和闵行的EMC存储上分别划分相应大小为10T的卷给vplex设备。
3.存储卷标记。两校区的vplex识别到存储卷后并其进行标记，目的是让存储卷受vplex管理。
4.区间创建。分别在中北和闵行的vplex上创建区间。区间用来对vplex管理的存储卷进行空间规划，我们将10T的存储卷做成一个区间。
5.设备创建。设备创建过程实际上就是区间与设备映射的过程，我们采用一对一唯一映射方式在中北和闵行vplex创建设备。
6.虚拟卷创建。虚拟卷实际上就是将中北和闵行的vplex上的设备做成一个统一的卷，提供给虚拟主机使用。在创建虚拟卷中，需要创建一个consistency group（CG），这个CG包含这个全局的虚拟卷，在CG中需要设定一定取胜规则。
通过上面步骤，成功建立了虚拟卷。通过在中北和闵行的vplex建立存储视图，将UCS 刀片服务器的HBA卡wwpn、vplex通信端口以及虚拟卷结合在一起，实现虚拟卷分配到两校区ESXi主机，在虚拟主机经过磁盘扫描后，就可以识别到通过vplex分配的虚拟卷。
多校区虚拟化模拟测试
通过上面的部署，通过虚拟化技术实现了多校区虚拟化平台。在业务迁移到多校区虚拟化平台之前，需要对虚拟化平台进行一系列功能模拟测试工作，主要涉及服务器虚拟化和存储虚拟化的模拟测试。
服务器虚拟化测试
服务器虚拟化测试主要针对中北校区和闵行校区虚拟化平台主要功能测试，主要涉及VMware vSphere的HA、vMotion等功能测试。将从闵行校区ESXi主机中取出的主机A和从中北校区ESXi主机中取出的主机B做成一个群集，并开启群集的HA功能和vMotion功能，在主机A创建一台业务测试机C。
1.多校区HA功能测试
vSphere HA功能用于检测故障，对群集中运行的虚拟机提供快速恢复功能。核心功能包括主机监控、虚拟机监控和应用程序监控功能，用于在检测不到检测信号时最大程度地缩短停机时间。本文主要以主机监控功能测试为例。（1）通过对闵行ESXi主机A执行断电操作来模拟主机故障，同时针对业务测试机C，ping命令窗口显示请求超时。
（2）经过约200秒，业务测试机C的ping请求正常，业务测试机在中北校区主机B上重启完成。
（3）恢复主机A正常状态，对主机B执行断电操作模拟主机故障，同时针对业务测试机C，ping命令窗口显示请求超时。
（4）经过约200秒，业务测试机C的ping请求正常，业务测试机重回在闵行校区主机A上重启完成。
2.多校vMotion功能测试
VMware vMotion 可以将运行中的虚拟机从一台虚拟主机实时迁移到另一台虚拟主机上。在迁移过程中能够保证业务的连续可用性和事务的完整性。Storage vMotion可以在不中断服务的情形下实现虚拟机文件的不同数据存储之间的迁移。本文主要以虚拟机迁移为例。
（1）对位于闵行ESXi主机A上的业务测试机C执行vMotion，同时开启对业务测试机的ping操作。
（2）在vMotion整个过程中，出现一个ping包丢失，服务可用无中断，业务测试机成功迁移到中北校区ESXi主机B。
（3）对迁移到主机B的业务测试机C执行vMotion，同时开启对业务测试机的ping操作。
（4）在vMotion整个过程中，出现一个ping包丢失，服务可用无中断，业务测试机成功迁移到闵行校区ESXi主机A。
存储虚拟化测试
在两校区通过部署EMC vplex设备来实现存储层面的虚拟化，并在第三点故障域部署监控点，主要用于两校区vplex设备的健康监测与故障切换。存储虚拟化测试主要针对vplex设备及监控点进行测试，假定vplex设定规则为集群cluster1作为胜利者，测试结果参见表格1。
业务迁移方案
多校区虚拟化平台搭建与测试完成之后，接下来考虑相关业务系统迁移工作，主要涉及短信平台、报表系统、ESRS监控系统、Lenovo虚拟化平台、AD域服务器等。
1.针对部署在其他虚拟化平台的业务，如Lenovo虚拟化业务等
关于部署在Lenovo虚拟化平台的业务系统，由于不满足vMotion的条件，只能采用冷迁移的方式。
（1）在vCenter上新建一个群集，将Lenovo主机添加到新建的群集中；
（2）将Lenovo虚拟平台的业务虚拟机进行关机，并将虚拟机迁移到多校区虚拟化平台群集上；
（3）迁移完成后，在两校区虚拟化平台上将业务虚拟机重新启动，业务运行。
2.针对部署在实体机上的业务，如报表系统、短信平台等
（1）针对部署在实体机上的业务且操作系统为Window或者Linux系统，如报表系统、ESRS监控系统、AD域服务器等。我们采用VMware vCenter Converter工具来实现实转虚操作，将实体机转化成两校区虚拟化平台的虚拟机。
（2）针对部署在实体机上的业务且操作系统为solaris系统，如短信平台。我们只能采用在两校区虚拟化平台重新部署的方式，无法采用VMware vCenter Converter工具来实现实转虚操作。
通过上述操作，完成相关业务系统的迁移工作。经过一段时间观察，业务运行稳定，达到预期效果。针对后续新增业务系统，如K2系统、资源管理系统等，采用直接部署在两校区虚拟化平台上的方式，进一步提高业务的连续可用性和安全性。
多校区虚拟化平台采用EMC vplex设备创建的虚拟卷作为共享存储，通过VMware vSphere虚拟化技术来实现虚拟化业务在两校区虚拟主机上高效稳定运行。到目前为止，在多校区虚拟化平台上迁移和新建的业务运行稳定，达到预期目标。多校区虚拟化平台建立了一个统一的、整体部署的虚拟化异地容灾的系统框架，实现两校区虚拟化业务的双活容错，有效解决了单校区安全隐患，提高信息化集成业务的连续可用性和安全性。
（作者单位为华东师范大学信息化办公室）