本节书摘来自异步社区《深入学习vmware vsphere 6》一书中的第1章,第1.2节,作者:王春海著,更多章节内容可以访问云栖社区“异步社区”公众号查看
要搭建企业虚拟化的基础平台,有两种选择。其一是选择全新的服务器、存储器及交换机,直接搭建新的虚拟化平台,之后再安装配置一些应用服务器;另外一种是使用现有的设备,通过安装虚拟化产品、虚拟化原有的服务器来实现。这时候就要考虑原来的一些基础设备,如原来的服务器、存储、交换机。这些要根据服务器、存储的性能、参数,综合考虑。
1.2.1 虚拟化与传统物理服务器的区别
在传统的应用中,每个应用(或项目)运行在单独的物理服务器中,每个物理服务器只跑一个网站或运行一个项目。在大多数的政府、企业中,单台服务器大多配置了1个cpu、2~3个硬盘做raid1或raid5、单电源、单网络(服务器2块网卡或4块网卡只用一块)。而在虚拟化的项目中,虚拟化主机服务器大多配置2~4个cpu,6~10个甚至更多硬盘做raid5或raid50、raid10,2~4个电源,4个或更多的物理网卡冗余。虚拟化中每台服务器都有冗余,在服务器中的单一网卡、硬盘、电源,甚至cpu出现问题时都会有冗余设备接替。另外,在虚拟化项目中,通常采用共享的存储,虚拟机保存在共享的存储中,即使某台主机完全损坏,运行在该主机上的虚拟机也会在其他物理主机启动,保证业务系统不会中断。
组成虚拟化项目中每个节点主机的性能更高。单一的应用主机,大多配置2个硬盘做raid1,或者3个硬盘做raid5,这样磁盘性能比较低。如果是3块硬盘做raid5,不如再添加1块硬盘,4块硬盘组建raid10,可以获得较好的读写性能。在虚拟化主机中,通常用6块或更多的硬盘,组建raid5、raid50或者raid10,磁盘性能较高。另外,虽然虚拟化后是在同一个主机上跑多个虚拟机,但这些虚拟机并不会在同一时刻都要求较高的cpu与磁盘、内存利用率。根据多年的虚拟化实施经验,在虚拟化后,不会降低原来的每个应用的响应速度,而是会略有增加。
当前一些单位,为了成本考虑,采取大容量、低转速的sata或sas(7200转)的磁盘组成raid。如果采用这种磁盘,例如采用1tb、2tb、3tb,甚至4tb的7200转磁盘,建议采用至少8块组成raid10,而不是采用4块组成raid5。由于raid5的写惩罚为4,在较低转速、较低性能硬盘、较小数量采用raid5时,其写性能非常低,不建议采用。另外,大容量的磁盘,在raid重建时,需要花费更长的时间。
1.2.2 企业虚拟化进程
在企业实施虚拟化的时候,有两种方案,一种是新建全新的虚拟化数据中心,另一种是利用现有的基础设施,升级改进,或者是添加一部分新的设备(服务器、存储、交换机),与原有的设备组成一个新的数据中心,并且将原有的设备慢慢虚拟化。
在企业实施虚拟化的过程中,大多是先虚拟化不太重要的物理机,将这些物理机迁移到虚拟机中运行一段时间(通常为1周的时间),查看虚拟化后是否对业务应用有所影响,并模拟一些故障,对以后可能出现的问题进行实验,等这些测试完成之后,再虚拟化其他的物理机。而一些不适合虚拟化的应用仍然会运行在原来的物理主机上,例如,用作视频点播的服务器、重要的数据库服务器等这些应用。
1.2.3 vsphere虚拟化规划要点
在使用vmware vsphere 6作为虚拟化基础平台前,要选择服务器(硬盘、网卡、内存、cpu)、存储(控制器数量、接口类型、磁盘)、交换机等设备。简单来说,如果你只有一台服务器,那么虚拟机会放在这一台“本地服务器”的“本地硬盘”中。如果有多台服务器(服务器数量多于2台),要充分发挥vsphere的优势(群集、容错、vmotion),采用共享存储是必然的选择。但在vsphere 6中又多了一个选择,可以利用服务器本地硬盘通过网络组建vsan,实现原来传统架构(虚拟机运行在esxi主机,但虚拟机保存在共享存储,而不是服务器本地硬盘)的共享存储的功能。
在规划vsphere虚拟化系统时,要考虑以下几点:服务器与存储的数量,vmware esxi安装在何位置,esxi服务器网卡与虚拟机网络,是使用共享存储,还是vsan等。
关于vmware esxi系统:可以将vmware esxi安装在服务器本地硬盘、服务器主板上的u盘或sd卡,或通过共享存储划分给服务器的空间。不推荐为服务器单独配置sas或sata盘,尤其是两块盘组建raid1用来安装vmware esxi,这是严重的浪费。
【说明】
现在大多数的虚拟化项目是商务与技术分离的。一般是商务先去谈业务,等签订合同之后,技术人员负责实施。但许多商务并不是特别地“精通”虚拟化,他们可能更多为了利润或其他原因,给客户推荐一些不太合适的“配置”。例如,在许多虚拟化项目中,尤其是在一些“不差钱”的单位,在配置了emc等高端共享存储之后,还会为服务器配置6块甚至更多的sas磁盘,而这些磁盘仅仅用来安装esxi的系统。
如果你的服务器没有配置raid卡,或者只有一块本地sas磁盘,那么,由于vmware esxi不能安装在这两个磁盘中(ssd与sas),你可以为服务器配置最小1gb的u盘,将vmware esxi安装在u盘中。例如,ibm服务器主板上有usb接口,hp服务器主板有cf卡插槽,这都是用来安装虚拟化系统的。
关于服务器的网卡:遵循管理与生产分离的原则,并且为了提高系统的可靠性(冗余),推荐至少为每个服务器配置4个网卡(或4端口网卡),每个网卡(端口)至少是千兆。在vmware vsphere中,为vmware esxi管理地址分配两个网卡,组建标准虚拟交换机,为生产(虚拟机网络流量)分配两个网卡,组建标准交换机或分布式交换机(与多个vmware esxi主机)。对于生产环境所使用的网卡及标准或分布式交换机,如果有多个网段,通过创建“端口组”的方式,为每个vlan网段创建一个对应的“端口组”,并且为虚拟机分配对应的端口即可解决。一般情况下,可以将vmotion、fault tolerance放置在“管理端口”上。
有一次,一个单位在设计esxi网络系统时,每台服务器都是较为高端的4路cpu、128gb内存、6块网卡的主机,但这些esxi主机所连接的网络竟然是百兆网络(现有网络是百兆网络,没有考虑升级,因为这个部门不负责网络)。更过分的是这6块网卡在设计时,1块网卡做esxi主机管理及1个生产网络,另5块网卡连接到5个不同的网络(不同的业务科室在不同的网段)。而采用6块网卡的原因是一共有6个不同的网段,那么如果有10个不同的网络是不是就要用10块网卡?如果有30个、50个,甚至更多呢?那服务器有这么多位置插这些网卡吗?在这个设计中,使用4块网卡即可(2个管理,2个生产跑vlan),另外需要将核心网络升级到千兆。
如果要使用vsan,还要再配置2个网卡,为vsan使用单独的网卡。
如果使用iscsi的存储,也要为iscsi单独配置2个网卡。另外,建议选择10gb或40gb以太网,1gb的网络不建议使用iscsi,因为这是性能瓶颈。
关于vsan:如果要使用vsan,而不是使用共享存储,每台服务器至少有一个单独的固态硬盘、一个或多个物理磁盘。一般情况下,服务器都有多个硬盘并且有raid,你可以使用raid划分出一个20gb的逻辑磁盘(不要太小,也不要太大),用来安装vmware esxi系统,剩下的空间划分第2个逻辑磁盘,用作vsan。另外还要为服务器配置至少一个单独的固态硬盘(ssd),用作vsan的缓存。
从usb、sd设备引导virtual san主机时,引导设备的大小必须至少为4gb。如果esxi主机的内存大于512gb,则从satadom或磁盘设备引导主机。从satadom设备引导virtual san后,必须使用单层单元(slc)设备,并且引导设备的大小必须至少为16gb。
1.2.4 如何利用现有基础架构
对于原来的32位服务器,原则上是全部淘汰,因为这些服务器购买时间较长,性能较低,潜在故障率较高,不能满足现有应用。如果是近一、两年新购买的服务器,则考虑将这些服务器整合、扩充,用作虚拟化主机。大多数服务器能扩充到很高的配置,而标配并不是很高。例如,ibm 3850 x5服务器最大可以扩充到4个cpu、1tb内存、双电源。以cpu为例,ibm 3850 x5出厂标配2个cpu,这cpu可以是6核、8核。如果企业现有多台ibm 3850 x5服务器(如2台或更多),可以将这2台的cpu放到其中一台,而另一台则可以新购4个8核的cpu。同样,内存也可以集中到一台,另一台则配置多个单条8gb的内存。同样,对于其他厂家的服务器,例如dell r910,标配2个cpu,最大支持4个cpu、2tb内存、4冗余电源,如图1-2-1所示。
在虚拟化实施的过程中,如果使用现有的服务器,推荐优先为服务器添加内存、网卡,其次是配置冗余电源、cpu。至于硬盘,在企业虚拟化项目中,优先是配置共享的存储,其次是添加本地硬盘。
除了做虚拟化主机外,还可以将原有的服务器改作存储服务器。例如,如果某服务器配置较低并且不具有升级的价值,但具有较多的本地硬盘时,可以将硬盘集中到某台服务器中,将这台服务器通过安装openfiler(32位或64位产品都有)、windows server 2008 r2或windows server 2012,组成存储服务器,通过千兆网络为虚拟化环境提供iscsi的网络存储,这些存储可以用来做数据备份或扩展。
1.2.5 服务器性能与容量规划
在实施虚拟化的前期,有一个虚拟机容量规划。就是一台物理服务器上,最大能放多少虚拟机。实际上这是一个综合的问题,既要考虑主机的cpu、内存、磁盘(容量与性能),也要考虑运行的虚拟机需要的资源。在实际使用时,系统总有至少30%,甚至更高的富余容量,不可能让一个主机上的资源利用率超过80%,以致接近100%,否则一旦达到这些数值,整个系统响应会比较慢。
在估算虚拟化的容量时,在只考虑cpu的情况下,可以将物理cpu与虚拟cpu按照1∶4~1∶10,甚至更高的比例规划。例如,一台物理的主机具有4个8核心的cpu,在内存、存储足够的情况下,按照1∶5的比例,则可以虚拟出4×8×5=160个vcpu,假设每个虚拟机需要2个vcpu,则可以创建80个虚拟机。在实际实施虚拟化的项目中,大多数虚拟机对cpu的要求并不是非常高,即使为虚拟机分配了4个或更多的cpu,但实际上该虚拟机的cpu使用率只有10%以下,这时候所消耗的物理主机cpu资源不足0.5个。如图1-2-2所示,这是使用vcenter operations manager统计的容量分配过剩的虚拟机,从列表中可以看出,大多数虚拟机的cpu利用率不足10%,实际使用的内存也较低(尽管为大多数虚拟机分配了2gb内存,但实际使用只有256mb~576mb内存之间)。
在虚拟化的项目中,对内存占用是最大、要求最高的。在实际使用中也是如此,管理员会发现,物理主机的内存使用率会接近80%,甚至90%。因为在同一物理主机上,规划的虚拟机数量较多,而且每个虚拟机分配的内存又较大(总是超过该虚拟机实际使用的内存),所以会导致主机可用内存减少,如图1-2-3所示,这是某正在运行中的vmware esxi 6主机的cpu与内存使用情况。
在为物理主机配置内存时,要考虑在该主机上运行多少虚拟机,这些虚拟机一共需要多少内存。一般情况下,每个虚拟机需要的内存在1gb~4gb,甚至更多,还要为vmware esxi预留一部分内存。通常情况下,配置了4个8核心cpu的主机,一般需要配置96gb,甚至更高的内存,配置2个6核心cpu的主机,通常要配置32gb~64gb内存。
1.2.6 统计与计算现有容量
如果要将现有的物理服务器迁移到虚拟机中,可以制作一张统计表,包括现有物理服务器的cpu型号、数量、cpu利用率,现有内存及内存利用率,现有硬盘数量、大小、raid及使用情况。表1-1是某单位现有服务器的情况统计(在实际情况下,该单位服务器大约有100台,表1-1及后文表1-2只是列出了部分服务器的型号及资源使用统计)。
根据上表,我们计算每台服务器实际需要的cpu、内存与磁盘空间,计算方式为:
实际cpu资源=该台服务器cpu频率×cpu数量×cpu使用率
实际内存资源=该台服务器内存×内存使用率
实际硬盘空间=硬盘容量−剩余空间
例如,该表中第一台服务器需要3.0ghz×2×15%=0.9ghz,内存为2gb×30=0.6gb,硬盘为73gb-30gb=43gb。
然后在表1-1后面计算,实际得出情况如表1-2所示。
经过计算,本项目中已经使用了91.1944ghz的cpu资源,以cpu频率3.0hzcpu为例,则需要30核心(负载100%),但要考虑整体项目中cpu的负载率为60%~75%,以及管理等其他开销,则至少需要40个cpu核心,如果配置4个6核心的服务器,则需要大约4台物理主机。至于内存,现在已经使用了182gb,加上管理以及富余,以360gb计算,每服务器96gb~128gb即可。
如果不购买新的服务器,而从中选择4~8台高配置的服务器(如6台),将这100台服务器使用虚拟化技术,迁移到其中的6台,则节省的电费(以每台服务器400w、工业用电1.1元/度计算)约34.69万元。
如果要使用现有的服务器,则需要为某些做虚拟化主机的服务器扩充内存。使用现有服务器,如果不扩充现有服务器的cpu,在2个cpu的主机中,将内存扩充到64gb为宜。
根据表1-2计算可知,己使用6.9tb的硬盘容量,要为整个虚拟化系统规划10tb,甚至更多的存储。在备份原有服务器数据的情况下,可以集中300gb、146gb的硬盘到虚拟化主机上统一使用。在使用6台物理服务器做虚拟化主机的情况下,每台服务器需要1.5tb~3tb的空间。在使用raid5时,使用6块300gb即可提供1.5tb可用容量,使用8块300gb做raid50时可提供1.8tb可用容量。使用12块300gb硬盘、raid50时可提供3tb的容量。
1.2.7 新购服务器的选择
在实施虚拟化的过程中,如果现有服务器满足需求,则可以使用现有的服务器,如果现有服务器不能完全满足需求,则可以部分采用现有服务器,然后再采购新的服务器。
在规划vsphere数据中心时,有两种不同的作法。一种是较小的服务器数量,但每台服务器的性能较高。例如,使用4cpu、4u的机架式服务器。另一种是较多的服务器数量,但每服务器服务器性能相对较差。例如,使用2cpu、2u的机架式服务器。还有一种是使用更为集中的刀片服务器。具体采用哪种,看企业需求、预算。
如果采购新的服务器,可供选择的产品比较多。如果单位机房在机柜存放,则优先采购机架式服务器。采购的原则是:
(1)如果2u的服务器能满足需求,则采用2u的服务器。通常情况下,2u的服务器最大支持2个cpu,标配1个cpu。在这个时候,就要配置2个cpu。
如果2u的服务器不能满足需求,则采用4u的服务器。通常情况下,4u的服务器最大支持4个cpu并标配2个cpu,在购置服务器时,为服务器配置4个cpu为宜。如果对服务器的数量不做限制,采购两倍的2u服务器要比采购4u的服务器节省更多的资金,并且性能大多数也能满足需求。
(2)cpu:在cpu频率与核心数选择时,尽可能选择多核心较低频率的cpu。因为根据intel研究显示,利用频率的提高增加13%的性能,在耗电上要增加73%。增加1个核心并将频率降低20%,性能可以增加70%,而耗电仅增加2%。如果再增加两个核心,总耗电仅增加6%,而性能增加210%。
(3)内存:在配置服务器的时候,尽可能为服务器配置较大内存。在虚拟化项目中,内存比cpu更重要。一般情况下,2个6核心的2u服务器配置64gb内存,4个6核心或8核心的4u服务器配置128gb或更多的内存。
(4)网卡:在选择服务器的时候,还要考虑服务器的网卡数量,至少要为服务器配置2接口的千兆网卡,推荐4端口千兆网卡。
(5)电源:尽可能配置两个电源。一般情况下,2u服务器选择2个450w的电源可以满足需求,4u服务器选择2个750w电源可以满足需求。
(6)硬盘:如果虚拟机保存在服务器的本地存储,而不是网络存储,则为服务器配置6个硬盘做raid5,或者8个硬盘做raid50为宜。由于服务器硬盘槽位有限,故不能选择太小的硬盘,当前性价比高的是600gb的sas硬盘。2.5英寸sas硬盘转速是10000转,3.5英寸sas硬盘转速为15000转。选择2.5英寸硬盘具有较高的iops。
至于服务器的品牌,则可以选择ibm、hp或dell。表1-3所示是几款服务器的型号及规格。
几种服务器外形如图1-2-4~图1-2-6所示。
为了提高服务器的密度,一些厂商采用类似“刀片”服务器的作法,在2u大小的机架中,集成4个节点服务器,这样一台服务器相当于4台独立的服务器使用,进一步节省了空间,如dell poweredge c6100就是这么一款机器,它支持12个3.5英寸或24个2.5英寸热插拔sas、sata或固态硬盘,集成4个节点,每个节点可以配2个cpu、96gb内存、2端口网卡。通过共享电源、风扇和底板,可以有效降低功耗,实现高能效并节省运营成本。c6100正面、背面如图1-2-7、图1-2-8所示。
当对服务器占用空间有较高要求时,可以配置刀片服务器,如华为tecal e6000服务器,8u的空间,可以最大配置10个刀片服务器,每个服务器可以配2个cpu、2个sas硬盘、12个内存插槽、双端口网卡。华为e6000系列服务器如图1-2-9所示。
1.2.8 存储的选择
在虚拟化项目中,推荐采用存储设备,而不是服务器本地硬盘。在配置共享的存储设备,并且虚拟机保存在存储设备时,才能快速实现并使用ha、ft、vmotion等技术。在使用vmware vsphere实施虚拟化项目时,一个推荐的作法是将vmware esxi安装在服务器的本地硬盘上,这个本地硬盘可以是一个固态硬盘(30gb~60gb即可),也可以是一个sd卡(配置1gb~2gb的sd卡即可),甚至可以是1gb~2gb的u盘。如果服务器没有配置本地硬盘,也可以从存储上为服务器划分5.2gb~10gb的分区用于启动。
(1)要安装esxi6,至少需要容量为1gb的引导设备。如果从本地磁盘或san/iscsi lun进行引导,则需要5.2gb的磁盘,以便可以在引导设备上创建vmfs卷和4gb的暂存分区。如果使用较小的磁盘或lun,则安装程序将尝试在一个单独的本地磁盘上分配暂存区域。如果找不到本地磁盘,则暂存分区/scratch将位于esxi主机ramdisk上,并链接至/tmp/scratch。由于usb和sd容易对i/o产生影响,安装程序不会在这些设备上创建暂存分区。同样,使用大型usb/sd设备并无明显优势,因为esxi仅使用前1gb的空间。在usb或sd设备上进行安装时,安装程序将尝试在可用的本地磁盘或数据存储上分配暂存区域。如果未找到本地磁盘或数据存储,则/scratch将被放置在ramdisk上。您应在安装之后重新配置/scratch以使用持久性的数据存储。
(2)在hp dl380 g8系列服务器主板上集成了sd接口,ibm 3650 m4主板集成了usb接口。可以将sd卡或u盘插在该接口中用于安装vmware esxi。
如果在虚拟化项目中选择存储,项目中服务器数量较少时,可以选择sas hba接口(见图1-2-10)的存储,如果服务器数量较多,则需要选择fc hba接口(见图1-2-11)的存储并配置fc的光纤交换机。sas hba接口可以达到6gbps,而fc hba接口可以达到8 gbps。
在选择存储设备的时候,要考虑整个虚拟化系统中需要用到的存储容量、磁盘性能、接口数量、接口的带宽。对于容量来说,整个存储设计的容量要是实际使用容量的2倍以上。例如,整个数据中心已经使用了1tb的磁盘空间(所有己用空间加到一起),则在设计存储时,要至少设计2tb的存储空间(是配置raid之后,而不是没有配置raid、所有磁盘相加的空间)。
例如:如果需要2tb的空间,在使用600gb的硬盘,用raid10时,则需要8块硬盘,实际容量是4个硬盘的容量,600gb×4≈2.4tb。如果要用raid5时,则需要5块硬盘。
在存储设计中另外一个重要的参数是iops (input/output operations per second),即每秒进行读写(i/o)操作的次数,多用于数据库等场合,衡量随机访问的性能。存储端的iops性能和主机端的io是不同的,iops是指存储每秒可接受多少次主机发出的访问,主机的一次io需要多次访问存储才可以完成。例如,主机写入一个最小的数据块,也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤,也就是3个存储端访问。每个磁盘系统的iops是有上限的,如果设计的存储系统实际的iops超过了磁盘组的上限,则系统反应会变慢,影响系统的性能。简单来说,15000转的磁盘的iops是150,10000转的磁盘的iops是100,普通的sata硬盘的iops大约是70~80。一般情况下,在做桌面虚拟化时,每个虚拟机的iops可以设计为3~5个,普通的虚拟服务器iops可以规划为15~30个(看实际情况)。当设计一个同时运行100个虚拟机的系统时,iops则至少要规划为2000个。如果采用10000转的sas磁盘,则至少需要20个磁盘。当然这只是简单的测算,后文会专门介绍iops的计算。
在规划存储时,还要考虑存储的接口数量及接口的速度。通常来说,在规划一个具有4主机、1个存储的系统中,采用具有2个接口器、4个sas接口的存储服务器是比较合适的。如果有更多的主机,或者主机需要冗余的接口,则可以考虑配fc接口的存储,并采用光纤交换机连接存储与服务器。表1-4所示是几种低端存储的型号及参数,可以满足大多数的中小企业虚拟化系统。
1.2.9 网络及交换机的选择
在一个虚拟化环境里,每台物理服务器一般拥有更高的网卡密度。虚拟化主机有6个、8个,甚至更多的网络接口卡(nic)是常见的,反之,没有被虚拟化的服务器只有2个或4个nic。这成为数据中心里的一个问题,因为边缘或分布交换机放在机架里,以简化网络布线,然后向上传输到网络核心。在这种解决方案里,一个典型的48端口的交换机仅能处理4~8台虚拟主机。为了完全填满机架,需要更多的边缘或分布交换机。
在虚拟化环境里,当多个工作负荷整合到这些主机里时,运行在主机上的工作负荷数量大了,网络流量增加了,网络利用率将不再像过去每台物理服务器上那样低了。
为了调节来自整合工作负荷增加的网络流量,可能需要增加从边缘或分布交换机到网络核心的向上传输数量,这时对交换机的背板带宽及上行线路就提出较高的要求。
另一个关键的改变来自最新一代虚拟化产品的动态性质,其诸如热迁移和多主机动态资源管理。虚拟化里固有的动态更改性能意味着不能再对服务器之间的流量流动做任何假设。
在进行虚拟机之间的动态迁移,或者将虚拟机从一个存储迁移到另一个存储时,为了减少迁移的时间,不对关键业务造成影响,在迁移期间会占用大量的网络资源,另外,在迁移的时候,虽然可以减少并发迁移的数量,但在某些应用中,可能会同时迁移多台虚拟机,这对交换机背板带宽以及交换机性能的要求更高。
当工作负荷捆绑于虚拟硬件,机架或交换机被告知将交换大量的网络流量时,服务器能分配流量到机架或交换机。既然工作负荷能动态地从一台物理主机移动到一台完全不同的物理主机,在网络设计里,位置不再用到。网络设计现在必须调节动态数据流,这可能从任何虚拟化主机到其他虚拟化主机或者物理工作负荷开始。摒弃传统的core/edge设计,数据中心网络可能需要找寻更多全网状架构或“光纤”,这能完全调节来自任何虚拟化主机或者其他虚拟化主机的交易流。
另外,虚拟化使数据中心里网络层的一些能见度降低了。网络工程师在虚拟交换机里没有能见度,也不能轻松决定哪个物理nic对应哪个虚拟交换机。这在故障检修中是最重要的信息,为了减少故障率,为交换机配置冗余的业务板及冗余电源也应该考虑,同时,在尽可能的前提下,配置更好的交换机。
在大多数的情况下,物理主机配置4个千兆网卡,并且为了冗余,尽可能是每两个网卡绑定在一起,用作负载均衡及故障转移。
对于中小企业虚拟化环境中,配置华为s57系列千兆交换机即可满足大多数的需求。华为s5700系列分24端口、48端口两种。如果需要更高的网络性能,可以选择华为s9300系列交换机。如果在虚拟化规划中,物理主机中的虚拟机只需要在同一个网段(或者在两个等有限的网段中),并且对性能要求不高,但对价钱敏感的时候,可以选择华为的s1700系列普通交换机。无论是vmware esxi,还是hyper-v server,都支持在虚拟交换机中划分vlan,即将主机网卡连接到交换机的trunk端口,然后在虚拟交换机一端划分vlan,这样可以在只有一到两个物理网卡时,让虚拟机划分到所属网络中的不同vlan中。表1-5所示是推荐的一些交换机型号及参数。
华为s5700系列为盒式设备,机箱高度为1u,提供精简版(li)、标准版(si)、增强版(ei)和高级版(hi)四种产品版本。精简版提供完备的二层功能;标准版支持二层和基本的三层功能;增强版支持复杂的路由协议和更为丰富的业务特性;高级版除了提供上述增强版的功能外,还支持mpls、硬件oam等高级功能。在使用时可以根据需要选择。
1.2.10 虚拟桌面规划
在虚拟化项目中,存储、服务器、网络,这三者相辅相成,缺一不可。在规划的时候,任何一个环节如果存在瓶颈,都会影响总体的性能。服务器、网络、存储前文已经有过介绍,而在本节,我们以vmware view(虚拟桌面)的规划与设计为例对存储或服务器中所使用的磁盘、磁盘数量进行深入介绍。
许多初次学习虚拟化或准备实施虚拟化项目的工程师,经常问我:我有4台服务器,256gb内存,能跑300个虚拟桌面吗?也有人问我,要配200个桌面,需要什么配置?
对于这些,我经常很无奈。虚拟化(无论服务器虚拟化,还是桌面虚拟化)是一个综合的应用、配置。cpu、内存、存储、网络、应用,任何一点,都可能会形成瓶颈。这不是由单单某一个方面决定的。
我有时举例,你有一批货物,要从a地运到b地,有一辆车,能否满足需求?这既要看你车的承重量(负载),也要看车厢的体积(能否放得下),还要看从a到b这个路上,有没有路能承担,有没有堵车,另外,你需要多长时间拉过去,一趟能否拉完,这些都是问题。
简单来说,设计vmware view桌面,要看你的每个桌面的用途,需要安装的操作系统,大多数软件运行时所需要的cpu个数、内存大小、存储的空间以及所需要的iops,最后要看桌面的数量。
计算或统计出每个view桌面的情况,再乘以桌面数量,得出一个大体的数目。
之后再规划需要的服务器的数量、每个服务器的配置、存储的配置,得出一个相对合理的结果。在规划时,物理cpu核心与虚拟cpu核心、物理内存与虚拟内存进行适当比例选择。
典型的view体系结构设计采用容器策略,容器包含相应的组件,而组件则可通过使用 vsphere 5.1或更高版本基础架构最多支持10000个远程桌面。由于硬件配置、所用的view和vsphere软件版本以及其他特定于环境的设计因素的不同,容器的定义可能存在差异。
总体来说,要规划view桌面,需要:
估算虚拟机桌面的内存要求。
估算虚拟机桌面的cpu要求。
选择合适的系统磁盘大小。
具体的规划我们不展开讨论,一般情况下,不同类型员工的view桌面,即运行在vsphere中的虚拟机,需求存在很大差异,因此很多企业都通过试运行来确定企业中不同类型员工所需的适当内存设置。
开始时最好分配1gb(32位windows7或更高版本桌面)或2gb(64位windows7或更高版本桌面)的内存。如果要将其中的一个硬件图形加速功能用于3d工作负载,vmware建议使用2个虚拟cpu和4gb的ram。在试运行阶段中,需要监视不同类型员工的使用性能和所用磁盘空间,并做出适当调整,最后确定适用于每种类型员工的最佳设置。
在估算cpu时,必须收集有关各类企业员工平均cpu利用率的信息。
对cpu的具体要求因员工类型而异。在试运行阶段,请使用性能监测工具(如虚拟机中的perfmon、esxi中的esxtop或vcenter server性能监测工具)来了解这些员工组的平均及峰值cpu利用率。另外请遵循以下原则。
(1)软件开发人员或其他具有高性能需求的超级用户对cpu的要求可能高于知识型员工和任务型员工。对于计算密集型任务、需要用pcoip显示协议播放720p视频,以及64位windows 7和更高版本桌面,我们建议您部署双虚拟cpu。
(2)至于其他情形,则建议使用单虚拟 cpu。
在分配磁盘空间时,还要为操作系统、应用程序和用户可能会安装或生成的其他内容提供足够的空间。这个容量通常低于物理 pc 磁盘的容量。
数据中心磁盘空间每千兆字节的成本通常高于传统pc部署中台式机或笔记本电脑的成本,因此需要对操作系统映像大小进行优化。以下建议可用于优化映像大小。
(1)删除不需要的文件。例如,减少临时internet文件的配额。
(2)关闭windows服务,例如,索引器服务、磁盘碎片整理程序服务和还原点。
(3)选择能满足未来增长需要的虚拟磁盘大小,但不要过大。
(4)使用集中的文件共享或view composer 永久磁盘存储用户生成的内容和安装的应用程序。
(5)如果你正在使用vsphere5.1或更高版本,请为vcenter server和链接克隆桌面池启用空间回收功能。
根据整个系统中vmware view桌面的数量规划所需要的vmware esxi主机。例如,如果你需要同时运行300个view桌面,每个view桌面准备运行32位的windows7专业版或企业版,每个虚拟机3gb内存、2个vcpu,24gb的操作系统硬盘空间(克隆链接,共享),每用户20gb的存储空间。
则整个view系统需要900gb虚拟内存、600个虚拟cpu,200个用户需要6tb的存储空间。
(1)作为一般性架构,通常以每个cpu核心运行8到10个虚拟桌面作为考虑计算容量的依据。所以,当需要600个虚拟cpu时,需要大约60个cpu核心。如果每cpu是6核心,则大约需要10个cpu。如果每服务器配2个6核心的cpu,则需要5台服务器。
(2)从虚拟桌面ram、主机ram和过量分配比率方面思考内存容量问题。尽管可以为每个cpu核心部署8到10个虚拟桌面,但如果虚拟桌面占用1gb或更多的ram,就必须仔细衡量物理ram需求。
虚拟机内存与物理主机内存的比例,这个要具体考虑。在初期,可以按2∶1的比例来配置,例如总虚拟内存需要900gb,则可以配500gb左右的物理内存。考虑到需要5台服务器,则每台服务器配128gb内存较为合适。如果内存不能满足需求,则可以考虑将每服务器内存扩充到196gb或256gb。
(3)存储,则是最重要的。单独从容量来看,当用户需求为6tb时,物理存储的容量应该不低于其1.5倍容量,即9tb~12tb。更重要的是大容量的view桌面还需要考虑另外一个重要的参数,iops。
1.2.11 磁盘与iops
在规划存储系统时,要考虑的两大瓶颈主要体现在2个方面:吞吐量与iops。
吞吐量主要取决于阵列的构架,光纤通道的大小(阵列一般都是光纤阵列,至于scsi这样的ssa阵列,我们不讨论)以及硬盘的个数。阵列的构架因每个阵列不同而不同,它们也都存在内部带宽(类似于pc的系统总线),不过一般情况下,内部带宽都设计得很充足,不是瓶颈的所在。
光纤通道的影响还是比较大的,一块8gb的光纤卡,所能支撑的最大流量应当是8gb/10(小b)=800mb/s(大b)的实际流量。一个双控制器,每控制器4个光纤接口,所能实现的最大吞吐量则是2×4×800mb=6400mb/s。
iops (input/output operations per second),即每秒进行读写(i/o)操作的次数,多用于数据库等场合,衡量随机访问的性能。存储端的iops性能和主机端的io是不同的,iops是指存储每秒可接受多少次主机发出的访问,主机的一次io需要多次访问存储才可以完成。例如,主机写入一个最小的数据块,也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤,也就是3个存储端访问。
决定iops主要取决于阵列的算法、cache命中率,以及磁盘个数。阵列的算法因为不同的阵列不同而不同,所以,在使用每个存储之前,有必要了解这个存储的一些算法规则与限制。
cache的命中率取决于数据的分布、cache size的大小、数据访问的规则,以及cache的算法,如果完整地讨论下来,会变得很复杂。在这里只强调一个cache的命中率,如果一个阵列,读cache的命中率越高越好,一般表示它可以支持更多的iops,为什么这么说呢?这就需要讨论硬盘iops关系了。
每个不同类型物理硬盘能处理的iops是有限制的,如表1-6所示。
如果一个阵列有100块15krpm的光纤硬盘,那么,它能撑的最大iops为100×180=18000,这个为硬件限制的理论值,如果超过这个值,硬盘的响应可能会变得非常缓慢而不能正常提供业务。
在raid5与raid10上,读iops没有差别,但是,相同的业务写iops,最终落在磁盘上的iops是有差别的,而我们评估的却正是磁盘的iops,如果达到了磁盘的限制,性能肯定是上不去了。
如果知道磁盘的类型(接口、转速)、磁盘个数,想求这些磁盘所能提供的最高iops,可以根据下列公式计算。
如果有了规划的iops,选择了磁盘类型,而需要磁盘个数,可以根据下列公式计算。
其中,写惩罚,raid-5单次写入需要分别对数据位和校验位进行2次读和2次写,所以写惩罚为4,而raid10的写惩罚则是2。
同样,对于上述案例中的300个view桌面,要计算iops,应该如下规划。首先了解view桌面在不同状态时所需要的iops。
系统启动时:26iops
系统登录时:14iops
工作时
轻量:4~8iops
普通:8~12iops
重量:12~20iops
空闲时:4iops
登出时:12iops
离线:0iops
那么,我们规划300个view桌面可以同时工作,但最多有100个可能会同时启动,则:
100个同时启动时:2600iops
100个系统登录时:1400iops
300个工作时
轻量:1200~2400iops
普通:2400~3600iops
重量:3600~6000iops
空闲时:1200iops
登出时:3600iops
针对此案例,我们可以设计一共需要3000个iops的存储系统。
根据上面的计算公式,在需要3000个iops时:
选择10000转的600gb的sas磁盘,选择raid5,在cache命中率30%时,如果60%读,40%写,计算得数为46.6。如果是20%读,80%写,计算得数为77.07。
如果是45个磁盘,每5~6个组成一个raid5。这样大约组成9组,每组磁盘空间浪费一块。如果是46个,实际上空间约是9×4×600gb=21600gb=21.6tb。
同样是10000转的600gb的sas磁盘,选择raid10,在cache命中率30%时,如果读60%,写40%,则需要28.15个磁盘,如果读20%,写80%,则需要40.15个磁盘。
在raid10中,28个磁盘,提供的空间是14×600gb=7.2tb,40个磁盘,提供的空间是20×600gb=12tb。