1. 5G+云上智慧工厂整体网络拓扑
某某公司5G+云上智慧工厂项目整体网络拓扑，如图1所示：
图1. 5G+云上智慧工厂整体网络拓扑
数据中心：数据中心位于某某公司办公大楼三楼机房，建设内容包括基于超融合技术的本地云资源池、数据中心网络、UPS电源以及机柜，为大数据系统以及业务系统提供承载环境；
移动5G专网：基站采用BBU+AAU拉远方式建设，组网方式为5G SA独立组网，建设内容包括在某某公司厂区部署AAU、在某县移动机房部署BBU、在某市移动机房部署MEC，从MEC到数据中心直接部署云专线实现业务流量回传，从MEC通过传输网接入某省会移动机房5G GC实现非业务流量上公网。
5G接入网：5G接入网的关键设备是5G智能网关，建设内容包括在5G信号覆盖的厂区，部署5G智能网关，5G智能网关上行链路通过5G空口接入5G基站，下行链路通过LAN口或接入工控机/工业一体机做数采，或接入看板系统做回传。
办公监控网：办公监控网为某某公司的既有网络，在5G+云上智慧工厂项目中需要做一定的网络改造，以便实现办公监控网的AI监控终端以及作业终端与数据中心互联互通。改造内容包括在办公监控网出口增加智能网关，采用V-P-N隧道与数据中心互联互通。
AI监控终端：AI监控终端部署在办公监控网，在某某区域、某某区域以及某某区控制室部署AI高清摄像头，AI高清摄像头做数采，然后通过办公监控网的智能网关回传至数据中心的AI后台。
既有作业终端：办公监控网的一些作业终端，如销售经理终端、原料经理终端以及生产经理终端，需要访问数据中心的业务后台，通过办公监控网的智能网关V-P-N通道访问数据中心业务后台。
2. 数据中心建设
某某公司5G+云上智慧工厂项目的数据中心建设，主要包括数据中心物理网络、数据中心UPS电源、数据中心虚拟化平台、数据中心虚拟网络、业务子网隔离、数据中心与办公监控互联等，如图2所示。
图2. 5G+云上智慧工厂数据中心
数据中心物理网络：在物理网络结构上，采用“路由器+核心交换机”极简二层网络结构，服务器直接接入到核心交换机，提升转发效率。
数据中心UPS电源：一方面数据中心运行着某某公司的核心应用系统和数据系统，另一方面，某某公司强电电力不稳定，经常发生跳闸，所以数据中心UPS电源保护方案不可或缺。
数据中心虚拟化平台：基于PVE虚拟化技术，实现对2台物理服务器的计算资源、存储资源及网络资源进行虚拟化，在虚拟资源池的基础之上，按需提供虚拟机服务，实现一机多跑业务，实现资源灵活配置。
数据中心虚拟网络：虚拟网关、虚拟交换机、虚拟防火墙运行在虚拟化平台之上，5G智能网关则分布在各个分支节点，5G智能网关和数据中心之间配置虚拟网络实现互联互通。
业务子网隔离：SDWAN路由器与数据中心之间，针对业务子网配置***隧道进行加密，从而确保业务数据安全性。
数据中心与办公监控网互联：考虑到办公监控网的上网行为的复杂性，数据中心与办公监控网互联互通需要做好安全控制。在办公监控网的出口部署1台智能网关，通过智能网关建立到数据中心之间的危屁恩隧道，并做好IP访问控制。
2.1. 数据中心建设
在物理网络结构上，采用“路由器+核心交换机”极简二层网络结构，服务器直接接入到核心交换机，提升转发效率。数据中心物理网络拓扑如图3所示。
图3. 数据中心物理网络拓扑
数据中心物理网络介绍如下：
- 使用2台华三的S5048PV3-EI交换机做为核心交换机，利用S5048PV3-EI提供二层网络环境，以满足资源灵活调度的需求。
- 使用1台华为AR101W-S路由器做为数据中心外部网关出口，AR101W-S既是二层网络的网关，又是WAN出口，是数据中心与业务子网互联互通必不可少的设备。
S5048PV3-EI-01的配置实例举例如下：
- 建立VLAN120、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130-255。并将端口加入相对应的VLAN ID。
[H3C_SW1]vlan 120
[H3C_SW1-vlan120] port GigabitEthernet1/0/1 to GigabitEthernet1/0/4
[H3C_SW1-vlan120]quit
- 端口设置为TRUNK模式，只允许特定VLAN ID透传。
[H3C_SW1] interface GigabitEthernet1/0/35
[H3C_SW1-GigabitEthernet1/0/35]port link-type trunk
[H3C_SW1-GigabitEthernet1/0/35]port trunk permit vlan 110 120 130 140 150 160 251 to 255
[H3C_SW1-GigabitEthernet1/0/35]undo port trunk permit vlan 1 #缺省vlan1可透传trunk，容易产生环路，关闭掉vlan1。
[H3C_SW1-GigabitEthernet1/0/35]quit
- 配置VLAN255的IP地址
[H3C_SW1]interface Vlan-interface 255
[H3C_SW1-vlan-interface255]ip address 10.129.255.11 255.255.255.0
[H3C_SW1-vlan-interface255]quit
华三S5048PV3-EI的完整配置、华为路由器AR101W-S完整配置，详见《工程实施》的相关文档。
2.2. 数据中心UPS电源建设
UPS电源保护方案，确保数据中心在停电之后，电力可续航两个小时，防止突然断电而导致的数据丢失和设备非正常关机导致的性能损坏。续航两个小时的UPS电源保护方案，设备选型如表1所示。
表1. 机房UPS电源蓄电池
| 设备 | 型号 | 数量 | 备注 | 品牌 |
|---|---|---|---|---|
| UPS电源 | YDC9310H | 1 | 380V输入，220V输出，在线式高频机 | 科士达 |
| 蓄电池 | KHD100-12 | 16 | 12V 100AH阀控式免维护铅酸蓄电池 | 科士达 |
| 电池柜 | A16 | 1 | 放置16节12V 100AH蓄电池组 | 科士达 |
续航两个小时的UPS电源保护方案，网络拓扑如图4所示。
图4. UPS电源保护方案
2.3. 数据中心虚拟化平台
本项目中，服务器在硬件上，采用两台浪潮服务器NF5280M5做为服务器节点，在软件上，采用PVE虚拟化平台套件，基于超融合技术，实现对2台物理服务器的计算资源、存储资源及网络资源进行虚拟化，在虚拟资源池的基础之上，按需提供虚拟机服务，实现一机多跑业务，实现资源灵活配置。
2.3.1. 服务器硬件平台
本项目中，服务器硬件采用的是浪潮通用服务器NF5280M5，NF5280M6是浪潮一款2U双路高端旗舰机架式服务器，以强劲的计算性能，完善的生态兼容，极致的空间扩展能力，满足各行业应用配置需求，适用于数据分析处理、深度学习分布式存储等多种应用场景。浪潮通用服务器NF5280M5如图5所示。
图5. 浪潮通用服务器NF5280M5
浪潮通用服务器NF5280M5的技术规格如表2所示：
表2. NF5280M5的技术规格
2.3.2. 服务器硬件平台
本项目中，服务器软件采用的是PVE虚拟化平台，PVE采用超融合的虚拟化架构，将计算、存储和网络全部实施在一个主机之上，并且支持主机级别的集群功能，无论是对中小型企业还是对规模较大的中型企业，都是一个非常适合的虚拟化平台产品。PVE管理界面如图6所示。
图6. PVE管理界面
2.3.3. 超融合解决方案架构
PVE超融合虚拟化软件安装在浪潮服务器上，PVE采用超融合虚拟化架构，将计算、存储、网络和安全进行虚拟化，聚合成一个统一的虚拟资源池，为上层平台提供虚拟主机资源服务，然后通过在虚拟机上安装应用所需要的操作系统，就可以在虚拟机上运行业务应用系统。
在本项目中，超融合解决方案架构如图7所示。
图7. 超融合解决方案架构
2.4. 数据中心虚拟网络
数据中心虚拟网络的核心是在超融合平台上配置虚拟防火墙（RT0）、虚拟路由器（GW1-6）、虚拟交换机1-3。VM7~VM15这9个虚拟机接入虚拟路由器（GW1），VM16虚拟机接入虚拟路由器（GW2），VM18虚拟机接入虚拟路由器（GW6），所有的虚拟路由器接入虚拟交换机1，并通过虚拟防火墙（RT0）进行转发。数据中心虚拟网络的逻辑结构如图8所示。
图8. 数据中心虚拟网络逻辑结构
2.4.1. 虚拟网络IP地址及VLAN划分
数据中心虚拟网络的IP地址及端口映射表，如表3、表4所示。
表3. 数据中心虚拟网络IP地址及端口映射表
数据中心虚拟主机的IP地址及端口映射表，如表4所示。
表4. 数据中心虚拟主机IP地址及端口映射表
虚拟路由器网卡与虚拟主机网卡要进行虚拟连接，必须通过虚拟交换机，即将虚拟路由器的网卡与虚拟主机的网卡捆绑到虚拟主机的某个VLAN 中，那么这两个网卡即可实现虚拟连接，实现数据通信。
虚拟交换机（网桥）实现二层MAC 转发，虚拟路由器实现三层IP 转发。不同虚拟交换机之间无法通信，需要通过虚拟路由器进行三层IP 转发才能通信。
根据图8所示以及表3、表4所示，nda节点的vm103(bg1)业务数据走向路径为：
nda:vm103(bg1):eth0→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048P-02:G1/0/38→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→ndb:RT0:ens19
→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE1。
ndb节点的vm104(bg2)业务数据走向路径为：
ndb:vm104(bg2):eth0→ndb:vmbr1:vlan110→ndb:ens41f1→S5048PV3-01:G1/0/38
→S5048PV3-01:G1/0/35→S5048PV3-02:G1/0/35→S5048PV3-02:G1/0/38
→nda:ens41f1→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048PV3-02:G1/0/38→S5048PV3-02:G1/0/35
→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→
ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→
S5048PV3-02:G1/0/37→S5048PV3-02:G1/0/35→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE4。
从数据走向路径可以发现，假如nda节点出现故障或者nda节点的ens41f1出现故障，将会导致一部分虚拟主机无法使用。这个时候，vm103(bg1)虚拟机迁移到ndb之后，这个故障就可以解决，因为两个节点的网桥配置是相同的，迁移到ndb之后，vm103(bg1)就等于是ndb节点。如果网桥配置不同，如名称不同，vlan也不同，vm103(bg1)绑定nda节点网桥的配置就会与ndb网桥的配置不同，从而导致无法通信。vm103(bg1)迁移到ndb之后（假设其他GW1也一起迁过来），那么vm103(bg1)数据走向路径为：
ndb:vm103(bg1):eth0→ndb:vmbr1:vlan110→ndb:GW1:ens18→ndb:GW1:ens19→ndb:vmbr1:vlan251→ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1
→AR101W-S:GE0→AR101W-S:GE1。
从这里可以看出来，nda:vmbr0与ndb:vmbr0互为“备份”，当nda的虚拟机迁移到ndb上，可以直接使用ndb:vmbr0，起到一种灾备作用。
同理，假如nda:ens41f1发生故障，nda:GW1没有迁移到ndb的话，那么整个“110”网段的虚拟主机都无法转发，从而导致“110”网段虚拟主机网络故障。
同理，假如ndb:ens41f1发生故障，ndb:vmbr1:vlan110无法透传，而从导致ndb的“110”网段的虚拟主机无法转发，从而导致ndb的“110”网段虚拟主机网络故障。
2.4.2. 虚拟网络IP地址及VLAN配置
- 虚拟交换机IP 地址及VLAN 配置
Open vSwitch（OVS）是运行在BVE 虚拟化平台上的虚拟交换机，OVS 自身可以依靠MAC地址学习实现二层数据包转发功能。每个物理服务器有2 张业务网卡（BMC 不属于业务网卡），只需要创建2 个虚拟交换机（网桥）即可。虚拟交换机IP 地址及VLAN 配置步骤如下所示：
第一步：在节点nda中，创建1个名称为“vmbr0”的虚拟交换机，并捆绑物理网卡ens41f0（OVS Port）和虚拟网卡br0mgnt（OVS IntPort）
选择“数据中心→nda→网络→创建→OVS Bridge”，弹出界面如图9 所示。
图9. 创建vmbr0虚拟交换机
虚拟交换机配置信息如图9 所示。ens41f0是物理网卡，将ens41f0桥接到虚拟交换机vmbr0 上，实现物理网卡ens41f0与虚拟交换机vmbr0 的捆绑，从而实现vmbr0 数据转发。
第二步：在节点nda中，创建1个名称为“br0mgnt”的虚拟网卡，并捆绑虚拟网卡br0mgnt（OVS IntPort）到vmbr0中
选择“数据中心→nda→网络→创建→OVS IntPort”，弹出界面如图10所示。
图10. 创建br0mgnt虚拟网卡
虚拟网卡名称输入“br0mgnt”，所属网桥OVS Bridge输入“vmbr0”，IP地址及子网掩码输入“10.129.255.10/24”，网关输入“10.129.255.1”，VLAN标签输入“255”，br0mgnt虚拟网卡配置IP地址，该IP地址用于nda节点的管理。
由图9和图10所示，vmbr0中捆绑了1个物理网卡ens41f0和1个虚拟网卡br0mgnt，其中br0mgnt所属vlan为vlan255。而根据规划，物理网络ens41f0需要透传vlan252、vlan253、vlan254、vlan255，因此进一步配置物理网络ens41f0的透传属性，如图11所示。
图11. 物理网卡ens41f0透传属性
可以发现，br0mgnt属于vlan255，而ens41f0可以透传vlan252、vlan253、vlan254、vlan255，所以ens41f可以透传br0mgnt。
第三步：在节点nda中，创建1个名称为“vmbr1”的虚拟交换机，并捆绑物理网卡ens41f1
选择“数据中心→nda→网络→创建→OVS Bridge”，弹出界面如图12 所示。
图12. 创建vmbr1虚拟交换机
根据规划，ens41f1需要透传vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251，因此需要进一步配置ens41f1的vlan属性，如图13所示。
图13. 配置ens41f1的vlan属性
以上的配置是节点nda的物理网卡ens41f0、虚拟网卡br0mgnt、虚拟网桥vmbr0以及vmbr1的属性配置。
节点ndb的物理网卡ens41f0、虚拟网卡br0mgnt、虚拟网桥vmbr0以及vmbr1的属性配置与nda的类似。
第四步：在节点ndb中，创建1个名称为“vmbr0”的虚拟交换机，并捆绑物理网卡ens41f0（OVS Port）和虚拟网卡br0mgnt（OVS IntPort）
选择“数据中心→ndb→网络→创建→OVS Bridge”，弹出界面如图14 所示。
图14. 创建vmbr0虚拟交换机
虚拟交换机配置信息如图14 所示。ens41f0是物理网卡，将ens41f0桥接到虚拟交换机vmbr0 上，实现物理网卡ens41f0与虚拟交换机vmbr0 的捆绑，从而实现vmbr0 数据转发。
第五步：在节点ndb中，创建1个名称为“br0mgnt”的虚拟网卡，并捆绑虚拟网卡br0mgnt（OVS IntPort）到vmbr0中
选择“数据中心→nda→网络→创建→OVS IntPort”，弹出界面如图15所示。
图15. 创建br0mgnt虚拟网卡
虚拟网卡名称输入“br0mgnt”，所属网桥OVS Bridge输入“vmbr0”，IP地址及子网掩码输入“10.129.255.20/24”，网关输入“10.129.255.1”，VLAN标签输入“255”，br0mgnt虚拟网卡配置IP地址，该IP地址用于nda节点的管理。
由图13和图14所示，vmbr0中捆绑了1个物理网卡ens41f0和1个虚拟网卡br0mgnt，其中br0mgnt所属vlan为vlan255。而根据规划，物理网络ens41f0需要透传vlan252、vlan253、vlan254、vlan255，因此进一步配置物理网络ens41f0的透传属性，如图16所示。
图16. 物理网卡ens41f0透传属性
可以发现，br0mgnt属于vlan255，而ens41f0可以透传vlan252、vlan253、vlan254、vlan255，所以ens41f可以透传br0mgnt。
第六步：在节点ndb中，创建1个名称为“vmbr1”的虚拟交换机，并捆绑物理网卡ens41f1
选择“数据中心→nda→网络→创建→OVS Bridge”，弹出界面如图17所示。
图17. 创建vmbr1虚拟交换机
根据规划，ens41f1需要透传vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251，因此需要进一步配置ens41f1的vlan属性，如图18所示。
图18. 配置ens41f1的vlan属性
- 虚拟网络设备IP 地址及VLAN 配置
虚拟网络设备包括节点nda中的虚拟路由器（GW1）、虚拟路由器（GW3）、虚拟路由器（GW5），节点ndb中的虚拟防火墙（RT0）、虚拟路由器（GW2）、虚拟路由器（GW4）、虚拟路由器（GW6）。
节点ndb的虚拟防火墙（RT0）的IP地址及VLAN配置步骤如下所示：
第一步：将虚拟防火墙（RT0）的ens18捆绑到vmbr0:vlan255，ens19捆绑到vmbr1:vlan251，并分别配置虚拟网卡IP地址
虚拟防火墙（RT0）的虚拟网卡ens18和ens19 在捆绑到vmbr1 之前，先确认网卡ens18和ens19 的MAC 地址，因为网卡需要通过MAC 地址进行识别。
虚拟防火墙（RT0）的虚拟网卡ens18和ens19的MAC 地址如图19所示。
图19. 虚拟防火墙（RT0）的网卡MAC地址
选择“数据中心→ndb→VM100(RT0)→硬件→网络设备(net0) →编辑”，弹出界面如图20所示。
图20. 虚拟防火墙（RT0）的网卡ens18与vmbr0捆绑
选择“数据中心→ndb→VM100(RT0)→硬件→网络设备(net1) →编辑”，弹出界面如图21所示。
图21. 虚拟防火墙（RT0）的网卡ens19与vmbr1捆绑
接下来，为虚拟防火墙（RT0）的虚拟网卡ens18 配置IP 地址，如图22 所示。
图22. 虚拟防火墙（RT0）的网卡ens18的IP地址配置
接下来，为虚拟防火墙（RT0）的虚拟网卡ens19 配置IP 地址，如图23 所示。
图23. 虚拟防火墙（RT0）的网卡ens19的IP地址配置
节点ndb的虚拟路由器（GW2）的IP地址及VLAN配置步骤如下所示：
第一步：将虚拟路由器（GW2）的ens19捆绑到vmbr1:vlan251，ens18捆绑到vmbr1:vlan120，并分别配置虚拟网卡IP地址
虚拟路由器（GW2）的虚拟网卡ens18和ens19 在捆绑到vmbr1 之前，先确认网卡ens18和ens19 的MAC 地址，因为网卡需要通过MAC 地址进行识别。
虚拟路由器（GW2）的虚拟网卡ens18和ens19的MAC 地址如图24所示。
图24. 虚拟路由器（GW2）的网卡MAC地址
选择“数据中心→ndb→VM102(GW2)→硬件→网络设备(net1) →编辑”，弹出界面如图25所示。
图25. 虚拟路由器（GW2）的网卡ens19与vmbr1捆绑
选择“数据中心→ndb→VM102(GW2)→硬件→网络设备(net0) →编辑”，弹出界面如图26所示。
图26. 虚拟路由器（GW2）的网卡ens18与vmbr1捆绑
接下来，为虚拟路由器（GW2）的虚拟网卡ens19 配置IP 地址，如图27所示。
图27. 虚拟路由器（GW2）的网卡ens19的IP地址配置
接下来，为虚拟路由器（GW2）的虚拟网卡ens18 配置IP 地址，如图28 所示。
图28.虚拟路由器（GW2）的网卡ens18的IP地址配置