超級幹貨分享之英偉達vGPU軟體安裝部署文檔

目錄

1. Nvidia許可伺服器安裝 3

1.1. 許可證伺服器的安裝求 3

1.1.1. 支援的Windows作業系統 3

1.1.2. JAVA JRE環境要求 3

1.1.3. .NET Framework要求 3

1.2. 安裝并配置JAVA JRE環境 3

1.2.1. 安裝JAVA JRE 3

1.2.2. 設定JAVA環境變量 6

1.3. 安裝和配置許可證伺服器 15

1.3.1. 安裝許可證伺服器軟體 15

1.3.2. 配置許可伺服器 20

2. 軟體版本相容性 26

3. 安裝和配置NVIDIA Virtual GPU Manager 27

3.1. 安裝适用于vSphere的NVIDIA Virtual GPU Manager 27

3.2. 在vCenter配置允許vGPU vMotion 29

3.3. 在vSphere更改預設圖形類型 31

3.4. 禁用ECC記憶體 34

4. 建立符合使用NVIDIA vGPU的虛拟機 39

4.1. 前提條件 39

4.2. 按官方要求建立虛拟機 40

5. 在Ubuntu VM安裝Nvidia驅動 55

5.1. 安裝前的作業系統準備工作 55

5.2. 虛拟機添加顯示卡 58

5.3. 安裝Nvidia vGPU顯示卡驅動 59

5.4. 配置用戶端從許可伺服器擷取許可 64

6. 在suse VM安裝Nvidia驅動 68

6.1. 虛拟機添加顯示卡 68

6.2. 安裝Nvidia vGPU驅動 70

6.3. 配置用戶端從許可伺服器擷取許可 74

7. 在Redhat VM安裝Nvidia驅動和授權許可 76

7.1. 虛拟機添加顯示卡 76

7.2. 安裝Nvidia vGPU驅動 79

7.3. 配置用戶端從許可伺服器擷取許可 82

Nvidia許可伺服器安裝

許可證伺服器的安裝求

支援的Windows作業系統

許可證伺服器支援的Windows作業系統如下所示：

需要注意的是Windows平台下隻支援英文版作業系統

JAVA JRE環境要求

.NET Framework要求

本次許可證伺服器選用英文版的Windows Server 2016作業系統，系統已經預設安裝了.NET Framework 4.6版本，且本次準備安裝Oracle Java SE JRE 1.8運作時環境。

安裝并配置JAVA JRE環境

安裝JAVA JRE

1. 下載下傳好對應的JAVA JRE版本并上傳至許可證伺服器，輕按兩下JAVA JRE安裝程式

1. 勾選選中“Change destination folder ”，點選“Install”

1. 記住JAVA JRE的安裝路徑，點選“Next”

1. JAVA JRE正在安裝

1. 成功安裝JAVA JRE，點選“Close”完成安裝

設定JAVA環境變量

1. 在桌面選中我的電腦，并右鍵選擇“屬性”，進入屬性界面，點選“Advance system setting”進入進階系統設定

1. 點選“Environment Variables”進入環境變量配置界面

1. 在系統變量下方選中path系統環境變量，點選“Edit”

1. 可以看到Path系統變量已經由JAVA的Path變量，是以JAVA的Path變量不需要建立

1. 由于安裝完JAVA後沒有自動配置JAVA_HOME變量，是以需要建立JAVA_HOME變量，在系統變量下方點選“New”建立系統變量

1. 在 “Variable name”填入變量的名稱，然後點選“Browse Directory”按鈕選擇JAVA_HOME變量的目錄

1. 确認填入的資訊無誤後，點選“OK”完成JAVA_HOME變量的建立

1. 在系統變量下我們可以看到剛才建立的JAVA_HOME變量

安裝和配置許可證伺服器

安裝許可證伺服器軟體

1. 下載下傳好對應版本的許可證伺服器軟體并上傳至許可證伺服器，解壓安裝包，點選setup軟體安裝包

1. 安裝程式在加載

1. 點選“Next”進入下一步安裝

1. 在“License Agreement”菜單勾選“I accept the terms of the License Agreement”,并點選“Next”進入下一步

1. 在“Apache License”菜單勾選“I accept the terms of the License Agreement”,并點選“Next”進入下一步

1. 保持預設，點選“Next”進入下一步

1. 許可伺服器提供7070端口給用戶端從許可伺服器擷取許可，保持預設，點選“Next”進入下一步

1. 點選“Install”開始安裝軟體

1. 軟體正處于安裝

1. 軟體安裝完畢，點選“Done”完成安裝

配置許可伺服器

安裝好許可證伺服器後，需要在許可門戶網站建立對應的許可伺服器，然後把對應的許可檔案導入到實際的許可伺服器之後，用戶端才能從實際的許可伺服器擷取到許可。

在安裝許可伺服器之前，先登入NVIDIA許可門戶網站，用購買vGPU顯示卡的訂單對應的郵箱先注冊一個賬号，注冊好賬号後，對應的許可會自動綁定到這個賬号。

1. 找一台能夠聯網的計算機，通過浏覽器打開許可伺服器背景管理控制台，在浏覽器輸入http://localhost:8080/licserver

1. 點選左側菜單欄的“Configuration”選項，在Properties選項下，記錄好Server host ID的值，也就是許可伺服器的MAC位址

1. 登入到許可門戶網站nvid.nvidia.com

1. 點選“NVIDIA許可門戶網站”

1. 在“Entitlements”下可以看到綁定的許可證，點選左側“DASHBOARD”菜單欄，并在右側點選“CREATE LICENSE SERVER”以建立許可伺服器

1. 在 “Server Name”選項填入許可伺服器的計算機名，“Description”填入此許可伺服器的描述，然後在“MAC Address”下填入之前在許可伺服器上擷取到的MAC位址，在“Feature”項下拉選擇對應的許可，然後點選“ADD”

1. 确認填入資訊無誤後，點選“CREATE LICENSE SERVER”

1. 可以在“License Server”下方看到建立好的許可伺服器

1. 點選建立好的許可伺服器，然後點選下載下傳按鈕下載下傳許可檔案

1. 把下載下傳好後許可檔案導入到許可證伺服器，登入到背景管理，并點選“License Management”選項，在右側點選“Browse”

1. 選擇之前從許可門戶網站上下載下傳下來的許可檔案，點選“open”，并點選“upload”

1. 許可檔案導入成功

1. 在“License Feature Usage”菜單欄可以看到許可的類型、版本、許可數量以及有效期，現在許可伺服器已經能夠正常對用戶端提供許可服務了

軟體版本相容性

本次安裝的NVIDIA軟體版本為NVIDIA Software10.2，ESXi主機系統版本為6.7u3，經官網查詢是相容本次實施的ESXi主機系統版本的，參考下面官網截圖：

支援的Linux用戶端作業系統版本可參考官網，官網截圖如下：

安裝和配置NVIDIA Virtual GPU Manager

安裝适用于vSphere的NVIDIA Virtual GPU Manager

1. 首先把ESXi主機上正在運作的虛拟機遷移到群集的其他主機上，并把主機進入維護模式。
2. 然後下載下傳對應vSphere6.7的驅動安裝包，安裝包為vib檔案，下載下傳之後把安裝包上傳至ESXi主機的系統目錄下，然後通過SSH登入ESXi主機系統，切換至安裝所在的目錄，使用esxcli software vib install –v /vmfs/volumes/DL580_local_141/NVIDIA-VMware-440.87-1OEM.670.0.0.8169922.x86_64.vib指令執行安裝（路徑必須是絕對路徑），在安裝結果下提示“Operation finished successfully.”則安裝成功。

1. 重新開機主機，并将ESXi主機退出維護模式，通過運作nvidia-smi指令，驗證NVIDIA核心驅動程式可以成功與系統中的NVIDIA實體GPU通信。

在vCenter配置允許vGPU vMotion

1. 使用vSphere Web Client登入到vCenter Server。在“主機和群集”視圖中，選擇 vCenter Server執行個體，單擊配置頁籤，在“設定”部分中，選擇“進階設定”，然後單擊“編輯設定”。

1. 在打開的“編輯進階vCenter Server設定”視窗中，輸入vGPU搜尋字段，當出現vgpu.hotmigrate.enabled設定時，設定“已啟用”選項并單擊“儲存”。

1. 在“進階設定”菜單，下拉找到“vgpu.hotmigrate.enabled”選項，可以看到已啟用vGP熱遷移功能

在vSphere更改預設圖形類型

1. 使用vSphere Web Client登入到vCenter Server，在導航樹中，選擇您的ESXi主機，然後單擊“配置”頁籤，從菜單中選擇“圖形”，然後單擊“主機圖形”頁籤，在主機圖形頁籤上，單擊“編輯”。

1. 在打開的“編輯主機圖形設定”對話框中，選擇“直接共享”模式和“将虛拟機分散在多個GPU中（最佳實踐）”政策，然後點選“确定”

1. 單擊圖形裝置頁籤，以驗證要在其上配置vGPU的每個實體GPU的配置類型。在“ 圖形裝置”頁籤上，選擇實體GPU，然後單擊“編輯”圖示。

1. 在打開的“編輯圖形裝置設定”對話框中，選擇“共享直接”，然後單擊“确定”。

1. 重新啟動ESXi主機，或停止并重新啟動ESXi主機上的Xorg服務和 nv-hostengine。要停止并重新啟動Xorg服務和nv-hostengine，請執行以下步驟：

• 停止Xorg服務。

[root @ esxi：〜] /etc/init.d/xorg stop

• 停止nv-hostengine。

[root @ esxi：〜] nv-hostengine -t

• 等待1秒鐘，以使nv-hostengine停止。啟動nv-hostengine。

[root @ esxi：〜] nv-hostengine -d

• 啟動Xorg服務。

[root @ esxi：〜] /etc/init.d/xorg start

禁用ECC記憶體

1. 使用nvidia-smi -q列出所有實體GPU或vGPU的狀态，并檢查記錄為已啟用的ECC。可以看到對應的GPU顯示卡的ECC模式均為Enabled。

1. 使用nvidia-smi –e 0指令将每個啟用了ECC的GPU的ECC狀态更改為關閉。

1. 重新開機機器，使用nvidia-smi -q列出所有實體GPU或vGPU的狀态，可以看到對應的GPU顯示卡的ECC模式均為Disabled。

建立符合使用NVIDIA vGPU的虛拟機

前提條件

本次是使用于計算的C系列vComputeServer vGPU，由于C系列vComputeServer vGPU具有較大的BAR記憶體設定，是以使用這些vGPU在VMware ESXi上有一些限制，在建立使用vGPU的虛拟機之前，虛拟機需要滿足特定條件才能使用C系列vGPU，具體可參考下面的官網截圖：

對于使用C系列vGPU的Vsphere虛機的部份參數調整可參考NVIDIA官網所附的截圖;

按官方要求建立虛拟機

1. 選中對應群集或者主機，右鍵選擇“建立虛拟機”

1. 選擇“建立新虛拟機”，點選“Next”

1. 選擇存放虛拟機的位置，然後點選“Next”

1. 選擇計算資源，然後點選“Next”

1. 選擇虛拟機存放的存儲，然後點選“Next”

1. 選擇虛拟機的相容性版本，然後點選“Next”

1. 選擇作業系統的類型和作業系統的版本

1. 配置好相應的計算資源和存儲資源後，在記憶體選項下，把“預留所有客戶機記憶體（全部鎖定）”都選上

1. 導航至“虛拟機選項”，在“引導選項”下，把固件調整為“EFI”（預設為BIOS）

1. 然後在進階選項下，找到“配置參數”選項，然後點選編輯配置

1. 點選添加配置參數，把下列兩個參數添加進去，添加完後點選“确定”

pciPassthru.use64bitMMIO =“TRUE”

pciPassthru.64bitMMIOSizeGB =“64”

1. 點選“Next”

1. 确認資訊無誤後，點選“FINISH”

1. 回到虛拟機編輯菜單，再次确認有沒修改成功

在Ubuntu VM安裝Nvidia驅動

安裝前的作業系統準備工作

1. 虛拟機聯網，使用線上源更新作業系統和安裝工具

安裝虛拟機系統更新：

安裝SSH服務：

1. 關閉系統自帶的nouveau，覆寫nouveau.ko步驟如下(紅色字型根據系統不同而不同):

mv /lib/modules/4.18.0-15-generic/kernel/drivers/gpu/drm/nouveau/nouveau.ko /lib/modules/4.18.0-15-generic/kernel/drivers/gpu/drm/nouveau/nouveau.ko.org

1. 在/boot/grub/grub.cfg檔案最後添加“rdblacklist=nouveau”

1. 在/etc/modprobe.d/blacklist.conf檔案添加“blacklist nouveau”

修改完需要重新開機虛拟機使設定生效

虛拟機添加顯示卡

1. 添加“共享PCi裝置”，虛機将自動識别到顯示卡“NVIDIA GRID vGPU”
2. 在“GPU配置檔案”選項選擇對應的GPU顯示卡，注意我們使用的是計算類型的顯示卡，對應應為C類

“GPU配置檔案”需要我們按照要求選擇：

“grid_v100d_4c”：占用4G顯存

“grid_v100d_8c”：占用8G顯存

“grid_v100d_16c”：占用16G顯存

安裝Nvidia vGPU顯示卡驅動

1. 在嘗試運作驅動程式安裝程式之前，請退出X伺服器并終止所有OpenGL應用程式。在Ubuntu平台上使用 CTRL - ALT - F1 切換到控制台登入提示，登入并通過指令sudo service lightdm stop關閉顯示管理器：

1. 執行驅動安裝程式(紅色字型部分因驅動版本不同而變化)：

./NVIDIA-Linux-x86_64-440.87-grid.run

1. 下圖選擇“continue installation”

1. 下圖選擇“ignore CC version check”

1. 點選“OK”确認

1. 安裝程式在建立核心，等待一會

1. 點選“OK”

1. 下圖選擇“install and overwrite exist installation”

1. 點選“OK”開始安裝驅動程式，等待大概2-3分鐘，驅動安裝完成

1. 通過運作nvidia-smi指令，驗證NVIDIA核心驅動程式可以成功與系統中的NVIDIA GPU通信

配置用戶端從許可伺服器擷取許可

1. 驅動完成後會在/etc/nvid ia目錄下生成一個gridd.conf.template的模版配置檔案，複制配置檔案：

cp /etc/nvidia/gridd.conf.template /etc/nvidia/gridd.conf

編輯配置gridd.conf檔案：

vim /etc/nvidia/gridd.conf

1. 添加License伺服器的位址和通訊端口号（紅色部分因License伺服器IP不同而不同）

ServerAddress=1XX.XX.XXX.200

ServerPort=7070

1. 修改參數，本次顯示卡用作AI計算（紅色部分因顯示卡用途的改變而改變）：

FeatureType=4

1. 重新啟動GRID服務，如下：

service nvidia-gridd restart

1. 檢視日志，已經從許可證伺服器擷取到License，如下：

grep gridd /var/log/syslog

1. 檢視主機MAC位址

1. 根據虛拟機的MAC位址，在License伺服器上看到了虛拟機擷取到了License

至此驅動安裝完成

在suse VM安裝Nvidia驅動

虛拟機添加顯示卡

1. 右鍵符合使用vGPU的條件的虛拟機，選擇“編輯設定”

1. 在“編輯設定”這裡點選“添加裝置”，并選擇“共享PCI裝置”

1. 點選“新PCI裝置”，在“GPU配置檔案”選項選擇對應的GPU顯示卡，注意我們使用的是AI計算類型的顯示卡，對應應為C類，例如grid_v100d-8c,看最後一列，數字8為顯存大小，c表示顯示卡的類型

安裝Nvidia vGPU驅動

1. 在Nvidia官網下載下傳好對應的驅動，然後上傳至虛拟機系統的目錄

1. 使用SSH遠端到虛拟機作業系統，使用chmod –R 777 NVIDIA-Linux-x86_64-440.87-grid.run指令對驅動檔案賦權

1. 使用指令./ NVIDIA-Linux-x86_64-440.87-grid.run執行驅動安裝

1. 點選“Continue installation”

1. 安裝程式在建立核心，等待一會

1. 點選“Yes”安裝NVIDIA相容庫檔案

1. 系統正在安裝驅動程式

1. 驅動安裝完畢，點選“OK”完成安裝

1. 通過運作nvidia-smi指令，驗證NVIDIA核心驅動程式可以成功與系統中的NVIDIA GPU通信

配置用戶端從許可伺服器擷取許可

1. 驅動完成後會在/etc/nvid ia目錄下生成一個gridd.conf.template的模版配置檔案，在目錄下複制一份模版檔案并命名為gridd.conf，使用指令chmod –R 777 gridd.conf對配置檔案進行賦權，然後使用vi編輯配置檔案

1. 配置檔案有3個地方需要修改，首先是“ServerAddress=”此處填入許可證伺服器的IP；然後是“ServerPort=”選項，此處填入許可證伺服器跟用戶端通信的端口7070，不填的話則預設為7070；最後是“FeatureType”選項，由于我們的許可是vcomputerserver類型的，是以此處填入4

1. 通過指令service nvidia-gridd restart重新開機服務，然後使用grep gridd /var/log/messages檢視是否有成功從許可伺服器擷取許可

1. 可以看到，用戶端能夠成功從許可伺服器擷取到許可

在Redhat VM安裝Nvidia驅動和授權許可

由于驅動安裝需要調用開發工具，是以建議在安裝Redhat Linux Enterprise作業系統時在軟體選項中選擇圖形模式并勾選KDE、相容庫和開發工具，友善後續的vGPU驅動安裝。

虛拟機添加顯示卡

1. 右鍵符合使用vGPU的條件的虛拟機，選擇“編輯設定”

1. 在“編輯設定”假面點選“添加裝置”，并選擇“共享PCI裝置”

1. 點選“新PCI裝置”，在“GPU配置檔案”選項選擇對應的GPU顯示卡，注意我們使用的是AI計算類型的顯示卡，對應應為C類，例如grid_v100d-8c,看最後一列，數字8為顯存大小，c表示顯示卡的類型

安裝Nvidia vGPU驅動

1. 在Nvidia官網下載下傳好對應的驅動，然後上傳至虛拟機系統的目錄

1. 使用SSH遠端到虛拟機作業系統，使用chmod –R 777 NVIDIA-Linux-x86_64-440.87-grid.run指令對驅動檔案賦權，并使用指令./ NVIDIA-Linux-x86_64-440.87-grid.run執行驅動安裝

1. 安裝程式在建立核心，等待一會

1. 點選“Yes”安裝NVIDIA相容庫檔案

1. 點選“Install and overwrite existing files”

1. 系統在執行驅動安裝

1. 驅動安裝完畢，點選“OK”完成安裝

1. 通過運作nvidia-smi指令，驗證NVIDIA核心驅動程式可以成功與系統中的NVIDIA GPU通信。

配置用戶端從許可伺服器擷取許可

1. 驅動完成後會在/etc/nvid ia目錄下生成一個gridd.conf.template的模版配置檔案，在目錄下複制一份模版檔案并命名為gridd.conf，使用指令chmod –R 777 gridd.conf對配置檔案進行賦權，然後使用vi編輯配置檔案

1. 配置檔案有3個地方需要修改，首先是“ServerAddress=”此處填入許可證伺服器的IP；然後是“ServerPort=”選項，此處填入許可證伺服器跟用戶端通信的端口7070，不填的話則預設為7070；最後是“FeatureType”選項，由于我們的許可是vcomputerserver類型的，是以此處填入4

1. 通過指令service nvidia-gridd restart重新開機服務，然後使用grep gridd /var/log/messages檢視是否有成功從許可伺服器擷取許可，可以看到，用戶端能夠成功從許可伺服器擷取到許可