多功能PCIE交換機之九：單NT系統中需要注意的問題

多功能PCIE交換機之九：單NT系統中需要注意的問題

1.單NT與雙NT系統差異

NTB通常用在雙控或者多控的系統上，用來實作跨節點的資料傳輸。在由多個節點構成的系統上，通常每個節點上都有一個NTB晶片，以實作全系統位址空間劃分和路由。顧名思義，單NT是指用一個PCIE非透明橋來實作節點間資料傳輸的方案，通常用在兩個節點之間。和多NT的系統相比，這種方法實作相對比較簡單，成本較低，開發周期較短，能夠縮短整個系統的關鍵功能和性能的驗證周期。

2.單NT系統的實作

單NT的實作需要結合整個系統的設計要求， 根據具體伺服器的主機闆和各種設定，确定好實體NTB需要安裝在哪台機器上，然後考慮并檢查下面的設定：

a. 檢查BIOS裡是否有NTB相關的enable/disable開關，如果有，打開相應的開關；

b.在需要安裝實體NTB的節點上，EEPROM裡enable相應的NTB;而在其他的節點上,通過EEPROM來disable NTB；

c.根據系統的設計要求，設定好位址位址轉換視窗的數量和大小。

3.單NT系統中PCIE裝置的特點

單NT系統中，由于link port一側的NTB實際上是disable的，link port一側看到的NTB相應的BAR空間實際都是virtual port一側映射過來，然後由link port一側作業系統初始化PCIE時設定的。是以，Virtual port 端重新開機之後，Link port NTB相應的BAR寄存器會發生變化，是以會導緻Link Port不能往virtual port讀寫資料。此外，如果link port節點上電的時候，virtual port一側還沒有上電，

那麼link port 在初始化PCIE總線的時候無法看到NTB裝置，進而導緻link port一側的NTB PCEI裝置都不會存在，驅動更無從加載。

4.單NT系統中碰到的問題該如何規避

針對上面的問題，了解了問題的根源，不難想到下面的解決方法：

1.確定virtual port先于link port上電，且保證link port初始化PCIE的時候，virtual port一側的NTB PCIE裝置已經探測并初始化；

2.如果link port節點能夠正常使用NTB，此後出現了virtual port節點重新開機，那麼link port需要重新開機或者恢複到之前的NTB PCIE 的設定，等到virtual port成功起來之後，就可用繼續使用NTB了。

本文轉自存儲之廚51CTO部落格，原文連結： http://blog.51cto.com/xiamachao/1887917，如需轉載請自行聯系原作者