多核程式設計的四層境界

多核程式設計的四層境界

版權申明：這篇文章可以被自由轉載，如果修改其中的内容需征得作者同意。

自發表“老子是偉大的多核計算科學家”（欲看此文，請點這裡）一文來，收到許多網友的強烈反響，褒揚者有之，砸闆磚者亦有之。不過闆磚數量倒是在我的意料之中，凡是跟哲學或者說是玄學的東西沾上邊的，總會招來一陣口舌之争。雖然砸闆磚者也沒有說出任何反駁的道理來，但是并不代表那篇文章就很完美，沒有不足的地方。實際上那篇文章中隻涉及了多核程式設計的一個層面的思想，還有另外三層思想沒有被提及，這也許可以算作是那篇文章的不足之處吧。為彌補其不足之處，下面從四個層面來闡述多核程式設計的基本思想。

第一層  先天·方法·政策層

第一層的基本思想就是“老子是偉大的多核計算科學家”一文中所提及的幾個基本思想：“貪心”、“自私”、“偷”等。這些東西是先天存在的，是人類的一種本能，它又可以看作是方法、政策，是以把這層叫作“先天·方法·政策層”。

先天的方法政策并不限于“貪心”、“自私”、“偷”這三種，去年的SD大會上，我講過一個基于搶奪的分布式記憶體管理算法，說明“搶”也是一種先天的方法政策。所謂：

“人之初，性本貪，性自私，性喜偷，性喜搶。”

為避免誤解，這裡先說明一下，這裡所說的“偷”、“搶”和通常意義的偷、搶并不完全相同。“偷”和道家意義上的偷是同一個含義，即“不與取”之意；“搶”則是取“不歸還”之意。

昔範蠡雲：“且夫天輿弗取，反受其咎”。既然上天給了我們這麼多好的方法政策，不用它的話顯然是一種糟蹋。在多核程式設計中如何使用這些政策來進行程式設計，開源項目TBB中可以找到詳細的代碼例子。

第二層  目标·需求·評價層

先天的方法政策，雖然看似簡單，但要用好它并不是一件容易的事情。自私、貪心、偷、搶等先天方法既可以用來做好事，也可以用來做壞事。這就牽涉到如何評價是否用好了這些先天方法政策的問題，也就是第二層目标·需求·評價層所需要解決的問題。

并不能為了使用先天方法政策而使用它，而是用它來滿足我們的需求，到達一定的目标。那麼這個需求和目标是什麼呢？

在這裡不想對一般的需求進行分析，隻分析優化方面的需求。要達到優化，可以了解為各種資源的有效利用，可能有很多人已經有這方面的了解【1】。這些資源可以分為以下幾個方面：

1）時間資源， 時間資源指的就是時間，比如一段程式或算法需要運作多長時間。

2）空間資源，如記憶體、硬碟、網絡、各種IO裝置資源等均屬于空間資源。

3）計算資源，如CPU、GPU、各種闆卡上的處理器等均屬于計算資源。

4）能源資源，通常指的是電能的消耗量，由于全球變軟，環保問題的日益重要，這個在以往被忽視的資源也變得重要起來。

如何有效利用上述資源，并在各種資源利用間取得均衡，是制定目标和需求的基礎，也是評價程式或算法優化程度的基礎。

第三層  本質·根源·保障層

資源的有效利用，可不是一件簡單的事情。在單核時代，許多程式員已有時間資源和空間資源的利用及均衡方面的豐富經驗，那時幾乎不用考慮計算資源的利用問題，因為處理器隻有一個。

然而，在多核系統中，計算資源的利用成了頭号問題，多個處理器的使用，使得程式員必須考慮如何将程式在各個處理器上并行地執行，這就牽涉到一個負載均衡問題。

負載均衡問題曆來屬于難題，由于客觀上存在大量的共享資源，各種不同的共享資源情況複雜，并不能簡單地将負載平均一下就攤到各個CPU核上去執行。那麼用什麼來保障負載平衡呢？如何去達到資源有效利用的終極目标需求呢？

要保障目标需求的實作，其核心就是公平、正義問題。當然，對公平、正義這兩個詞的了解，現實情

況中存在多種解釋，這裡采用更廣義的解釋，凡是可從正确的前提通過邏輯推導出來的定義，均視做正義，例如自然科學中的所有公理、定理及推論，均屬于正義。

在人類社會中，一些公認的道德标準、法律條文，也屬于正義。

以動态偷取的排程算法為例，一般都是設計成每個線程一次偷取一個任務，實際上已經隐含地使用公平正義對偷取的數量做了限制，倘若不如此，任由一個線程一次将隊列中所有任務都偷走，那麼其他線程就偷不到任務了，這樣就會出現負載不均衡，無法有效地利用多個處理器的計算資源。

再比如基于搶奪的記憶體配置設定算法，每個線程使用了共享記憶體後，它并不傳回給它的屬主線程，而是據

為己有，這樣時間一長，必然有某些線程占有了過多的記憶體資源。為了解決這個問題，解決方法就是每次搶完後，都需要判斷一下自己占有的記憶體數量是否過多，過

多的話則主動将一部分記憶體歸返給公共記憶體池，進而實作負載均衡。可以看出基于搶奪的記憶體配置設定算法中也使用了公平、正義以確定負載均衡。

公平、正義問題可以說是算法之本，全局效率之源。為什麼這麼說呢？不妨看看現在美國發生的次貸危機，其根本原因是由于銀行将貸款發放給無償返能力的客戶所造成的。從公平、正義的角度看，實質上是銀行為了自身的貪心、自私，違反了基本的公平、正義問題。次貸危機的後果，無需我多言，大家均已看到。可見，沒有公平正義，貪心、自私等先天方法政策必然會被濫用，其結果必然導緻全局的不優。

由此可見，公平、正義是保障貪心、自私、偷、搶等先天方法政策得以正确使用的前提條件。本層名稱中的本質、根源、保障，說的就是公平、正義。

需要提及的是，在人類社會的現實中，由于人是有情感的，公平正義在執行中總會存在偏差，這時就

需要仁愛來彌補其不足，這也許是儒家思想能夠流傳兩千多年而不滅的根本原因。當然，如果把仁愛思想也看作是道德标準的一部分的話，按照前面給出的正義的定

義，其實仁愛也屬于正義的範疇。

第四層  算法·實作·執行層

通過上面三個層面的闡述，可以知道先天的方法政策是實作優化的基本手段，資源有效利用則是實作優化的目标需求及評價條件，公平、正義則是保障先天的方法政策合理使用的前提條件。是不是有了這幾樣東西就可以做到達成優化的最終結果呢？

答案是“非也”。如果上面那幾個東西就可以達成優化的結果，那麼從街上随便抓個人恐怕都可以寫出很好的多核程式來了，還要程式員幹嘛，還要去學習多核程式設計的各種模式、技巧及算法幹嘛？

就像學了牛頓力學一樣，有些人可以設計出摩天大廈，造出各種機械，有些人卻啥也做不了。何也？運用好壞之不同也。要寫出好的多核程式，同樣牽涉導如何運用上面三層中的基本原理思想方法的問題，而要用好這些基本原理思想，更多的還是要靠程式員自身的知識及能力，最終依賴于算法或程式的具體實作。就像有了道家，儒家，卻仍然少不了法家、農家、醫家等各個領域的諸子百家。

怎樣寫出好的多核算法或程式來？ “好好學習、天天向上”是也【2】。

備注：

【1】 08年深秋，與孟岩先生在上海相聚，一起聊到對多核計算的了解時，他談起了各種資源如CPU資源的有效利用問題。

【2】 關于學習寫多核程式，提供一些學習材料給大家參考如下。

1） 

TBB開源項目：  [url]http://www.threadingbuildingblocks.org/[/url] 

曾有人說過：“源代碼是最好的文檔”。這個開源項目的内容不僅是目前多核程式設計方面做得最好的，更重要的是它裡面還挂有很多其他并行計算方面的開源項目的連結，是以值得上去看一看。

2）  “多核程式設計高處并不“寒””，文章位址： [url]http://news.csdn.net/n/20081107/120632.html[/url]

當然這條和最後一條都有給我自己做廣告的嫌疑，之是以不計嫌疑地推薦大家看這篇文章， 主要的原因是這篇文章裡有我對現在市面上有關多核程式設計和并行計算書籍的一個點評。可以給大家購買書籍作為一個參考。

3）Intel軟體社群多核論壇：[url]http://forum.csdn.net/Intel/IntelMulti-core/[/url]

4）我的部落格：[url]http://blog.csdn.net/drzhouweiming[/url]  

裡面有一些關于多核程式設計方面的文章。

上面列出的學習材料沒有包括多線程程式設計的基礎方面的書籍資料，這方面的資料網絡上可以搜尋到一大批，出版過的書籍衆多，請恕我在這裡不一一列出。