數學通大道，算法合自然？

算法，它被用來決定每天最優的

家庭醫療

時長，還被用來鑒定

兒童是否受到威脅

以便兒童保護機構進行調查，也有人把它用來評估教師是否有資格

繼續執教

，在決定哪些人可以領

生活補助

的問題上也用到了它。總的來說，算法對我們的生活中的有着各種潛移默化的影響。本文對算法使用問題提出了自己的看法，原文發在 EFF 上，本文是對部落格的翻譯，雷鋒網 AI 科技評論編譯如下。

通常使用算法做決策的出發點是好的，但是照樣會導緻出人意料的後果。一些組織在大肆宣傳使用各種算法時，經常避開一個重要的問題：使用這些算法會削弱還是增強系統性不公平？

分析這個問題需要綜合考慮很多因素，我覺得一個機構斟酌是否采用算法決策時必須要考慮一下幾個問題。

一、算法是否會對生活産生負面影響

機構在采用基于算法的決策系統前必須要評估算法對生活可能産生的影響。也就是說機構必須清楚系統會影響到哪些人，以及以哪種形式影響。機構還應該對系統的不公平性有明确的認知。人們的初衷是使用算法讓生活變得更美好，但是受到

系統原生偏見

，決策者對統計資料的不了解及對機器過渡信任等影響，算法很難得到完美的結果。考慮到容易導緻不公平結果的内在風險，以及這些結果可能對生活産生的負面影響，我們在沒有足夠的安全保證前不應該輕易使用算法決策。

上文的錯誤實際上已經有執行個體了，在印第安納州，由于算法将不完整的福利申請文書算作是失敗申請，直接導緻了三年内有 100 萬人無法獲得食品券，醫保福利和現金福利。其中有一個人叫 Omega Young，她由于無法負擔醫療費用于 2009 年 3 月 1 日去世。然而她去世後一天，她赢得糾錯申訴，她所有的福利都恢複了。這個例子充分顯示了印第安納州的保障措施和上訴程式有嚴重的不足和漏洞。實際上決定一個人能否繼續領醫保是一個非常難裁決卻又十分重要的事，對此不禁讓人質疑讓算法決定這麼重要的事是否妥當？

弗吉尼亞的 Eubanks 在 Automating Inequality 這本書裡探讨過印第安納州的問題。她這本書的内容就是技術如何影響公民、人權、經濟公平。書中她解釋道算法可以讓我們與社會難題産生“

情感距離

”，因為針對這些難題的決策我們都讓機器幫我們做了。但我們必須意識到現實中有一些決定機器無法幫到我們，我們也不應該把這些問題抛給機器。對于這些問題機器無能為力，畢竟數學沒法解決根深蒂固的社會問題，如果強行使用算法去解決可能隻會加劇系統原生不公。

二、可用資料是否能帶來好結果？

算法輸出依賴資料輸入，是以隻有正确的資料輸入才能得到預期的輸出。是以機構在決定采用基于算法的決策系統時必須要要深入研究他們要解決的問題，并扪心自問他們是否有解決該問題所需的資料。

以賓夕法尼亞州阿勒格尼縣的兒童，青年和家庭（CYF）部門為例。該部門正在使用一種算法，該算法根據所有遞交的可能涉及虐童的事件報告對兒童進行

受威脅程度打分

，

并以此協助辦案人員進行調查，這也是 Eubanks 書裡的另一個案例。該算法的目标很平常：幫助社會服務機構最高效地利用有限的資源來幫助他們服務的社群。該縣的目标是預測哪些兒童可能受害，也就是「輸出結果」，但是卻缺乏足夠的虐童事件樣本來建立真正有統計學意義的模型。于是他們采用 CYF 的熱線資料和兩年内的寄養資料作為虐童資料的替代資料。是以算法會輸出某個兒童上 CYF 熱線和被寄養的可能性，并以此作為該兒童的受威脅程度分數。

這種做法有什麼問題呢？那就是替代變量品質不佳。首先，這些資料主觀性很強。Eubanks

解釋

說，熱線資料包含了一種隐藏的偏見：「舉報者們報告黑人和混血兒家庭暴力的頻率是他們報告的白人家庭的 3.5 倍」有時甚至是憤怒的鄰居，房東，或者家庭成員故意誤報來懲罰或報複鄰居或家人，正如 Eubanks 在 Automating Inequality 中

所寫

的那樣：「預測模型模組化需要清晰明确的步驟，并且有大量相關資料才能正确運作。」阿勒格尼縣顯然沒有這些條件，然而 CYF 依舊推進使用這項算法。

那麼最後結果如何？該算法精度實在有限。Eubanks 了解到，在 2016 年這一年就有 15,139 次虐童報告，該算法則導緻了 3,633 次不正确的預測。這等于 CYF 無端侵入和監視了數千個貧窮少數族裔家庭的生活。

三、算法公平？

缺乏足夠的資料會加劇算法固有的不公平。例如，阿勒格尼縣沒有當地所有家庭的資料，他們的資料僅從

使用公共資源的低收入家庭

收集。這導緻了算法隻針對低收入家庭進行審查，并且可能針對這些家庭形成回報循環，這使得進入系統的家庭難以完全擺脫監控。這種做法實在有違公允，阿勒格尼縣的一些家庭肯定會感到不公。

其實讓算法更加

公正

的思路有很

多

。

比如算法對不同群體是一視同仁還是差別對待？是否可以從公正、公衆安全、平等、優化資源配置等角度去優化系統。還有就是那些可能受到影響的社群居民是否可以有機會參與政策的制定，包括算法如何設計，怎麼使用，怎麼定義公平等。最後就是在算法産生不利影響前（比如上文中的 Omega Young），那些将遭受不利影響的居民有沒有有效又便捷的途徑去複審以消除這種影響。

組織應該将自己所秉持的公平原則對公衆保持透明，并應該讓各路利益相關者特别是那些直接受到影響的居民參與到公平規則的制定中。那些未通過檢驗的算法絕不能被采用，而對于已經采用的算法決策系統，應該配有一個後續的審查程式來評估結果并糾正任何系統偏見所造成的影響。

四、人類如何應用成果

還有一個組織必須考慮的問題是如何應用算法成果。在阿勒格尼縣，由算法評出的「受威脅程度評分」是作為影響因素之一提供給調查人員參考的，調查人員以此來決定目标家庭，但在實踐中，Eubanks 發現該算法更像是在訓練資料輸入者。曾幾何時，調查者的個人判斷是可以消除隐藏偏見的。但是當這些調查者将判斷的權利完全交予算法，實際上他們發起了守望者的角色，這也使得整個決策系統中階級分化和種族歧視的情況更加嚴重。

算法決策系統因為不會像人類那樣主觀臆斷而備受吹捧。這種過分相信機器客觀可信賴的趨勢導緻了「

自動化歧視

」。人們在做決定的時候必然存在着認知偏差，而自動化歧視又使決策難度更上一層。人類知道自己存在各種偏見，即人類知錯能改，但是當算法結果成為主導決定的唯一因素時，機構必須建構另外一個矯正自動化偏見的系統并保證其可用。這個系統要求算法不僅要給出某種分數，更要描述評價過程，另一方面人類決策者也必須有基本的統計學知識還要對自己使用的特定算法的局限性和缺點了然于胸。

在某些情況下，隻要算法存在誤導決策者的可能性，那麼該算法的可用性就要重新考慮。比如，計算犯人的再犯率來輔助判刑。具體執行個體如，在威斯康辛州，法院使用 COMPAS 算法來預測被告的再犯率，然後由法官作出最後判決。但是我們必須清楚那就是人類本能的相信機器，是以認為法官的「固有的綜合評價能力」不會受算法的過度影響實屬幼稚。肯塔基州一項關于風險評估算法對法官影響的研究發現，算法對于法官決策的影響是很短暫的，這段時間過後法官就會回到他們習慣的決策狀态。研究發現這種影響也是因人而異，但是哪怕隻影響一個法官也可能導緻某人失去自由。由于判決決定關系重大，這種事先預測再犯率的算法又存在嚴重問題（該系統

基本上将黑人妖魔化，卻給白人罪犯益處

），是以繼續使用該算法是不人道，不道德的。

五、人們與系統是互相影響的嗎？

最後，算法的存在是為了更好的服務社群，是以絕不能把節約時間或資源放在第一位，應該永遠是社群利益至上。這要求資料科學家必須考慮社群的惶恐和擔憂，然而現實是這些科學家基本沒接觸過應用算法的社群。正如 Weapons of Math Destruction 的作者Cathy O’Neil

今年早些時候

在 Wired 上發表的言論：「算法的建構者們和被算法影響的人們之間完全沒有聯系」。隻要這種情況持續下去，哪怕最好的系統也注定會産生

意料之外的嚴重副作用

在部署算法系統之前，資料科學家，執行組織，社群群衆之間的隔離必須被打破。O’Neil 建議資料科學家事先了解所有受影響的利益相關者的關注點，然後建構一個「

道德矩陣

」。這個矩陣可以幫助闡明利益相關者之間争論的意義，動機，考慮因素等，也可以讓資料科學家放手去搞影響更大的算法（依舊考慮各路人員的利益）。受影響的社群也應該有機會去評估，糾正和影響這些系統。

後記

正如衛報

指出的那樣

：「建構壞的 AI 系統可能并不需要一個壞的動機」，出發點是好的也會導緻意外的後果，任何基于算法的決策系統也是如此。即使是最具善意的系統也會造成嚴重的危害，特别是一個組織沒有

事先考慮

采用算法決策是否妥當以及合乎道德，然後出了事還一步不退的情況下。這些問題是應該是人們思考的起點，解決這些問題也不一定能保證公平的結果，但它們是所有組織在采用基于算法的決策系統之前應該扪心自問的問題。

以上就是雷鋒網AI科技評論對部落格的全部翻譯。算法對我們的生活影響越來越大，算法、機器學習是否被濫用着實值得思考。

原文釋出時間為：2018-05-28

本文作者：sanman

本文來自雲栖社群合作夥伴“

雷鋒網

”，了解相關資訊可以關注“

”。