大資料“偏見”會讓我們變蠢嗎

數字從來不會自己說話。資料必須經過分析才能産生意義。資料必須要清理、權重、整理。 很多時候，大資料被輸入到算法中，産生可指導行動的測量資料。個性化給人們帶來的最大擔憂是，它讓使用者撤回到舒服的飛地，其結果是使用者的視野變窄，偏見增強。

測量中的偏見

所有的媒介測量都具有偏見。這并不是說，它們為了達到某個不道德的目的而故意歪曲——雖然也存在這個可能。意思是說，它們永遠無法提供一個完全客觀的現實圖像。在收集和整理資料的過程中，偏見是固有的。能被觀測到的東西是無限的。記錄這些東西的方法各不相同。而且，正如我們所見，有很多不同的方法可以将所有資料凝縮為可用的測量标準。在這個過程中，有些東西未被探索到，有些東西則犧牲在“剪輯室”。

主導這個過程的是人類。他們決定什麼是有用的、可行的或可以營銷的。這樣的判斷已經烙入到所有的測量中，并從此産生偏見。重要的是識别最常見的偏見形式，并了解它們是如何影響市場運作的。有三種偏見值得一提：行為偏見、個性化偏見和流行度偏見。

行為偏見

絕大多數數字媒體的測量手段是通過記錄人們的行為建構的。從廣播的最初歲月開始就是這樣，直至今日未曾改變。第一個視聽率測量機構決定通過記錄聽衆的收聽行為來測量廣播接觸。這并不是了解媒介使用的唯一方式——它也可以被定義為聽衆關注或參與，但是接觸迅速成為業界共識。曆史學家馬克·巴爾内夫斯及其同僚解釋道：“出于買賣廣告時段或買賣節目的目的，一種能顯示收聽某個節目和收聽時間的測量标準具有某種簡潔性，這對高競争性環境中的議價十分重要。” 數字電視的現代測量技術與此并無二緻。個人收視記錄儀和機頂盒記錄下人們所選擇的内容或頻道，并從這些選擇中推斷接觸。

Web 2.0 機構對行為資料的依賴并沒有減少。雖然有些機構從使用者評論中獲得見解，但是大多數被采集的資訊都是作為行為資料被加以解釋的。伺服器追蹤人們買了什麼、通路了什麼網站、索取了什麼資訊、下載下傳了什麼材料、連結到了什麼網頁、分享了什麼東西。實際上，每一天的每一秒鐘都有海量的行為資料被制造出來。它的優點是價格低廉、數量豐富，進而成為一種具有誘惑力的資源。但是，即便測量得精确，行為也很難被解釋。

人們面臨的最大誘惑是将選擇當作偏好的替身。其實，經濟學中有一個正式的假設，即，選擇是“顯示性偏好”的度量。在推薦機制中，這種思路十分常見。甚至這些機制的批評者似乎也忽略了二者的差別。“新一代的網際網路過濾機制盯着你看起來喜歡的東西——你實際的所作所為，或者與你類似的人們所喜歡的東西，并試圖做出推斷。”但是，我們有理由懷疑，選擇是不是先有偏好的直接反映。媒介使用并不總是我們個人偏好的良好展現。我們所屬社交網絡的特質、我們用來尋找内容的工具和日常生活的結構都影響了媒介使用。

是以，通過行為進行推斷時必須要謹慎。觀看一段視訊意味着你喜歡它嗎?亞馬遜上的每次購買都應該被了解為向“像你一樣的人”做出的無聲推薦嗎?連結到某個網頁或分享某個連結代表的是贊許還是譴責?轉發某條推特資訊是對其創新性的判斷，還是身份表達和“社交紐帶”?點選“喜歡”按鈕意味着你真正喜歡它，還是僅僅為了擷取免費的東西?行為的意義并不總是直白明了。然而，當我們将它們簡化為“人頭數量”或推薦時，往往認為行為的意義就是這樣簡明。

個性化偏見

可選擇的東西如此之多，可用于選擇的時間如此之少。媒介測量的一項重要功能是為人們的選擇提供向導。個性化推薦在一定程度上能夠預見我們認為有用或有趣的東西。它意味着我們無須在搜尋上浪費時間，無須考慮每個選項。擷取提供這些推薦的技能，一直是在網絡上取得成功的處方。然而，商業平台并非唯一具有個性化偏見的平台。接下來我将論證，測量手段讓我們以個性化的方式接觸數字媒體，這在一定程度上是由我們社交網絡的本質屬性造成的。

營利網站具有追求個性化的欲望，這并不難了解。這個被帕裡澤稱為“為相關性而進行的競賽”，驅動着大多數矽谷企業。因為它們意識到創造忠誠客戶的最好方法是，“提供真正對應每個人獨特興趣、欲望和需求的内容”。 正如我們所看到的，這也正是協同過濾的存在理由。谷歌從 2009 年開始提供個性化搜尋結果。Facebook 的圖譜搜尋提供了另一種個性化方法。根據《紐約時報》的說法，“在使用者的 Facebook 好友中哪一個與使用者最親密，在搜尋結果中使用者最想看到誰的答案，這些都是由算法審定的”。

社交網絡和親密小組也在無意中造成了個性化偏見，幾乎所有的社交網絡都是同質化的。社交網絡的成員傾向于擁有相似的背景、興趣和性情。在這些網絡之中，照顧到相關群體興趣、規範和偏見的媒介更容易得到廣泛傳播。社交新聞網站，如紅迪網(Reddit)或頂客(Digg)，通過推導、綜合和排名向人們推薦值得關注的東西，進而鼓勵了這種選擇性。

其實，社交網絡呈現給我們的推薦，可能比我們想象的還要自動化。Facebook 通過一種名為“刀鋒排名”(EdgeRank)的算法，為每個使用者提供個性化的動态新聞。刀鋒排名是 Facebook 的專利，但是與圖譜搜尋類似，它也是優先呈現來自與我們關系密切的人們的最新消息。換句話說，在所有的 Facebook 好友中，我們更可能聽到像我們一樣的人們的消息。在一定程度上，這種定制内容造成了社交媒體上普遍存在的個性化偏見。

個性化給人們帶來的最大擔憂是，它讓使用者撤回到舒服的飛地，其結果是使用者的視野變窄，偏見增強。例如，個性化可能會鼓勵保守主義者收看“紅媒”，自由主義者收看“藍媒”。帕裡澤将這些飛地稱作“過濾氣泡”。他認為使用者往往并沒意識到過濾氣泡的存在。

然而，我們很難确定這些來自朋友的推薦所産生的社會效應。區分社交傳染效應與同質性效應，對我們來說是一項挑戰。人們可能會看到同樣的東西，做同樣的事情，這不是因為推薦，而是因為他們彼此相同。然而，也有證據證明，朋友的督促能夠促使人們去投票，進而影響難分伯仲的選舉結果。而且，似乎來自熟人的推薦壓倒了選擇性接觸的傾向。穆茨和楊猜測，自動化的“非人類”推薦，例如協同過濾——或許不如“人類”推薦更具潛在影響力。然而在當今世界，随着 Facebook 和推特使用算法濾出個人資訊和推薦，人類推薦和非人類推薦之間的界限也變得日益模糊。

流行度偏見

幾乎所有上述方法都産生一個推薦排序表。搜尋引擎根據内向連結的數量和重要性進行網頁篩選。社交網絡和内容提供者将使用者指向閱讀最多的故事、觀看最多的視訊或者大多數90“像你一樣的人們”所購買的、租賃的或喜愛的東西。使用者資訊機制經常使用的方法，都特别倚重流行度。《華爾街日報》的“數字先生”卡爾·比亞利克有一句妙語：“網際網路促進了流行度競賽的爆發。” [“Numbers Guy”是由卡爾·比亞利克創辦并供稿的《華爾街日報》專欄，這個專欄是關于新聞所使用(特别是誤用)的數字和統計的。

盡管在曆史上，大衆文化的批判者曾經質疑被當作品質名額的流行度，但是推薦機制基本上能夠免于此類質疑。相反，使用者和社會評論家都贊賞這些機制，認為它們展現了“群衆的智慧”——意思是說衆多普通決策者能夠創造優于專家的集體判斷。這個流行概念給那些自私機構和告訴人們什麼最好的自認權威提供了誘人的修正。然而，即使接受這個假設，使用者資訊機制也往往不能滿足做出優秀決定所需的前提條件。

根據詹姆斯·索羅維基(他是幫助這個概念流行開來的作者)的說法，當大量不同個體獨立做出決定或預測時，智慧得以實作。将這些自主決定加在一起，通常可以産生一個明顯優于專家意見的結果。不幸的是，大多數使用者資訊機制違反了這些規則，這一點連索羅維基自己也承認。

首先，推薦通常以相對較小的同質群體為基礎。如我們所見，社交網絡或親密小組的成員是同質的。在大多數群組中，成員的數量是有限的。人類學家羅賓·鄧巴認為，人類最多能夠維持150多個有意義的人際關系，是以社交網絡的規模是有限的。有些人找到證據證明社交媒體使用中存在天花闆，另外一些社交網絡分析者卻認為，“鄧巴數”太低了。不管怎樣，社交網絡，作為推薦實體，通常并不具備做出聰明判斷所需的規模和多樣性。協同過濾也不能糾正這個問題。最好的推薦機制橫跨多個資料庫。它們必須這樣做，因為相對來說，隻有少數人在進行推薦時最終具備價值。也就是說，過濾算法搜尋并優先考慮與你“最親密的人”或離你“最近的人”。這些人通常隻占資料庫的極小一部分。

其次，在上面提到的使用者資訊機制中，沒有一個促進了最佳推薦所需的那種獨立決策。搜尋引擎為使用者提供有關其他人所作所為的資訊，有效引導接下來的決策，整合并報告某個網站的通路者選擇了什麼或者某個社交網絡的成員推薦了什麼，為追随者提供了強烈的社會期望信号。人類有随大流的傾向，見到他人在做什麼，能夠引發狂亂沖動行為。

例如，哥倫比亞大學的社會學家進行了一項基于網際網路的大規模實驗。在實驗中，人們被允許從一些不知名樂隊中選擇一個，并下載下傳它的音樂。在實驗條件下，人們能夠看到有關别人所下載下傳内容的資訊越多，他們越傾向于追随上司者。歌曲的品質相對來說并不重要。在不同的實驗條件下，使用者資訊産生的結果都是“赢者通吃”。然而，你還是無法事先預知誰會成為赢者。

如果自主決策産生最佳結果，傳染和從衆似乎是“智慧自群衆中來”(這個觀點的持有者)最不喜歡的。正如預測專家納特·西爾弗所警告的：“這是資訊時代的另一個風險：我們分享如此多的資訊，以至于我們的獨立性被降低了。相反，我們尋找和我們一樣思考的人們，

但是，這些以流行度為基礎的排名比比皆是，是以，我們應該謹慎對待測量中的流行度偏見。這樣的測量标準能夠告訴我們什麼在吸引注意力——同時也提升流行度，但是它們并非找到真正價值所在的無誤向導。

透過大資料看世界

很多評論家和顧問早就指出，大資料的出現将促使我們革新一切，從制造到市場營銷、到醫藥、到天氣預測、到股票交易、到科學自身的每項實踐。我曾間接提到伺服器所産生的資料對媒介測量的影響，但是我們還是應該認真考慮，大資料是否從根本上改變了我們看待注意力市場的方式，是否在此過程中改變了市場的運作方式。

大資料這個詞模糊得讓人喜歡。對有些人來說，它是一切電子計算表中大到無法處理的資料;對另一些人來說，它隻不過是一個需要超級計算機進行運算的資料集。它通常包括兩個截然不同卻又經常合在一起的話題：資料與分析。為了掌握大資料的貢獻和局限，我們應該對二者分别對待。

大資料的擁護者們經常表示，越大一定越好。我曾指出，大多數媒介測量都有一個行為偏見，行為偏見讓它們的解釋存在問題。但是在克裡斯·安德森(他曾長期擔任《連線》雜志編輯)看來，日益增加的資料以某種方式消除了這個問題。“誰知道為什麼人們為其所為、做其所做?重點是他們做了，而且我們能夠追蹤，并以前所未有的保真度測量他們的活動。有了足夠的資料，數字自己就會說話。”然而，大多數知道資料包括什麼、不包括什麼的人們卻得出截然不同的結論。微軟研究院的研究員們将真實世界中大資料的不足進行了分類，從代表性問題到顯而易見的錯誤。他們得出的結論是：“大資料為我們提供了海量資料，但這并不意味着方法問題不再重要。例如，對樣本的了解，現在比以往任何時候都更重要。”

數字從來不會自己說話。資料必須經過分析才能産生意義。資料必須要清理、權重、整理。 很多時候，大資料被輸入到算法中，産生可指導行動的測量資料。正如克裡斯·斯坦納所指出的：“在華爾街和其他地方，所有因算法而實作的革命，隻有一個核心的、執着的目标：預測——更精确地說，預測其他人會做什麼。”

然而，預測人們會做什麼，要什麼或對什麼滿意，比實體世界的預測更難。想一想用大資料預測天氣。預測并不能改變天氣。預測一英寸的雨水并不能讓此成真。假如真的下雨，你就可以對預測的精确度進行測量。你隻需到雨水測量器前看一看就知道你預測的對不對。人類世界并不總是按照同樣的規則運作。

對社交活動的預測會影響他們所預測的東西。如果谷歌預測某個網站會有價值并因為這個預測促進了網站流量，似乎就能夠進一步證明這個推薦的正确性。如果《紐約時報》網站将某篇文章吹捧為閱讀量最多的文章，就會引誘人們去閱讀它。如果我們接受這個間接推薦，它對其他人的誘惑力就會增強。如果亞馬遜預測我們将會喜歡某本書，因為“像我們一樣的人們”購買了該書，我們可能就會将該書加入到購物車，進而使銷售增長。倘若不是這樣，這個增長是不存在的。測量并沒有與它們所要測量的現實互相分離，測量重塑了現實。

職業媒體人手中的測量可能也是這樣的。例如，媒體都想在新人出名之前發現他們。《廣告時代》如此描述這個挑戰:“很多年以來，品牌一直在和 YouTube 明星合作——賈斯汀，謝伊·卡爾，米歇爾·潘等等，但是，如果你能夠在明星成為大腕之前就發現他們，又會怎樣呢?”為了做到這一點，代理機構要在 YouTube 上追蹤 5 萬個頻道、2500 萬個視訊，進而預測誰處在成名的臨界點，表現優秀的那些可以簽下合約。以這種方式發現的人才可能無須幹預便獲得成功。但是，使用測量發現赢者的同時也能創造赢者。與天氣不一樣，社會預測能夠改變結果。

在很多大資料支援者的眼中，預測實體世界與預測人類世界的差別似乎不再存在。在人類社會，由大資料驅動的算法有可能創造“自我應驗的預言”。偉大的社會學家羅伯特·K·默頓解釋道：“某個情況(預言或預測)的公共定義成為這個情況的組成部分，是以影響到事态的後續發展。這是人類事務特有的。自然界中并不存在。”自我應驗的預言産生兩個問題，一個是分析者的問題，另一個是我們其他人的問題。

算法的預測品質應該根據預測的準确性判斷。但是，任何評估都取決于我們能否很好地測量我們所預測的東西。在大資料的世界裡，比起其他事情，有些事情更容易知道。我們也許能判斷出某種模式在多大程度上決定了電視節目的收視率，或者操控推銷辭令如何影響了購買行為。但是，當谷歌預測我們會覺得某個網站有價值，或者奈飛預測我們會喜歡某部電影時，我們怎能知道這些預測真正找到了具有價值或令人喜愛的東西呢?我們可能發現這些推薦有價值，但是我們無法确定它們是否為最佳選擇。将人們對某個建議的接受當作品質高的證據，或許隻會讓自我應驗的預言繼續存在。在人類世界中判斷預測的品質，并不像看一眼雨水測量器那樣簡單。

自我應驗預言的更大後果是，它們能夠影響文化消費本身的性質。公共測量可能會與其所測量的世界“發生反應”，進而改變社會現實。 兩種偏見：個性化偏見和流行度偏見，可能都有這個能力(改變社會現實)。

個性化推薦将我們引向那些關心我們興趣和偏見的媒體。通常，推薦者需要從我們過去的行為進行推斷，進而猜測我們是誰、喜歡什麼。伊萊·帕裡澤将此稱為“你循環”，并對其機制作出如下解釋：“你點選一個連結，說明你喜歡其中某個東西，這意味着你接下來很有可能會看到與那個話題相關的文章，然後它進一步為你啟動了那個話題。你陷入了‘你循環’，如果你的身份被誤表達，就會産生一些奇怪的模式，就像擴音器中出現的回響。”有一種可能是，某些東西被啟動，而其他東西未被啟動，我們可能會培養起一種對所推薦東西的品位。正如我們所看到的，很多社會評論家擔心個性化可能會使社會極化，但是如果這些機制迎合并創造偏好的話，其效果可能會更加顯著。

然而，流行度偏見可能會緩解這種效果。它不是将我們撕裂，而是傾向于使公衆注意力集中。流行度并非找到最高價值或最高品質的安全法則。然而，似乎顯而易見的是，推薦流行的東西會驅動流量，并進一步提高流行度。将海量資料轉化成簡單的數人頭活動，包括将此公布于衆，會誇大最終的計數結果。

在這些傾向中，沒有一個由于大資料的大而得到緩解。與所有媒介測量手段一樣，新的測量手段也是人類創造的。正因為如此，它們也不能免于偏見和誤用。但是，它們現在無處不在。這不是原來就有的，是以它們成為人們必須考慮的日益重要的力量。它們能夠為機構和個人提供超級有用的工具。然而，它們并不是注意力市場上的中立者。媒介測量以強有力的方式進入注意力市場。這種進入方式并沒有得到足夠重視，往往也很難被普通使用者識别出來。顯然，人類世界會與資料所鼓勵我們看到的十分相似。

本文轉自d1net（轉載）