聯合編譯：高斐，章敏，陳楊英傑
導讀：kdd2016是首屈一指的跨學科會議，它聚集了資料科學，資料挖掘，知識發現，大規模資料分析和大資料方面的研究人員和從業人員。
卷積神經網絡(cnn)在計算機視覺的多個研究領域受到越來越廣泛的應用。由于卷積神經網絡能夠通過利用數以百萬計的參數，“吸收”大量的标記資料，這種神經網絡的應用受到普遍關注。然而，随着模型尺寸不斷增大，對分類器的儲存與記憶要求也不斷提升，如此便對許多應用，如手機及其他裝置的圖像識别，語音識别功能，形成阻礙。本文将呈現一種新型網絡建構----對頻率敏感的散列網（freshnets），這種散列網是利用一個深度學習模型的卷積層與全面連接配接層之間固有存在的備援建構形成，能夠極大程度上節省記憶與存儲消耗。學習卷積濾波器的權重通常是平穩和低頻的，基于這一重大觀察結果，我們首先将濾波器的權重轉變為帶有離散餘弦變換的頻域，使用低成本的散列函數随機将頻率參數劃分為散列桶位。被配置設定為同一個散列桶位的所有參數共享一個能夠運用标準反向傳播算法學會的單一值。為了進一步縮減模型的尺寸，我們将少數散列桶位配置設定給一些高頻率組分，這些高頻率組分通常不太重要。我們在八個資料集中對freshnets進行評估，評估結果顯示，與其他幾種相關聯的基線相比，freshnets具備更高的壓縮性能。
關鍵字：模型壓縮；卷積神經網絡；散列
wenlin chen
學校：聖路易斯華盛頓大學計算機科學與工程系博士 主要研究領域：機器學習，資料挖掘，人工智能，其中尤其對深度學習和大規模機器學習兩個領域感興趣 相關學術成果： ·strategies for training large vocabulary neural language models（proceedings of the 54th annual meeting of the association for computational linguistics. 2016. （acl-16）） ·compressing convolutional neural networks in the frequency domain,（proc. acm sigkdd conference, 2016. （kdd-16）） ·deep metric learning with data summarization.european conference on machine learning（2016 （ecml-16））
線性模型在各種各樣的資料挖掘與機器學習算法中均得到了廣泛應用。這類模型的一個主要局限性在于缺乏從特征互動過程中擷取預測性資訊的能力。盡管引進高階特征互動術語能夠克服這一缺點，這一方法仍将在極大程度上增加模型的複雜性，并且為處理學習過程中過度拟合現象帶來重大挑戰。當出現多種互相關聯的學習任務，這些任務中的特征互動通常是互相關聯的，為這種關聯關系模組化對于提高這些特征互動學習的普适性起到關鍵性的作用。本文我們提出一種新型多重任務特征互動學習（mtil）架構，以在高階特征互動過程中利用各種任務之間的聯系。具體來講，我們用張量來表示多重任務中的特征互動，利用這一張量，我們将關于任務關聯的先前知識納入不同的結構化調整過程中。在此學習架構下，我們制定出兩種具體的方法，即共享式互動方法和嵌入式互動方法。前者認為，所有的任務具有共同的互動模式，後者則認為，多重任務的特征互動具有共同的子空間。我們為制定出這兩種方案提供了高效的算法。有關這類合成的且真實的資料集的廣泛實證研究證明了我們所提出的多重任務特征互動學習架構的有效性。
關鍵字：多重任務學習；特征互動；機構化調整；張量标準
kaixiang lin
學校：密歇根州立大學計算機科學與工程系助教 主要研究領域：機器學習與資料挖掘 ·online multi-task learning framework for ensemble forecasting（ submitted to tkde） ·synergies that matter: efficient interaction selection via sparse factorization machine （sdm，2016） ·gspartan: a geospatio-temporal multi-task learning framework for multi-location prediction. （sdm，2016）
在智能私人助理方面，一種新的建議形式正在興起如apple’s siri、google now和 microsoft cortana，它們可以“在恰當的時間推薦恰當的資訊”，并積極主動地幫助你“把事情解決”。這種類型的推薦需要精确的跟蹤使用者當時的意圖，即，使用者打算知道什麼類型的資訊（例如，天氣，股票價格），和他們打算完成什麼任務（例如，演奏音樂，打車）。使用者的意圖與語境是密切相關的，其中包括外部環境，如時間和地點，以及使用者的内部活動（可以由個人助理感覺到）。語境和意圖之間表現出複雜的共同發生和序列相關，且語境信号也非常混雜、稀疏，這使得模組化語境—意圖之間的關系，變成了一項具有挑戰性的任務。為了解決意圖跟蹤問題我們提出了kalman filter regularize parafac2 (kp2) 實時預報模型，它可以細密的表示語境和意圖之間的結構和共同運動。kp2模型在使用者上利用了協同能力，并學習每個使用者的個性化動态系統，以確定高效的實時預測使用者意圖。大部分實驗使用了來自商業個人助理的真實世界資料集，結果顯示kp2模型明顯優于其它的所有方法，且在個人助理中部署大規模的主動建議系統方面，提供了鼓舞人心的啟示。
關鍵詞：建議；實時預測；多任務學習
yu sun
學校：墨爾本大學計算與資訊系統系 研究方向：語境行為挖掘，強化學習，最優位置發現，空間/時間索引，算法設計/分析。 ·a contextual collaborative approach for app usage forecasting,（ubicomp, 2016） ·reverse nearest neighbor heat maps: a tool for influence exploration,（icde，966-977， 2016）
實時競價顯示廣告中，每個印像的廣告位是通過拍賣機制進行出售的。對于一個廣告主來說，廣告活動的資訊是不完整的——隻有在廣告主的出價赢得了相應的廣告拍賣後，使用者的回報（例如，點選或轉換）和每個廣告印像的市場價格才可以被觀察到。預測，如市場價分布預測，點選率（ctr）估計，和投标優化，都是運作在預投标階段通過全量投标請求資料上的。然而，訓練資料是在後投标階段聚集的——對獲勝印象具有嚴重的偏向。學習這種删失資料的普遍方法是重新權重資料執行個體，以糾正訓練和預測之間的不一緻性。然而，在如何獲得獨立于投标政策的權重以及将它們整合到最終的ctr預測和投标生成步驟的研究非常很少。本文中，我們在這種删失拍賣資料下制定了ctr評估和投标優化。通過在一個生存模型上的推導，我們表明，以前的投标資訊被自然地納入到投标意識梯度下降（bgd）算法中，它控制了實作無偏學習的梯度的權重和方向。基于兩個大規模真實世界的資料集經驗學習，這種方法在我們的解法中顯示出了卓越的性能優勢。學習架構已部署在yahoo的實時競價平台，且在一個線上a/b測試上，得到了ctr預估2.97%的auc上升，和投标優化任務中9.30% 的ecpc下降。
關鍵詞：無偏學習，删失資料，實時競價，展示廣告。
第一作者簡介
weinan zhang（張偉楠）
學校：倫敦大學學院計算機科學系/2016年8月進入上海交通大學任職助理教授 研究方向:機器學習，大資料挖掘及其在計算廣告和推薦系統中的應用 ·user response learning for directly optimizing campaign performance in display advertising（cikm 2016） ·learning, prediction and optimisation in rtb display advertising（cikm，october 2016）
在不同的推薦技術中，協同過濾通常因為稀疏的使用者-對象互動而性能受限。為了解決這些問題，我們通常用輔助資訊來提高性能。由 于網絡上的資訊快速收集，知識庫能提供異構資訊，包括含不同語義的結構化和非結構化資料，它們可以被用到各類應用中。在本文中，我們研究如何利用知識庫中 的異構資訊，來提高推薦系統的品質。首先，通過利用知識庫，我們設計了三個元件分别從結構内容，文本内容和視訊内容中提取對象的語義表述。具體來說，我們 采用的異構網絡嵌入方法，稱為transr，考慮通過節點和關系的異質性來提取對象的結構表示。我們采用堆疊降噪自動編碼器和堆疊卷積自動編碼器，這是基 于嵌入技術的深度學習的兩種類型，來分别提取對象的文本表示和圖像表示。最後，我們提出了最終的內建架構，稱為協同知識庫嵌入（cke），來聯合學習協同 過濾出的潛在表征以及知識庫中對象的語義表征。為了評估每個嵌入元件以及整個系統的性能，我們通過兩個不同情境的現實世界資料集，進行了廣泛的實驗。結果 表明，我們的方法優于幾種被廣泛采用的最先進的推薦方法。
關鍵詞：推薦系統；知識庫嵌入；協同學習
fuzheng zhang（張富峥）
機構：微軟亞洲研究院副研究員，中國科技大學計算機系博士。 研究方向：使用者模型、推薦系統、深度學習、情感檢測、社交網絡、時空資料挖掘、普适計算、大規模系統。 作者資訊連結：https://www.microsoft.com/en-us/research/people/fuzzhang/
在本文中，對于深入研究影響力最大化，我們在邊際影響力機率預估中提出了關于不确定性的重要問題，即在社交網絡中，找到可以最 大化傳播影響力的種子節點k的任務。我們提出的魯棒性影響力最大化的問題，就是給定輸入參數的不确定性，在所選種子設定和最佳種子設定的影響力傳播之間最 大化最壞情況下的比例。我們設計了一種算法，依靠方案相關邊界來解決這個問題。我們通過進一步研究均勻采樣和自适應采樣方法來有效減少參數不确定性，并提 高了影響力最大化任務的魯棒性。我們的實驗結果表明，參數不确定性可能會嚴重影響影響力的最大化，并且之前的研究也表明，經驗影響的機率會因為參數預估不 确定性較大，而導緻魯棒性影響最大化的性能很差。基于自适應抽樣方法的資訊疊加也許可以有效改善影響力最大化的魯棒性。
關鍵詞：社交網絡；影響最大化；魯棒性優化；資訊傳播
陳衛
學校：微軟亞洲研究院進階研究員，清華大學客座教授，中國科學院計算所客座研究員，多個國際頂級資料挖掘和資料管理會議（kdd、 wsdm、 sigmod、 icde、 www等）的程式委員會成員，中國計算機學會大資料專家委員會首批成員，《大資料》期刊編委。 研究方向：社交與資訊網絡算法和資料挖掘、網絡博弈論和經濟學、線上學習等。 近幾年在社會影響力最大化方面的一系列開創性研究成果：在kdd、 icdm、sdm、 wsdm、 icwsm、 aaai、 vldb等頂級資料挖掘、人工智能和資料庫學術會議上發表後得到良好反響，并引發這一方向衆多的後續工作。最早發表的kdd’ 2009論文被引用次數排同會議所有論文第二位，而第二篇kdd’ 2010論文被引用次數排同會議所有論文第一位。 2013年與另外兩位合作者合寫了一部關于影響力傳播和最大化的專著（information and influence propagation in social networks, morgan& claypool, 2013），系統總結了這方面的研究成果和最新發展。另外，在與社會和資訊網絡相關的方向，如社群檢測、網絡中心化度量排序、網絡博弈、網絡定價、網絡激勵機制等方面也都做出開創性的工作，其中将博弈論引入網絡社群檢測的論文獲得了2010年歐洲機器學習及資料挖掘會議最佳學生論文獎。
本文作者：章敏