《Storm技術内幕與大資料實踐》一導讀

storm技術内幕與大資料實踐

本書意在介紹實時大資料的各個方面，分享我們在設計實時應用過程中遇到的一些問題，讓一些從零開始建構實時計算平台的公司少走彎路。我們力圖使不同背景的讀者都能從其中獲益。

如果你從事基礎架構方面的工作，可以着重閱讀以下幾章：在第1章中，我們整理了國内主要網際網路公司在storm應用方面的一些情況；在第2章中，我們介紹了實時平台的總體架構，随後引入了大衆點評和1号店目前實時平台的一些基本情況；在第4章中，我們給出了源碼剖析，為了讓不懂clojure語言的讀者也能容易地了解storm的内部原理，我們配了很多順序圖來描述調用邏輯；在第5章中，我們分享了一些在實踐中總結出來的監控storm應用的常用方法；在第6章中，我們介紹了在storm上如何做一些擴充，友善更好地維護和管理叢集；在第10章中，我們主要分享了storm的一些小技巧和性能優化的經驗。

如果你是大資料産品的開發和架構人員，可以着重閱讀後面的幾章，其中分享了我們一年來遇到的一些瓶頸。

如果你是算法工程師，可以着重了解第8章和第9章，裡面的使用者生命周期模型、實時推薦系統的算法和架構、千人千面架構等不少内容來自于我們的生産實踐。設計嚴謹的模型在實時系統上往往會遇到比較大的性能問題，資料量、實時和算法的精準性是互相制約的，提高某一方面，往往不得不犧牲另外兩個名額。在實際推薦系統的生産環境中，關聯規則和協同過濾的推薦效果往往比較好，被廣泛采用，而利用使用者畫像，結合地域、天氣等上下文資訊，可以進行一些更加精準的推薦。目前基于使用者畫像和上下文内容做個性化推薦和搜尋、精準化營運和廣告營銷等提高交易額等轉換率，也是很多公司嘗試的方向。

對于網上有的或者其他書中介紹過的内容，為适應不同讀者的需求，我們會簡單提及以做一點點過渡。

盡管我們投入了大量的精力來寫這本書，但因為水準所限，書中的内容存在不足和疏漏也在所難免，懇請讀者批評指正。如果讀者對本書有什麼建議，歡迎發送郵件至郵箱[email protected]，期待得到真摯的回報。

第2章 實時平台介紹

第3章 storm叢集部署和配置

第4章 storm内部剖析

第5章 storm運維和監控

第6章 storm的擴充

第7章 storm開發

第8章 基于storm的實時資料平台

第10章 storm使用經驗和性能優化