beanstalk簡介

Beanstalkd，一個高性能、輕量級的分布式記憶體隊列系統，最初設計的目的是想通過背景異步執行耗時的任務來降低高容量Web應用系統的頁面通路延遲，支援過有9.5 million使用者的Facebook Causes應用。後來開源，現在有PostRank大規模部署和使用，每天處理百萬級任務。Beanstalkd是典型的類Memcached設計，協定和使用方式都是同樣的風格，是以使用過memcached的使用者會覺得Beanstalkd似曾相識。計思想Producer-Comsumer模式高性能離不開異步，異步離不開隊列，而其内部都是Producer-Comsumer模式的原理。編輯本段核心概念Beanstalkd設計裡面的核心概念：◆ job一個需要異步處理的任務，是Beanstalkd中的基本單元，需要放在一個tube中。◆ tube一個有名的任務隊列，用來存儲統一類型的job，是producer和consumer操作的對象。◆ producerJob的生産者，通過put指令來将一個job放到一個tube中。◆ consumerJob的消費者，通過reserve/release/bury/delete指令來擷取job或改變job的狀态。Beanstalkd中一個job的生命周期如圖2所示。一個job有READY, RESERVED, DELAYED, BURIED四種狀态。當producer直接put一個job時，job就處于READY狀态，等待consumer來處理，如果選擇延遲put，job就先到DELAYED狀态，等待時間過後才遷移到READY狀态。consumer擷取了目前READY的job後，該job的狀态就遷移到RESERVED，這樣其他的consumer就不能再操作該job。當consumer完成該job後，可以選擇delete, release或者bury操作;delete之後，job從系統消亡，之後不能再擷取;release操作可以重新把該job狀态遷移回READY(也可以延遲該狀态遷移操作)，使其他的consumer可以繼續擷取和執行該job;有意思的是bury操作，可以把該job休眠，等到需要的時候，再将休眠的job kick回READY狀态，也可以delete BURIED狀态的job。正是有這些有趣的操作和狀态，才可以基于此做出很多意思的應用，比如要實作一個循環隊列，就可以将RESERVED狀态的job休眠掉，等沒有READY狀态的job時再将BURIED狀态的job一次性kick回READY狀态。編輯本段特性Beanstalkd基于的源碼安裝和使用很簡單，在此略過。這裡重點介紹一下其幾個很nice的特性。◆ 優先級支援0到2**32的優先級，值越小，優先級越高，預設優先級為1024。◆ 持久化可以通過binlog将job及其狀态記錄到檔案裡面，在Beanstalkd下次啟動時可以通過讀取binlog來恢複之前的job及狀态。◆ 分布式容錯分布式設計和Memcached類似，beanstalkd各個server之間并不知道彼此的存在，都是通過client來實作分布式以及根據tube名稱去特定server擷取job。◆ 逾時控制為了防止某個consumer長時間占用任務但不能處理的情況，Beanstalkd為reserve操作設定了timeout時間，如果該consumer不能在指定時間内完成job，job将被遷移回READY狀态，供其他consumer執行。編輯本段不足在使用中發現一個Beanstalkd尚無提供删除一個tube的操作，隻能将tube的job依次删除，并讓Beanstalkd來自動删除空tube。還有就是Beanstalkd不支援用戶端認證機制(開發者将應用場景定位在區域網路)。