storm 配置項詳解

配置項

配置說明

storm.zookeeper.servers

zookeeper伺服器清單

storm.zookeeper.port

zookeeper連接配接端口

storm.local.dir

storm使用的本地檔案系統目錄(必須存在并且storm程序可讀寫)

storm.cluster.mode

storm叢集運作模式([distributed|local])

storm.local.mode.zmq

local模式下是否使用zeromq作消息系統，如果設定為false則使用java消息系統。預設為false

storm.zookeeper.root

zookeeper中storm的根目錄位置

storm.zookeeper.session.timeout

用戶端連接配接zookeeper逾時時間

storm.id

運作中拓撲的id,由storm name和一個唯一随機數組成。

nimbus.host

nimbus伺服器位址

nimbus.thrift.port

nimbus的thrift監聽端口

nimbus.childopts

通過storm-deploy項目部署時指定給nimbus程序的jvm選項

nimbus.task.timeout.secs

心跳逾時時間，逾時後nimbus會認為task死掉并重配置設定給另一個位址。

nimbus.monitor.freq.secs

nimbus檢查心跳和重配置設定任務的時間間隔.注意如果是機器宕掉nimbus會立即接管并處理。

nimbus.supervisor.timeout.secs

supervisor的心跳逾時時間,一旦超過nimbus會認為該supervisor已死并停止為它分發新任務.

nimbus.task.launch.secs

task啟動時的一個特殊逾時設定.在啟動後第一次心跳前會使用該值來臨時替代nimbus.task.timeout.secs.

nimbus.reassign

當發現task失敗時nimbus是否重新配置設定執行。預設為真，不建議修改。

nimbus.file.copy.expiration.secs

nimbus判斷上傳/下載下傳連結的逾時時間，當空閑時間超過該設定時nimbus會認為連結死掉并主動斷開

ui.port

storm ui的服務端口

drpc.servers

drpc伺服器清單，以便drpcspout知道和誰通訊

drpc.port

storm drpc的服務端口

supervisor.slots.ports

supervisor上能夠運作workers的端口清單.每個worker占用一個端口,且每個端口隻運作一個worker.通過這項配置可以調整每台機器上運作的worker數.(調整slot數/每機)

supervisor.childopts

在storm-deploy項目中使用,用來配置supervisor守護程序的jvm選項

supervisor.worker.timeout.secs

supervisor中的worker心跳逾時時間,一旦逾時supervisor會嘗試重新開機worker程序.

supervisor.worker.start.timeout.secs

supervisor初始啟動時，worker的心跳逾時時間，當超過該時間supervisor會嘗試重新開機worker。因為jvm初始啟動和配置會帶來的額外消耗，進而使得第一次心跳會超過supervisor.worker.timeout.secs的設定

supervisor.enable

supervisor是否應當運作配置設定給他的workers.預設為true,該選項用來進行storm的單元測試,一般不應修改.

supervisor.heartbeat.frequency.secs

supervisor心跳發送頻率(多久發送一次)

supervisor.monitor.frequency.secs

supervisor檢查worker心跳的頻率

worker.childopts

supervisor啟動worker時使用的jvm選項.所有的”%id%”字串會被替換為對應worker的辨別符

worker.heartbeat.frequency.secs

worker的心跳發送時間間隔

task.heartbeat.frequency.secs

task彙報狀态心跳時間間隔

task.refresh.poll.secs

task與其他tasks之間連結同步的頻率.(如果task被重配置設定,其他tasks向它發送消息需要重新整理連接配接).一般來講，重配置設定發生時其他tasks會了解得到通知。該配置僅僅為了防止未通知的情況。

topology.debug

如果設定成true，storm将記錄發射的每條資訊。

topology.optimize

master是否在合适時機通過在單個線程内運作多個task以達到優化topologies的目的.

topology.workers

執行該topology叢集中應當啟動的程序數量.每個程序内部将以線程方式執行一定數目的tasks.topology的元件結合該參數和并行度提示來優化性能

topology.ackers

topology中啟動的acker任務數.acker儲存由spout發送的tuples的記錄，并探測tuple何時被完全處理.當acker探測到tuple被處理完畢時會向spout發送确認資訊.通常應當根據topology的吞吐量來确定acker的數目，但一般不需要太多.當設定為0時,相當于禁用了消息可靠性,storm會在spout發送tuples後立即進行确認.

topology.message.timeout.secs

topology中spout發送消息的最大處理逾時時間.如果一條消息在該時間視窗内未被成功ack,storm會告知spout這條消息失敗。而部分spout實作了失敗消息重播功能。

topology.kryo.register

注冊到kryo(storm底層的序列化架構)的序列化方案清單.序列化方案可以是一個類名,或者是com.esotericsoftware.kryo.serializer的實作.

topology.skip.missing.kryo.registrations

storm是否應該跳過它不能識别的kryo序列化方案.如果設定為否task可能會裝載失敗或者在運作時抛出錯誤.

topology.max.task.parallelism

在一個topology中能夠允許的最大元件并行度.該項配置主要用在本地模式中測試線程數限制.

topology.max.spout.pending

一個spout task中處于pending狀态的最大的tuples數量.該配置應用于單個task,而不是整個spouts或topology.

topology.state.synchronization.timeout.secs

元件同步狀态源的最大逾時時間(保留選項,暫未使用)

topology.stats.sample.rate

用來産生task統計資訊的tuples抽樣百分比

topology.fall.back.on.java.serialization

topology中是否使用java的序列化方案

zmq.threads

每個worker程序内zeromq通訊用到的線程數

zmq.linger.millis

當連接配接關閉時,連結嘗試重新發送消息到目标主機的持續時長.這是一個不常用的進階選項,基本上可以忽略.

java.library.path

jvm啟動(如nimbus,supervisor和workers)時的java.library.path設定.該選項告訴jvm在哪些路徑下定位本地庫.