天天看點

KAFKA日志管理

kafka啟動後,會産生會多日志,經常會将磁盤撐爆。是以kafka日志清理很有必要

log4j.properties

該檔案為kafka日志管理的配置檔案,位于$KAFKA_HOME/config/log4j.properties

預設該配置檔案中日志存放路徑為$KAFKA_HOME/logs,可以修改為其他容量較大的資料盤,比如我自己設定為/data/kafka/logs

注意:如果隻是改了這個配置,是不生效的,還需要修改腳本$KA_FKA_HOME/bin/kafka-run-class.sh,加入以下配置

1

<code>LOG_DIR=</code><code>"/data/kafka/logs"</code>

log4j.properties配置

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

<code># Licensed to the Apache Software Foundation (ASF) under one or more</code>

<code># contributor license agreements.  See the NOTICE file distributed with</code>

<code># this work for additional information regarding copyright ownership.</code>

<code># The ASF licenses this file to You under the Apache License, Version 2.0</code>

<code># (the "License"); you may not use this file except in compliance with</code>

<code># the License.  You may obtain a copy of the License at</code>

<code>#</code>

<code>#    http://www.apache.org/licenses/LICENSE-2.0</code>

<code># Unless required by applicable law or agreed to in writing, software</code>

<code># distributed under the License is distributed on an "AS IS" BASIS,</code>

<code># WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.</code>

<code># See the License for the specific language governing permissions and</code>

<code># limitations under the License.</code>

<code>kafka.logs.</code><code>dir</code><code>=</code><code>/data/kafka/logs</code>

<code>log4j.rootLogger=INFO, default</code>

<code>log4j.appender.default=org.apache.log4j.RollingFileAppender</code>

<code>log4j.appender.default.File=${kafka.logs.</code><code>dir</code><code>}</code><code>/default</code><code>.log</code>

<code>log4j.appender.default.MaxBackupIndex = 10</code>

<code>log4j.appender.default.MaxFileSize = 100MB</code>

<code>log4j.appender.default.layout=org.apache.log4j.PatternLayout</code>

<code>log4j.appender.default.layout.ConversionPattern=[%d] %p %m (%c)%n</code>

<code>log4j.appender.kafkaAppender=org.apache.log4j.RollingFileAppender</code>

<code>log4j.appender.kafkaAppender.File=${kafka.logs.</code><code>dir</code><code>}</code><code>/server</code><code>.log</code>

<code>log4j.appender.kafkaAppender.MaxBackupIndex = 10</code>

<code>log4j.appender.kafkaAppender.MaxFileSize = 100MB</code>

<code>log4j.appender.kafkaAppender.layout=org.apache.log4j.PatternLayout</code>

<code>log4j.appender.kafkaAppender.layout.ConversionPattern=[%d] %p %m (%c)%n</code>

<code>log4j.appender.stateChangeAppender=org.apache.log4j.RollingFileAppender</code>

<code>log4j.appender.stateChangeAppender.File=${kafka.logs.</code><code>dir</code><code>}</code><code>/state-change</code><code>.log</code>

<code>log4j.appender.stateChangeAppender.MaxBackupIndex = 10</code>

<code>log4j.appender.stateChangeAppender.MaxFileSize = 100MB</code>

<code>log4j.appender.stateChangeAppender.layout=org.apache.log4j.PatternLayout</code>

<code>log4j.appender.stateChangeAppender.layout.ConversionPattern=[%d] %p %m (%c)%n</code>

<code>log4j.appender.requestAppender=org.apache.log4j.RollingFileAppender</code>

<code>log4j.appender.requestAppender.File=${kafka.logs.</code><code>dir</code><code>}</code><code>/kafka-request</code><code>.log</code>

<code>log4j.appender.requestAppender.MaxBackupIndex = 10</code>

<code>log4j.appender.requestAppender.MaxFileSize = 100MB</code>

<code>log4j.appender.requestAppender.layout=org.apache.log4j.PatternLayout</code>

<code>log4j.appender.requestAppender.layout.ConversionPattern=[%d] %p %m (%c)%n</code>

<code>log4j.appender.cleanerAppender=org.apache.log4j.RollingFileAppender</code>

<code>log4j.appender.cleanerAppender.File=${kafka.logs.</code><code>dir</code><code>}</code><code>/log-cleaner</code><code>.log</code>

<code>log4j.appender.cleanerAppender.MaxBackupIndex = 10</code>

<code>log4j.appender.cleanerAppender.MaxFileSize = 100MB</code>

<code>log4j.appender.cleanerAppender.layout=org.apache.log4j.PatternLayout</code>

<code>log4j.appender.cleanerAppender.layout.ConversionPattern=[%d] %p %m (%c)%n</code>

<code>log4j.appender.controllerAppender=org.apache.log4j.RollingFileAppender</code>

<code>log4j.appender.controllerAppender.File=${kafka.logs.</code><code>dir</code><code>}</code><code>/controller</code><code>.log</code>

<code>log4j.appender.controllerAppender.MaxBackupIndex = 10</code>

<code>log4j.appender.controllerAppender.MaxFileSize = 100MB</code>

<code>log4j.appender.controllerAppender.layout=org.apache.log4j.PatternLayout</code>

<code>log4j.appender.controllerAppender.layout.ConversionPattern=[%d] %p %m (%c)%n</code>

<code># Turn on all our debugging info</code>

<code>#log4j.logger.kafka.producer.async.DefaultEventHandler=DEBUG, kafkaAppender</code>

<code>#log4j.logger.kafka.client.ClientUtils=DEBUG, kafkaAppender</code>

<code>#log4j.logger.kafka.perf=DEBUG, kafkaAppender</code>

<code>#log4j.logger.kafka.perf.ProducerPerformance$ProducerThread=DEBUG, kafkaAppender</code>

<code>#log4j.logger.org.I0Itec.zkclient.ZkClient=DEBUG</code>

<code>log4j.logger.kafka=INFO, kafkaAppender</code>

<code>log4j.additivity.kafka=</code><code>false</code>

<code>log4j.logger.kafka.network.RequestChannel$=WARN, requestAppender</code>

<code>log4j.additivity.kafka.network.RequestChannel$=</code><code>false</code>

<code>#log4j.logger.kafka.network.Processor=TRACE, requestAppender</code>

<code>#log4j.logger.kafka.server.KafkaApis=TRACE, requestAppender</code>

<code>#log4j.additivity.kafka.server.KafkaApis=false</code>

<code>log4j.logger.kafka.request.logger=WARN, requestAppender</code>

<code>log4j.additivity.kafka.request.logger=</code><code>false</code>

<code>log4j.logger.kafka.controller=TRACE, controllerAppender</code>

<code>log4j.additivity.kafka.controller=</code><code>false</code>

<code>log4j.logger.kafka.log.LogCleaner=INFO, cleanerAppender</code>

<code>log4j.additivity.kafka.log.LogCleaner=</code><code>false</code>

<code>log4j.logger.state.change.logger=TRACE, stateChangeAppender</code>

<code>log4j.additivity.state.change.logger=</code><code>false</code>

<code></code>

本文轉自 曾哥最愛 51CTO部落格,原文連結:http://blog.51cto.com/zengestudy/2054225,如需轉載請自行聯系原作者