DELL R410服务器宕机案例(3)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

<code>我的博客已迁移到xdoujiang.com请去那边和我交流</code>

<code>Apr 20 16:20:06 10.1.1.1 DMA32: </code>

<code>Apr 20 16:20:06 10.1.1.1 1*4kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*8kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*16kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*32kB </code>

<code>Apr 20 16:20:06 10.1.1.1 2*64kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*128kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*256kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*512kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*1024kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*2048kB </code>

<code>Apr 20 16:20:06 10.1.1.1 5*4096kB </code>

<code>Apr 20 16:20:06 10.1.1.1 = 23700kB</code>

<code>Apr 20 16:20:06 Node 0 </code>

<code>Apr 20 16:20:06 10.1.1.1 Normal: </code>

<code>Apr 20 16:20:06 10.1.1.1 0*4kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*16kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*32kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*64kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*256kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*512kB </code>

<code>Apr 20 16:20:06 10.1.1.1 0*2048kB </code>

<code>Apr 20 16:20:06 10.1.1.1 1*4096kB </code>

<code>Apr 20 16:20:06 10.1.1.1 = 5920kB</code>

<code>Apr 20 16:20:06 10.1.1.1 HighMem: </code>

<code>Apr 20 16:20:06 empty  </code>

<code>Apr 20 16:20:06 Swap cache: add 39530881, delete 39532596, </code><code>find</code> <code>16672794</code><code>/18285464</code><code>, race 28+613</code>

<code>Apr 20 16:20:06 Free swap  = 0kB</code>

<code>Apr 20 16:20:06 Total swap = 7823612kB</code>

<code>Apr 20 16:20:06 Free swap:            0kB</code>

<code>Apr 20 16:20:06 2293760 pages of RAM</code>

<code>Apr 20 16:20:06 251202 reserved pages</code>

<code>Apr 20 16:20:06 39722 pages shared</code>

<code>Apr 20 16:20:06 10.1.1.1 [] pages swap cached</code>

<code>Apr 20 16:20:06 10.1.1.1 oom-killer: gfp_mask=0x280d2, order=0</code>

<code>Apr 20 16:20:06 10.1.1.1  </code>

<code>Apr 20 16:20:06 Call Trace: </code>

<code>Apr 20 16:20:06 10.1.1.1  [&lt;ffffffff802a66b4&gt;] out_of_memory+0x33</code><code>/0x216</code>

<code>Apr 20 16:20:06 10.1.1.1  [&lt;ffffffff8020e020&gt;] __alloc_pages+0x220</code><code>/0x2a9</code>

<code>Apr 20 16:20:06 10.1.1.1  [&lt;ffffffff80208546&gt;] __handle_mm_fault+0x1a3</code><code>/0x91a</code>

<code>Apr 20 16:20:06 10.1.1.1  [&lt;ffffffff8020a69c&gt;] do_page_fault+0x39d</code><code>/0x706</code>

<code>Apr 20 16:20:06 10.1.1.1  [&lt;ffffffff8020b009&gt;] vfs_read+0x13c</code><code>/0x171</code>

<code>Apr 20 16:20:06 10.1.1.1  [&lt;ffffffff80258925&gt;] error_exit+0x0</code><code>/0x84</code>

<code>Apr 20 16:20:06 10.1.1.1 Mem-info: </code>

<code>Apr 20 16:20:06 DMA per-cpu: </code>

<code>Apr 20 16:20:06 cpu 0 hot: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 0 cold: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 1 hot: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 1 cold: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 2 hot: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 2 cold: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 3 hot: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 cpu 3 cold: high 0, batch 1 used:0</code>

<code>Apr 20 16:20:06 DMA32 per-cpu: </code>

<code>Apr 20 16:20:06 cpu 0 hot: high 186, batch 31 used:35</code>

<code>Apr 20 16:20:06 cpu 0 cold: high 62, batch 15 used:19</code>

<code>Apr 20 16:20:06 cpu 1 hot: high 186, batch 31 used:17</code>

<code>Apr 20 16:20:06 cpu 1 cold: high 62, batch 15 used:55</code>

<code>Apr 20 16:20:06 cpu 2 hot: high 186, batch 31 used:30</code>

<code>Apr 20 16:20:06 cpu 2 cold: high 62, batch 15 used:48</code>

<code>Apr 20 16:20:06 cpu 3 hot: high 186, batch 31 used:12</code>

<code>Apr 20 16:20:06 cpu 3 cold: high 62, batch 15 used:56</code>

<code>Apr 20 16:20:06 Normal per-cpu: </code>

<code>Apr 20 16:20:06 cpu 0 hot: high 186, batch 31 used:22</code>

<code>Apr 20 16:20:06 cpu 0 cold: high 62, batch 15 used:21</code>

<code>Apr 20 16:20:06 cpu 1 hot: high 186, batch 31 used:14</code>

<code>Apr 20 16:20:06 cpu 1 cold: high 62, batch 15 used:59</code>

<code>Apr 20 16:20:06 cpu 2 hot: high 186, batch 31 used:15</code>

<code>Apr 20 16:20:06 cpu 2 cold: high 62, batch 15 used:29</code>

<code>Apr 20 16:20:06 cpu 3 hot: high 186, batch 31 used:56</code>

<code>Apr 20 16:20:06 cpu 3 cold: high 62, batch 15 used:53</code>

<code>Apr 20 16:20:06 HighMem per-cpu: </code>

<code>Apr 20 16:20:06 10.1.1.1  empty</code>

<code>Apr 20 16:20:06 Free pages:       42168kB (0kB HighMem)</code>

<code>Apr 20 16:20:06 10.1.1.1 Active: 794087 inactive:1196940 dirty:0 writeback:0 unstable:0 </code><code>free</code><code>:10542 slab:13489 mapped:53 pagetables:15831</code>

<code>Apr 20 16:20:06 DMA </code><code>free</code><code>: 12548kB min:16kB low:20kB high:24kB active:0kB inactive:0kB present:12200kB pages_scanned:0 all_unreclaimable? </code><code>yes</code>

<code>Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: </code>

<code>Apr 20 16:20:06 10.1.1.1  0</code>

<code>Apr 20 16:20:06 10.1.1.1  3246</code>

<code>Apr 20 16:20:06 10.1.1.1  8044</code>

<code>Apr 20 16:20:06 DMA32 </code><code>free</code><code>: 23700kB min:4628kB low:5784kB high:6940kB active:3205620kB inactive:23368kB present:3324740kB pages_scanned:810574620 all_unreclaimable? no</code>

<code>Apr 20 16:20:06 10.1.1.1  4797</code>

<code>Apr 20 16:20:06 Normal </code><code>free</code><code>: 5920kB min:6840kB low:8548kB high:10260kB active:5744kB inactive:4729248kB present:4912640kB pages_scanned:1232655726 all_unreclaimable? no</code>

<code>Apr 20 16:20:06 HighMem </code><code>free</code><code>: 0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no</code>

<code>Apr 20 16:20:06 10.1.1.1 DMA: </code>

<code>Apr 20 16:20:06 10.1.1.1 3*4kB </code>

<code>Apr 20 16:20:06 10.1.1.1 5*8kB </code>

<code>Apr 20 16:20:06 10.1.1.1 5*16kB </code>

<code>Apr 20 16:20:06 10.1.1.1 4*32kB </code>

<code>Apr 20 16:20:06 10.1.1.1 4*64kB </code>

<code>Apr 20 16:20:06 10.1.1.1 2*128kB </code>

<code>Apr 20 16:20:06 10.1.1.1 2*4096kB </code>

<code>Apr 20 16:20:06 10.1.1.1 = 12548kB</code>

<code>Apr 20 16:20:06 39699 pages shared</code>

<code>==============================================================================</code>

<code>DELL R410的机器 查看日志发现是内存和swap(原来是8G)都用完宕机，之后找到相应项目沟通</code>

<code>1、修改相应程序</code>

<code>2、加大物理内存</code>

本文转自 xdoujiang 51CTO博客，原文链接：http://blog.51cto.com/7938217/1650782，如需转载请自行联系原作者