上次使用sftp.get同步远程目录，现在需要用python合并日志
别人很早就写出来了
<code>收集Tomcat异常日志并发送邮件</code>
<code>http:</code><code>/</code><code>/</code><code>linux5588.blog.</code><code>51cto</code><code>.com</code><code>/</code><code>65280</code><code>/</code><code>1208951</code>
<code>#!/usr/bin/env python</code>
<code># coding=utf-8</code>
<code> </code>
<code>#---------------------------------------------------------</code>
<code># Name: Tomcat错误日志发送邮件脚本</code>
<code># Purpose: 收集Tomcat异常日志并发送邮件</code>
<code># Version: 1.0</code>
<code># Author: LEO</code>
<code># BLOG: http://linux5588.blog.51cto.com</code>
<code># EMAIL: [email protected]</code>
<code># Created: 2013-05-22</code>
<code># Copyright: (c) LEO 2013</code>
<code># Python： 2.7/2.4 皆可使用</code>
<code>#--------------------------------------------------------</code>
<code>from</code> <code>smtplib </code><code>import</code> <code>SMTP</code>
<code>from</code> <code>email </code><code>import</code> <code>MIMEText</code>
<code>from</code> <code>email </code><code>import</code> <code>Header</code>
<code>from</code> <code>os.path </code><code>import</code> <code>getsize</code>
<code>from</code> <code>sys </code><code>import</code> <code>exit</code>
<code>from</code> <code>re </code><code>import</code> <code>compile</code><code>, IGNORECASE</code>
<code>#定义主机 帐号 密码 收件人 邮件主题</code>
<code>smtpserver </code><code>=</code> <code>'smtp.163.com'</code>
<code>sender </code><code>=</code> <code>'帐号/发件人'</code>
<code>password </code><code>=</code> <code>'密码'</code>
<code>receiver </code><code>=</code> <code>(</code><code>'收件人1'</code><code>,</code><code>'收件人2'</code><code>,)</code>
<code>subject </code><code>=</code> <code>u</code><code>'Web服务器Tomcat日志错误信息'</code>
<code>From </code><code>=</code> <code>u</code><code>'xxx Web服务器'</code>
<code>To </code><code>=</code> <code>u</code><code>'服务器管理员'</code>
<code>#定义tomcat日志文件位置</code>
<code>tomcat_log </code><code>=</code> <code>'/home/back/catalina.out'</code>
<code>#该文件是用于记录上次读取日志文件的位置,执行脚本的用户要有创建该文件的权限</code>
<code>last_position_logfile </code><code>=</code> <code>'/home/back/last_position.txt'</code>
<code>error_list_logfile</code><code>=</code><code>'/home/back/error_list.txt'</code>
<code>#匹配的错误信息关键字的正则表达式</code>
<code>pattern </code><code>=</code> <code>compile</code><code>(r</code><code>'Exception|^\t+\bat\b'</code><code>,IGNORECASE)</code>
<code>#发送邮件函数</code>
<code>def</code> <code>send_mail(error):</code>
<code> </code><code>#定义邮件的头部信息</code>
<code> </code><code>header </code><code>=</code> <code>Header.Header</code>
<code> </code><code>msg </code><code>=</code> <code>MIMEText.MIMEText(error,</code><code>'plain'</code><code>,</code><code>'utf-8'</code><code>)</code>
<code> </code><code>msg[</code><code>'From'</code><code>] </code><code>=</code> <code>header(From)</code>
<code> </code><code>msg[</code><code>'To'</code><code>] </code><code>=</code> <code>header(To)</code>
<code> </code><code>msg[</code><code>'Subject'</code><code>] </code><code>=</code> <code>header(subject</code><code>+</code><code>'\n'</code><code>)</code>
<code> </code><code>#连接SMTP服务器，然后发送信息</code>
<code> </code><code>smtp </code><code>=</code> <code>SMTP(smtpserver)</code>
<code> </code><code>smtp.login(sender, password)</code>
<code> </code><code>smtp.sendmail(sender, receiver, msg.as_string())</code>
<code> </code><code>smtp.close()</code>
<code>#读取上一次日志文件的读取位置</code>
<code>def</code> <code>get_last_position(</code><code>file</code><code>):</code>
<code> </code><code>try</code><code>:</code>
<code> </code><code>data </code><code>=</code> <code>open</code><code>(</code><code>file</code><code>,</code><code>'r'</code><code>)</code>
<code> </code><code>last_position </code><code>=</code> <code>data.readline()</code>
<code> </code><code>if</code> <code>last_position:</code>
<code> </code><code>last_position </code><code>=</code> <code>int</code><code>(last_position)</code>
<code> </code><code>else</code><code>:</code>
<code> </code><code>last_position </code><code>=</code> <code>0</code>
<code> </code><code>except</code><code>:</code>
<code> </code><code>last_position </code><code>=</code> <code>0</code>
<code> </code><code>return</code> <code>last_position</code>
<code>#写入本次日志文件的本次位置</code>
<code>def</code> <code>write_this_position(</code><code>file</code><code>,last_positon):</code>
<code> </code><code>data </code><code>=</code> <code>open</code><code>(</code><code>file</code><code>,</code><code>'w'</code><code>)</code>
<code> </code><code>data.write(</code><code>str</code><code>(last_positon))</code>
<code> </code><code>data.write(</code><code>'\n'</code> <code>+</code> <code>"Don't Delete This File,It is Very important for Looking Tomcat Error Log !! \n"</code><code>)</code>
<code> </code><code>data.close()</code>
<code> </code><code>print</code> <code>"Can't Create File !"</code> <code>+</code> <code>file</code>
<code> </code><code>exit()</code>
<code>#分析文件找出异常的行</code>
<code>def</code> <code>analysis_log(</code><code>file</code><code>):</code>
<code> </code><code>error_list </code><code>=</code> <code>[] </code>
<code> </code>
<code> </code><code>last_position </code><code>=</code> <code>get_last_position(last_position_logfile)</code>
<code> </code><code>this_postion </code><code>=</code> <code>getsize(tomcat_log)</code>
<code> </code><code>if</code> <code>this_postion < last_position:</code>
<code> </code><code>data.seek(</code><code>0</code><code>)</code>
<code> </code><code>elif</code> <code>this_postion </code><code>=</code><code>=</code> <code>last_position:</code>
<code> </code><code>elif</code> <code>this_postion > last_position:</code>
<code> </code><code>data.seek(last_position)</code>
<code> </code><code>for</code> <code>line </code><code>in</code> <code>data:</code>
<code> </code><code>if</code> <code>pattern.search(line):</code>
<code> </code><code>error_list.append(line)</code>
<code> </code>
<code> </code><code>write_this_position(last_position_logfile,data.tell())</code>
<code> </code><code>data.close()</code>
<code> </code><code>return</code> <code>''.join(error_list)</code>
<code>def</code> <code>writeToTxt(list_name,file_path):</code>
<code> </code><code>fp </code><code>=</code> <code>open</code><code>(file_path,</code><code>"w+"</code><code>)</code>
<code> </code><code>for</code> <code>item </code><code>in</code> <code>list_name:</code>
<code> </code><code>fp.write(</code><code>str</code><code>(item)</code><code>+</code><code>"\n"</code><code>)</code>
<code> </code><code>fp.close()</code>
<code> </code><code>except</code> <code>IOError:</code>
<code> </code><code>print</code><code>(</code><code>"fail to open file"</code><code>)</code>
<code>#调用发送邮件函数发送邮件</code>
<code>error_info </code><code>=</code> <code>analysis_log(tomcat_log)</code>
<code>writeToTxt(erro_info,error_list_logfile)</code>
自己模仿写的
<code>import</code> <code>os</code>
<code>tomcat_log </code><code>=</code> <code>'/home/python/12/'</code>
<code>last_position_logfile </code><code>=</code> <code>'/home/python/last_position.txt'</code>
<code>error_list_logfile</code><code>=</code><code>'/home/python/error_list.txt'</code>
<code> </code><code>data </code><code>=</code> <code>open</code><code>(</code><code>file</code><code>,</code><code>'a'</code><code>)</code>
<code> </code><code>data.write(</code><code>str</code><code>(last_positon) </code><code>+</code> <code>'\n'</code><code>)</code>
<code> </code><code>#data.write('\n' + "Don't Delete This File,It is Very important for Looking Tomcat Error Log !! \n")</code>
<code> </code>
<code> </code><code>#last_position = get_last_position(last_position_logfile)</code>
<code> </code><code>last_position </code><code>=</code> <code>0</code>
<code> </code><code>this_postion </code><code>=</code> <code>getsize(</code><code>file</code><code>)</code>
<code> </code>
<code>def</code> <code>walk(local_dir):</code>
<code> </code><code>for</code> <code>root, dirs, files </code><code>in</code> <code>os.walk(local_dir):</code>
<code> </code><code>for</code> <code>filespath </code><code>in</code> <code>files:</code>
<code> </code><code>#return filespath</code>
<code> </code><code>local_file </code><code>=</code> <code>os.path.join(root,filespath)</code>
<code> </code><code>#error_info2 = analysis_log('/home/python/12/xx.log')</code>
<code> </code><code>#print error_info2</code>
<code> </code><code>error_info </code><code>=</code> <code>analysis_log(local_file)</code>
<code> </code><code>fp </code><code>=</code> <code>open</code><code>(error_list_logfile,</code><code>"a+"</code><code>)</code>
<code> </code><code>fp.write(error_info)</code>
<code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>'__main__'</code><code>:</code>
<code> </code><code>walk(tomcat_log)</code>
<code> </code><code>#调用发送邮件函数发送邮件</code>
<code> </code><code>#error_info = analysis_log(tomcat_log)</code>
<code> </code><code>#writeToTxt(error_info,error_list_logfile)</code>
<code> </code><code>#fp = open(error_list_logfile,"w+")</code>
<code> </code><code>#fp.write(str(error_info))</code>
第二版
生成zabbix监控，只是监控异常数量,没有过滤exception
先执行第一个脚本，生成数据
<code># !/usr/bin/env python</code>
<code>#-*-coding:utf-8-*-</code>
<code>import</code> <code>sys</code>
<code>import</code> <code>time</code>
<code>import</code> <code>datetime</code>
<code>import</code> <code>string</code>
<code>tomcat_log </code><code>=</code> <code>'/home/logs/'</code>
<code>last_position_logfile </code><code>=</code> <code>'/home/back/test/last_position.txt'</code>
<code>error_list_logfile </code><code>=</code> <code>'/home/back/test/error_list.txt'</code>
<code>pattern </code><code>=</code> <code>compile</code><code>(r</code><code>'Exception|^\t+\bat\b'</code><code>, IGNORECASE)</code>
<code>fp </code><code>=</code> <code>open</code><code>(error_list_logfile, </code><code>"w+"</code><code>)</code>
<code>def</code> <code>writeToTxt(list_name, file_path):</code>
<code> </code><code>fp </code><code>=</code> <code>open</code><code>(file_path, </code><code>"a+"</code><code>)</code>
<code> </code><code>fp.write(</code><code>str</code><code>(item) </code><code>+</code> <code>"\n"</code><code>)</code>
<code># 分析文件找出异常的行</code>
<code> </code><code>#parent_file = os.path.dirname(file)</code>
<code> </code><code>error_list </code><code>=</code> <code>[]</code>
<code> </code><code>data </code><code>=</code> <code>open</code><code>(</code><code>file</code><code>, </code><code>'r'</code><code>)</code>
<code> </code><code>error_list.append(</code><code>file</code><code>)</code>
<code> </code><code>break</code>
<code> </code><code>if</code> <code>len</code><code>(error_list)</code><code>=</code><code>=</code><code>1</code><code>:</code>
<code> </code><code>#return ''.join(error_list)</code>
<code> </code><code>writeToTxt(error_list,error_list_logfile)</code>
<code> </code><code>#return error_list</code>
<code> </code><code>#if errors_list == 1:</code>
<code> </code><code>#print "%s num is %d" %(file,errors_list)</code>
<code> </code><code>#print ''.join(errors_list)</code>
<code> </code><code># return filespath</code>
<code> </code><code>local_file </code><code>=</code> <code>os.path.join(root, filespath)</code>
<code> </code><code># print error_info2</code>
<code>def</code> <code>walk_dir(home_dir):</code>
<code> </code><code>homedir</code><code>=</code><code>[]</code>
<code> </code><code>for</code> <code>root, dirs, files </code><code>in</code> <code>os.walk(home_dir):</code>
<code> </code><code>for</code> <code>dirname </code><code>in</code> <code>dirs:</code>
<code> </code><code>local_dir </code><code>=</code> <code>os.path.join(root, dirname)</code>
<code> </code><code>now </code><code>=</code> <code>datetime.datetime.now()</code>
<code> </code><code>strdatetime </code><code>=</code> <code>now.strftime(</code><code>"%Y/%m/%d"</code><code>)</code>
<code> </code><code>Date</code><code>=</code><code>now.strftime(</code><code>"%d"</code><code>)</code>
<code> </code><code>#print "Date is %s" %Date</code>
<code> </code><code>result </code><code>=</code> <code>string.find(local_dir,strdatetime)!</code><code>=</code><code>-</code><code>1</code>
<code> </code><code>if</code> <code>result:</code>
<code> </code><code>#print local_dir.count('/')</code>
<code> </code><code>if</code> <code>local_dir.count(</code><code>'/'</code><code>)</code><code>=</code><code>=</code><code>8</code><code>:</code>
<code> </code><code>homedir.append(local_dir)</code>
<code> </code><code>return</code> <code>homedir</code>
<code>if</code> <code>__name__ </code><code>=</code><code>=</code> <code>'__main__'</code><code>: </code>
<code> </code><code>tomcat_last_dir</code><code>=</code><code>walk_dir(tomcat_log)</code>
<code> </code><code>for</code> <code>i </code><code>in</code> <code>tomcat_last_dir:</code>
<code> </code><code>walk(i)</code>
2.zabbix脚本两个
python以后都可以这样写
<code>import</code> <code>json</code>
<code>file</code> <code>=</code> <code>'/home/back/test/error_list.txt'</code>
<code>error_list</code><code>=</code><code>[]</code>
<code>service</code><code>=</code><code>[]</code>
<code>try</code><code>:</code>
<code> </code><code>data </code><code>=</code> <code>open</code><code>(</code><code>file</code><code>, </code><code>'r'</code><code>)</code>
<code>except</code><code>:</code>
<code> </code><code>exit()</code>
<code>for</code> <code>line </code><code>in</code> <code>data:</code>
<code> </code><code>error_list.append(line.split(</code><code>'/'</code><code>)[</code><code>8</code><code>])</code>
<code> </code><code>#service.append(line.split('/')[3])</code>
<code>news_error_list </code><code>=</code> <code>list</code><code>(</code><code>set</code><code>(error_list))</code>
<code>#news_service = list(set(service))</code>
<code>#print news_error_list</code>
<code>#print news_service</code>
<code>javas</code><code>=</code><code>[]</code>
<code>for</code> <code>x </code><code>in</code> <code>news_error_list:</code>
<code> </code><code>javas.append({</code><code>'{#EXCEPTION}'</code><code>:x.strip(</code><code>'\n'</code><code>)})</code>
<code>print</code> <code>json.dumps({</code><code>'data'</code><code>:javas},indent</code><code>=</code><code>4</code><code>,separators</code><code>=</code><code>(</code><code>','</code><code>,</code><code>':'</code><code>))</code>
<code>if</code> <code>len</code><code>(sys.argv) </code><code>=</code><code>=</code> <code>2</code><code>:</code>
<code> </code><code>argv1 </code><code>=</code> <code>sys.argv[</code><code>1</code><code>]</code>
<code> </code><code>print</code> <code>error_list.count(argv1)</code>
<code>else</code><code>:</code>
<code> </code><code>print</code> <code>-</code><code>1</code>
标记一些常用写法
result = string.find(local_dir,strdatetime)!=-1
news_error_list = list(set(error_list))
print error_list.count(argv1)
python将数组写入文件
fp = open(error_list_logfile,"w+")
fp.write(str(error_info))
这些脚本，主要的作用就是针对每个文件，过滤带有exception的文件并在grafana显示。
本文转自 liqius 51CTO博客，原文链接：http://blog.51cto.com/szgb17/1861459，如需转载请自行联系原作者
![TestLink导出用例转换工具(XML2Excel)[图]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)