python日志统计(python有没有通用的日志统计系统)

1.python有没有通用的日志统计系统

logging模块

import logging

# 配置日志,输出到控制台

logging.basicConfig(

level=logging.DEBUG, # 日志记录级别

format="[%(asctime)s] %(name)s:%(levelname)s: %(message)s" # 日志打印格式

)

# 输出日志

logging.debug("This is a debug")

logging.info("This is an info")

logging.warning("This is a warning")

logging.error("This is an error")

logging.critical("The system is down")

2.如何用python,每隔5分钟对实时日志做统计处理

不清楚你是不是用apache 举apache log+python

#!/usr/bin/env python

from threading import Timer

import time

timer_interval=3000

def readlogs()

log = "/var/log/ (2)我需要关注内容 日志信息输出级别logging模块提供了多种日志级别,如:NOTSET(0),DEBUG(10),INFO(20),WARNING(30),WARNING(40),CRITICAL(50)。

设置方法: logger = getLogger() logger.serLevel(logging.DEBUG)日志数据格式使用Formatter设置日志的输出格式。设置方法: logger = getLogger() handler = loggingFileHandler(XXX) formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S") %(asctime)s表示记录日志写入时间,"%Y-%m-%d,%H:%M:%S“设定了时间的具体写入格式。

%(levelname)s表示记录日志的级别。 %(message)s表示记录日志的具体内容。

日志对象初始化def initLog(): logger = logging.getLogger() handler = logging.FileHandler("日志保存路径") formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S") handler.setFormatter(formatter) logger.addHandler(handler) logger.setLevel写日志 logging.getLogger().info(), logging.getLogger().debug()。

2. 日志的分析。 (1)我的日志的内容。

(log.txt)2011-12-12,12:11:31 INFO Client1: 4356175.0 1.32366309133e+12 1.32366309134e+122011-12-12,12:11:33 INFO Client1: 4361320.0 1.32366309334e+12 1.32366309336e+122011-12-12,12:11:33 INFO Client0: 4361320.0 1.32366309389e+12 1.32366309391e+122011-12-12,12:11:39 INFO Client1: 4366364.0 1.32366309934e+12 1.32366309936e+122011-12-12,12:11:39 INFO Client0: 4366364.0 1.32366309989e+12 1.32366309991e+122011-12-12,12:11:43 INFO Client1: 4371416.0 1.32366310334e+12 1.32366310336e+122011-12-12,12:11:43 INFO Client0: 4371416.0 1.32366310389e+12 1.32366310391e+122011-12-12,12:11:49 INFO Client1: 4376450.0 1.32366310934e+12 1.32366310936e+12我需要将上述内容逐行读出,并将三个时间戳提取出来,然后将其图形化。 (2) 文件操作以及字符串的分析。

打开文件,读取出一行日志。file = file("日志路径",“r”)while True: line = file.readline() if len(len) == 0: break; print linefile.close()从字符串中提取数据。

字符串操作学习资料:在matplotlib中设置线条的颜色和形状:/kkxgx/article/details/python如果想对matplotlib有一个全面的了解,就需要阅读教程《Matplotlib for Python developers》,教程下载地址:/detail/nmgfrank/4006691使用实例import matplotlib.pyplot as pltlistX = [] #保存X轴数据listY = [] #保存Y轴数据listY1 = [] #保存Y轴数据file = file("../log.txt","r")#打开日志文件while True: line = file.readline()#读取一行日志 if len(line) == 0:#如果到达日志末尾,退出 break paraList = line.split() print paraList[2] print paraList[3] print paraList[4] print paraList[5] if paraList[2] == "Client0:": #在坐标图中添加两个点,它们的X轴数值是相同的 listX.append(float(paraList[3])) listY.append(float(paraList[5]) - float(paraList[3])) listY1.append(float(paraList[4]) - float(paraList[3]))file.close()plt.plot(listX,listY,'bo-',listX,listY1,'ro')#画图plt.title('tile')#设置所绘图像的标题plt.xlabel('time in sec')#设置x轴名称plt.ylabel('delays in ms'')#设置y轴名称plt.show()。

4.Python编写一个程序 可以读取邮件日志(mbox.txt),统计每个邮件发

由于工作需要在一大堆日志里面提取相应的一些固定字符,如果单纯靠手工取提取,数据量大,劳心劳力,于是自然而然想到了用Python做一个对应的提取工具,代替手工提取的繁杂,涉及中文字符,正则表达式不好匹配,但不是不可以实现,这个以后优化时再说。

需求描述:一个父目录中存在多个子文件夹,子文件夹下有多个txt形式化的Log日志,要求从所有地方Log日志中找出CardType=9, CardNo=0时的CardID的值,并将其统计存储到一个文本文件中,要求CardID不能够重复。需求解析:首先获取所有的Log日志的全路径,根据路径分别加载到将各个Log日志加载到内存中进行提取分析,并将结果存储到给定的文本文件中。

解决方案:为了尽可能的简洁通用,这里使用配置文件作为输入变量的依据。不多说,上代码:配置文件如下:103文件夹下有两个文件:log1.txt和log2.txt, 内容类似如下:Python代码实现如下:# -*- coding: utf-8 -*-#!/usr/bin/python# filename: picktools.py# codedtime:2015-3-25 import os import configparser# 遍历一个目录,输出所有文件名 def itemsbrowse(path):for home, dirs, files in os.walk(path):for filename in files:yield os.path.join(home, filename)# 给的文件中查找对应的字符串所在行 def findchars(filename, chars):file = open(filename, 'r') for eachline in file:if eachline.find(chars) >= 0:yield eachline file.close()# 添加到指定的文件 def addtofile(filename, mygenerator):file = open(filename, 'a') # 追加方式打开 for line in mygenerator:file.write(line) file.close()# 过滤重复的字符行 def filter(filename):mylist = [] file = open(filename, 'r') for eachline in file:mylist.append(eachline.strip()) file.close() file2 = open(os.path.splitext(filename)[0] + '_filter.txt', 'w') for line in list(set(mylist)):print(line, file = file2)#file2.write(line) file2.close() def excute():iniconf = configparser.ConfigParser() iniconf.read('config.ini') ifile = iniconf.get('setting', 'ifilepath') ofile = iniconf.get('setting', 'ofilepath') chars = iniconf.get('setting', 'searchstr') for fullname in itemsbrowse(ifile):mygenerator = findchars(fullname, chars) addtofile(ofile, mygenerator) filter(ofile) if __name__ == '__main__':excute() 输出结果:输出两个文件result.txt 和result_filter.txt 心得体会:1、利用Python去处理一些日常的小任务,可以很方便的完成,相比较C/C++来说,这方面生产力高了不少。

2、本文设计对中文字符的处理,所以使用正则表达式不太怎么方便,但不少不可以,后续版本中会添加对正则的支持!3、由于初学中,所以代码写的不够精炼简洁,后续进行再优化。

python日志统计

转载请注明出处代码入门网 » python日志统计(python有没有通用的日志统计系统)

资讯

pythonmultiply(Python实现输出1*2*3*4*5)

阅读(15)

本文主要为您介绍pythonmultiply,内容包括python中的multiply函数怎么用,numpy中multiply函数怎么用,Python实现输出1*2*3*4*5100的和。究竟是和还是积呢?如果是积的话,我们设计的代码如下,有注释multi_num = 1 # 乘法结果初始化for i in rang

资讯

pythongui界面(python图形化界面设计tkinter)

阅读(17)

本文主要为您介绍pythongui界面,内容包括python图形化界面设计tkinter,python编写gui界面,pythongui图形界面。python提供了多个图形开发界面的库,几个常用Python GUI库如下:Tkinter: Tkinter模块("Tk 接口")是Py

资讯

pythonintellij(intellijidea怎么编写python程序打包发送到spark)

阅读(20)

本文主要为您介绍pythonintellij,内容包括如何使用intellijidea编写python,intellij可以跑python吗,如何使用idea开发python。,客户端和虚拟集群中hadoop、spark、scala的安装目录是一致的,这样开发的spark应用程序的时候不需要打包spark开发

资讯

aucpython(auc论文里的怎么计算pythonsvm)

阅读(14)

本文主要为您介绍aucpython,内容包括auc论文里的怎么计算pythonsvm,pythontensorflow怎么添加auc,怎么用Python软件算模型的AUC和ROC曲线啊。利用Python画ROC曲线,以及值的计算\ 前言 R

资讯

python三元运算符if(python没有三元运算符吗)

阅读(25)

本文主要为您介绍python三元运算符if,内容包括python没有三元运算符吗,什么时候三元运算符python,如何用Python的if条件运算符去求三个值中最大的值,并返回最大值的。Python没有三目运算符(?:),但也有类似的替代方案,那就是true_part if conditio

资讯

pythondll指针(怎样用python调用dll)

阅读(56)

本文主要为您介绍pythondll指针,内容包括python中如何查看dll文件中的函数,如何用python调用应用程序的.dll文件,回调函数指针在python中怎么用。可以的,python中一般有两种方法调用DLL中的函数。1.直接使用函数名,函数名可以用dependencywal

资讯

pythonimagegrab(Python程序抓图怎么用程序实现截图)

阅读(14)

本文主要为您介绍pythonimagegrab,内容包括Python程序抓图怎么用程序实现截图,如何添加一个截图来诱惑报告Python,python中有哪个库提供了对屏幕截屏功能的。由于在我的一个程序中想要添加一个截图功能,今天看一下利用Python怎样截图,功能实

资讯

pythonwebdriverapi(如何查看pythonselenium的api)

阅读(16)

本文主要为您介绍pythonwebdriverapi,内容包括如何查看pythonselenium的api,如何查看pythonselenium的api,seleniumapi有什么用。经常发现很多同学装好了python+selenium webdriver开发环境后不知道怎么去查看api文档,在这里乙醇简单介绍一

资讯

pythonhtmltable(用python生成在html中显示的表格)

阅读(20)

本文主要为您介绍pythonhtmltable,内容包括用python生成在html中显示的表格,怎么用python编写得到本地网页html中的表格,如何用python获取最简单的一个html表单。可以通过写python脚本制作HTML的form,包括HTML的标签什么的python 有个第三方

资讯

python编写应用程序(怎么用python开发一个应用)

阅读(11)

本文主要为您介绍python编写应用程序,内容包括如何用Python编写应用程序,怎么用python开发一个应用,如何用Python编写应用程序。系统编程:提供API,能方便进行系统维护和管理,Linux下标志性语言之一,是很多系统管理员理想的编程工具。 图形处理:

资讯

pythonmultiply(Python实现输出1*2*3*4*5)

阅读(15)

本文主要为您介绍pythonmultiply,内容包括python中的multiply函数怎么用,numpy中multiply函数怎么用,Python实现输出1*2*3*4*5100的和。究竟是和还是积呢?如果是积的话,我们设计的代码如下,有注释multi_num = 1 # 乘法结果初始化for i in rang

资讯

pythongui界面(python图形化界面设计tkinter)

阅读(17)

本文主要为您介绍pythongui界面,内容包括python图形化界面设计tkinter,python编写gui界面,pythongui图形界面。python提供了多个图形开发界面的库,几个常用Python GUI库如下:Tkinter: Tkinter模块("Tk 接口")是Py

资讯

pythonintellij(intellijidea怎么编写python程序打包发送到spark)

阅读(20)

本文主要为您介绍pythonintellij,内容包括如何使用intellijidea编写python,intellij可以跑python吗,如何使用idea开发python。,客户端和虚拟集群中hadoop、spark、scala的安装目录是一致的,这样开发的spark应用程序的时候不需要打包spark开发

资讯

aucpython(auc论文里的怎么计算pythonsvm)

阅读(14)

本文主要为您介绍aucpython,内容包括auc论文里的怎么计算pythonsvm,pythontensorflow怎么添加auc,怎么用Python软件算模型的AUC和ROC曲线啊。利用Python画ROC曲线,以及值的计算\ 前言 R

资讯

python三元运算符if(python没有三元运算符吗)

阅读(25)

本文主要为您介绍python三元运算符if,内容包括python没有三元运算符吗,什么时候三元运算符python,如何用Python的if条件运算符去求三个值中最大的值,并返回最大值的。Python没有三目运算符(?:),但也有类似的替代方案,那就是true_part if conditio

资讯

pythonautocad(python开发cad)

阅读(19)

本文主要为您介绍pythonautocad,内容包括python开发cad,autocad支持python吗,Python下使用pywin32通过AutoCADApplication的ActiveX。Python(KK 英语发音:/ˈpaɪθən/,是一种面向对象、直译式计算机程序设计语言,由Guido van Rossum于1989

资讯

python3.4爬虫入门(如何入门Python爬虫)

阅读(1)

本文主要为您介绍python3.4爬虫入门,内容包括如何入门Python爬虫,python爬虫入门需要哪些基础,python爬虫自学要多久。可以先从简单的开始,在熟悉了Python语法后,学习用 urllib 和 urllib2 爬虫,使用 BeautifulSoup 分析结

资讯

python判定整数(怎样用python判断整数)

阅读(2)

本文主要为您介绍python判定整数,内容包括python怎么判断一个数是整数,python判断一个数是不是整数,python判断一个数是不是整数。import typesif type(var) in [types.IntType,types.LongType]: bodyelse

资讯

python画仪表(如何使用Python在屏幕上作画)

阅读(2)

本文主要为您介绍python画仪表,内容包括如何用python绘制各种图形,如何用Python绘制Circos图,如何使用Python在屏幕上作画。from turtle import *def curvemove():for i in range(200):right(1)forw

资讯

python写入文件编码格式(python2.7.4怎么指定格式编码的文本)

阅读(1)

本文主要为您介绍python写入文件编码格式,内容包括python写文件怎么写gbk编码的文件,python2.7.4怎么指定格式编码的文本,python2.7.4怎么指定格式编码的文本。要写入的数据本身就是byte串(u中文是中文字符串,中文是byte串),用二进制方式打开就

资讯

python小数点保留1位(如何在Python中保留小数)

阅读(2)

本文主要为您介绍python小数点保留1位,内容包括如何在Python中保留小数,Python中小数点的问题,怎么放弃后面位数,只保留前面两位搜狗,python中保留几位小数进行四舍五入的round函数自身的源代码是什么。f = lambda x, n: round(x, n - len(