apahce 网站访问日志分析，apahce访问日志分析,#coding:utf-

apahce 网站访问日志分析，apahce访问日志分析,#coding:utf-

#coding:utf-8#!/usr/bin/python'''程序说明:apache access.log日志分析 分析访问网站IP 来源情况 程序说明：应用到：shell与python数据交互、数据抓取，编码转换'''import osimport jsonimport httplibimport codecsLogFile='/var/log/apache2/access.log'#日志logMess='/tmp/acc.log'if os.path.isfile(logMess):    os.system('cp /dev/null %s'% logMess)file=codecs.open(logMess,'w+',encoding='utf-8')def cmd(cmd):     return os.popen(cmd).readlines()'''def getIp(ip):    return json.loads(os.popen("/usr/bin/curl http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip).readline())['data']'''conn = httplib.HTTPConnection('ip.taobao.com')def getIpCountry(ip):    conn.request('GET','/service/getIpInfo.php?ip=%s' % ip)    r1=conn.getresponse()    if r1.status == 200:        return json.loads(r1.read())['data']    else:        return "Error"#将access.log文件进行分析，并转为python数组file.write(u"字段说明:ip   访问次数据  ip国家 城市的 isp号  省份  所在地区\\n")ipDb=[]for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % LogFile):    ip = i.strip().split(' ')    ipDb.append(ip)#通过taobao 提供接口分析ip地址来源for i in ipDb:    _tmpD=getIpCountry(i[1])    #格式说明：ip   访问次数据  ip国家 城市的 isp号  省份  所在地区    out="%s%s%s%s%s%s%s"%(i[1].ljust(20),i[0].ljust(10),_tmpD['country'].ljust(20),_tmpD['city'].ljust(16),_tmpD['isp_id'].ljust(16),_tmpD['region'].ljust(16),_tmpD['area'].ljust(16))    print out    file.write("%s\\n"%out)conn.close()file.close()''''''#该片段来自于http://byrx.net