使用python将json日志转换成csv文件，并优化部分样式

迷南。 2023-01-14 01:45 129阅读 0赞

# 需求： #

将每天访问的日志信息记录下来，并且对传递过来的url参数的一些信息进行优化，最后转换成csv文件

# 思路： #

1.日志格式设为json  
2.将url后面的请求参数按格式分割出来  
3.将上面的信息导出为csv格式

# 步骤： #

## 1.日志格式在nginx中提前设置好的 ##

log_format logstash_json '{ "@timestamp": "$time_local", '
                             '"remote_addr": "$remote_addr", '
                             '"body_bytes_sent": "$body_bytes_sent", '
                             '"status": "$status", '
                             '"request_uri": "$request_uri", '
                             '"request_body": "$request_body", '
                             '"request_method": "$request_method", '
                             '"http_referrer": "$http_referer", '
                             '"body_bytes_sent":"$body_bytes_sent", '
                             '"http_x_forwarded_for": "$http_x_forwarded_for", ';

生成出来的日志

{ "@timestamp": "15/Apr/2021:11:48:04 +0800", "remote_addr": "101.98.234.154",  "body_bytes_sent": "3", "status": "200","request_uri": "/?data1=954ds5d4s5d44&data2=45sd4asd7s64sd6a&data3=app-10&data4=0&data5=1&data6=10086&data7=202104656646761625656786766164&timestamp=1618458484229", "request_body": "-", "request_method": "GET", "http_referrer": "https://www.baidu.com", "body_bytes_sent":"3", "http_x_forwarded_for": "100.98.234.154" }

## 2.拆分url后面的请求参数 ##

目前的日志记录是用json格式进行记录的，不过有个需求是将json日志转成csv，并且还要将url的请求参数进行拆分，同样记录到csv中。

目前nginx的记录时 url参数是在request\_uri这个值中

信息如下

"request_uri": "/?data1=954ds5d4s5d44&data2=45sd4asd7s64sd6a&data3=app-10&data4=0&data5=1&data6=10086&data7=202104656646761625656786766164&timestamp=1618458484229"

现在想要将其拆分成字典，记录如下

a = {"request_uri": "/?data1=954ds5d4s5d44&"
                        "data2=45sd4asd7s64sd6a&"
                        "data3=app&"
                        "data4=0&"
                        "data5=1&"
                        "data6=10086&"
                        "data7=202104656646761625656786766164"
                        "&timestamp=1618458484229"}
    for key in a:
        if key == 'request_uri':
            # print(a[key])
            b = a[key].split('?', 1)[1]
            print(b)
            d = {}
            b1 = b.split("&")
            for b2 in b1:
                b3 = b2.split("=")
                # print(b3)
                key = b3[0]
                value = b3[1]
                d[key] = value
    
            print(d)

json在python中读取出来就是一个字典，查找字典中的所有key，当key值为request\_uri时，进行处理，先将？前的数据删除也就是/?，这时候的b的值就是

data1=954ds5d4s5d44&data2=45sd4asd7s64sd6a&data3=app&data4=0&data5=1&data6=10086&data7=202104656646761625656786766164&timestamp=1618458484229

然后用&做分隔符，获取到的值再用=做分隔符，将第一个值做为key，第二个值作为value，写入字典中

最后循环完成后，生成的字典如下

{'data1': '954ds5d4s5d44', 'data2': '45sd4asd7s64sd6a', 'data3': 'app', 'data4': '0', 'data5': '1', 'data6': '10086', 'data7': '202104656646761625656786766164', 'timestamp': '1618458484229'}

拆分完成

## 3.使用python将json转为csv ##

前面的准备完成，将日志导出，只用一条记录进行测试，放到aaa.json

{"@timestamp": "15/Apr/2021:11:48:04 +0800", "remote_addr": "101.98.234.154", "body_bytes_sent": "3", "status": "200", "request_uri": "/?data1=954ds5d4s5d44&data2=45sd4asd7s64sd6a&data3=app-10&data4=0&data5=1&data6=10086&data7=202104656646761625656786766164&timestamp=1618458484229", "request_body": "-", "request_method": "GET", "http_referrer": "https://www.baidu.com", "body_bytes_sent": "3", "http_x_forwarded_for": "100.98.234.154"}

代码如下

# -*-coding:utf-8-*-
    import csv
    import json
    import sys
    import codecs
    import time
    
    
    def trans(path):
        # json文件路径，读取.json为后缀的文件
        jsonData = codecs.open(path + '.json', 'r', 'utf-8')
        # csvfile = open(path+'.csv', 'w') # 此处这样写会导致写出来的文件会有空行
        # csvfile = open(path+'.csv', 'wb') # python2下
        # 创建一个csv文件，名字为json文件前缀+.csv 写权限
        '''
            参数newline是用来控制文本模式之下，一行的结束字符。可以是None，’’，\n，\r，\r\n等。
            当在读取模式下，如果新行符为None，那么就作为通用换行符模式工作，意思就是说当遇到\n，\r或\r\n都可以作为换行标识，
            并且统一转换为\n作为文本输入的换行符。当设置为空’’时，也是通用换行符模式工作，但不作转换为\n，输入什么样的，就保持原样全输入。
            当设置为其它相应字符时，就会判断到相应的字符作为换行符，并保持原样输入到文本。
            当在输出模式时，如果新行符为None，那么所有输出文本都是采用\n作为换行符。
            如果设置为’’或者\n时，不作任何的替换动作。
            如果是其它字符，会在字符后面添加\n作为换行符
        '''
        csvfile = open(path + '.csv', 'w', newline='')  # python3下
        #delimiter=','，看到逗号就换一列
        writer = csv.writer(csvfile, delimiter=',')
        # 这个keys是部分变量，可以自己定义，优化标题，将不需要的参数删除
        keys = ['time', 'remote_addr', 'status', 'http_referrer', 'ip',
               'data1','data2','data3','data4','data5','data6','data7']
        # 将keys这行写入到csv文件中，writerow写入一行
        # 就是把keys当作标题写入到csv文件中
        writer.writerow(keys)
        # 定义变量，循环写入
        i = 1
        for dic in jsonData:
            # 获取json数据，定义字典
            #将读取的数据中的\转义成\\，防止出错
            s = dic.replace('\\', '\\\\')
            print(s)
            dic = json.loads(s, strict=False)
            print(dic, type(dic))
            # 拆分request_uri的值
            for key in dic:
                if key == 'request_uri':
                    # print(a[key])
                    b = dic[key].split('?', 1)[1]
                    # print(b)
                    d = {}
                    b1 = b.split("&")
                    for b2 in b1:
                        b3 = b2.split("=")
                        # print(b3)
                        key = b3[0]
                        value = b3[1]
                        d[key] = value
    
            print(d)
            #为了防止再显示中变为科学计数法，变为字符串并加一个
            data7 = str(d['data7']) + "\t"
    				#将13时间戳转换成yyyy-mm-dd HH:MM:SS的格式
            time_stamp = int(d['timestamp'])
            other_style_time = timestamp_to_date(time_stamp)
            #在url请求参数中data2不是必传的，设置默认值，如果没有就传NONE
            d.setdefault('data2', 'NONE')
            # 写入数据，数据和上面的标题一一对应，数据的值就是两个字典里面的值
            #注意other_style_time和data7都做了修改，直接输入变量就好
            writer.writerow(
                [other_style_time, dic['remote_addr'], dic['status'],
                 dic['http_referrer'],
                 dic['http_x_forwarded_for'], d['data1'] , d['data2'] ,
                 d['data3'] , d['data4'] , d['data5'] , d['data6'] , data7 ])
            i += 1
    
        # 最后写完，关闭两个文件
        jsonData.close()
        csvfile.close()
    
    
    
    #将13位时间戳转换成yyyy-mm-dd HH:MM:SS的格式
    def timestamp_to_date(time_stamp, format_string="%Y-%m-%d %H:%M:%S"):
        time_array = time.localtime(time_stamp / 1000)
        # print(time_array)
        other_style_time = time.strftime(format_string, time_array)
        # print(other_style_time)
        return other_style_time
    
    
    if __name__ == '__main__':
        path = str(sys.argv[1])  # 获取path参数
        trans(path)

执行python

python json-csv.py aaa

执行结果为：  
![在这里插入图片描述][20210419182245286.png]

## 注意： ##

1.有\\的字典，json可能无法解析，会报错

json.decoder.JSONDecodeError: Invalid \escape: line 1 column 1733 (char 1732)

将\\用replace转为\\就可以了

#将读取的数据中的\转成\\，防止出错
            s = dic.replace('\\', '\\\\')
            print(s)
            dic = json.loads(s, strict=False)

2.有1个字段的值超过16位了，在excel中会变成科学技术并且只保留15位只要把数字字段后面加上显示上看不见的字符即可，将这两个字段的值变成字符串，并且在后面加个"\\t"就可以了

data7 = str(d['data7']) + "\t"

3.如果再转换的过程中，有部分url参数没有传进来，例如第2条data2数据没有，直接写会报错（KeyError: ‘data2’），如果没有，给data2一个默认值

d.setdefault('data2', 'NONE')