Python正则提取csv内容

雨点打透心脏的1/2处 2022-03-01 04:24 228阅读 0赞

一般我们把数据库或者试算表导出后都会变成，分割值或|分割值的方式，每一行是数据库里的一行内容，如果此时我们需要使用Python将导出之后的文件进行导入并实现字段化，那么一般由两种方式（下文环境为Python3.7）

1、使用，作为分割符，获得一个数组然后根据下标进行获取，如下

for line in file:
            infos = line.split(',')
            date = int(infos[0])
            amount = float(infos[1])
            corp = infos[2]
            name = infos[3]
            idCard = infos[4]

但是这种模式弊端很明显，如果有一个字段里面含有了逗号，那么这样分割就会出现错乱。非常不灵活

2、使用正则表达式进行匹配，可以有效预防上面出现的问题

比如我们有下面这一个字符串

"002666666+AA","8","刘老三","551290000007",,"王老五","306660007","aabbcc ",10,"01","20190321","663419","你好，老王！"

我们如果使用逗号作为分割，那么最后一列数据就会因为内容中含有一个标点逗号而导致分割出错，而且元素众多，有的元素还是空值，如王老五前面的那个元素。而且还数字字符串夹杂在一起，字符串的前后还带着双引号，在提取数据时需要将双引号都去掉。那么如何把这一行数据完整的高效的转化为字段化的数据呢。

1、方法一：先根据正则分割，再通过下标获取

pattern = re.compile(r'^(".+"),("\d+"),(.*),(.*),(.*),(.*),(.*),(.*),(.*),(.*),(.*),(.*),(.*)$')
    m = pattern.match(line)
    print(len(m.groups()))
    serialNum = m.group(1)
    print(m.group(1,2,3,4))

上面的正则表达式中，每个小括号里匹配上的内容都会加入到m.groups()中,然后可以通过传入下标来一个一个的取出，

当某一项绝对不为空时可以这样（.+）

当某一项可能为空可以这样（.\*）

当某一项为数字且绝对不为空时可以这样（\\d+）

当只想获取引号内部的内容可以这样"（.\*）"

如果引号内部会有逗号，而且这个逗号不是分割符的时候可以这样"（.\*）"

2、方法二：直接在正则语句中加入变量名进行变量赋值

上面那种根据下标获取的方法，正则表达式美观，但是后续还需要一个一个进行变量赋值，而如果一步到位在正则语句中直接写入变量名进行赋值Python也是支持的，但是会导致正则语句的丑陋

pattern = re.compile(r'^"(?P<transNo>.*)","(?P<mode>\d+)",("(?P<senderName>.*)")?,(?P<senderNo>".*")?,(?P<id1>".*")?,(?P<receiverName>".*")?,(?P<receiverNo>".*")?,(?P<id2>".*")?,(?P<amount>.*),"(?P<type>\d{2})","(?P<date>\d{8})","(?P<time>\d{6})","(?P<remark>.*)"$')
    
    m = pattern.match(line)

按照上面这样,使用（?P<变量名>匹配条件）就可以直接将小括号中匹配到的内容直接赋值给变量，节省了后续赋值的操作