实验室20200314数据处理任务总结

骑猪看日落 2023-07-15 11:29 29阅读 0赞

如果你想获取数据集和代码，[请点这里][Link 1]。

--------------------

## 任务描述 ##

**基本要求**  
把样本文件中的数据按下面的样例格式写入输出文件。需要注意的是，输入文件中所有的`暂无数据`均按`暂无`写入输出文件，所有的`None`均按`NULL`写入输出文件。样本文件中共240条数据。  
**输入文件样例**  
样本文件ori\_data的数据样例如下：

Tue Mar 19 16:23:02 2019,杭州租房网 >  萧山租房 >  钱江世纪城租房 >   佳境天城人合苑租房  , 合租·佳境天城人合苑4室1厅, 2430元/月(季付价), 公寓 独立卫生间 近地铁 押一付一 随时看房 , 合租 4室1厅2卫 16㎡ 朝南  房屋信息  基本信息 发布：12天前 入住：随时入住   租期：暂无数据 看房：随时可看   楼层：5/18层 电梯：暂无数据   车位：暂无数据 用水：暂无数据   用电：暂无数据 燃气：暂无数据   采暖：暂无数据  ,None, 地址和交通距离地铁2号线-振宁路329m, end 
    Tue Mar 19 16:23:02 2019,杭州租房 >  滨江租房 >  浦沿租房 >   朗诗寓·东信大道店租房  , None,  朗诗寓·东信大道店  2550元/月起  ,None, None, None, None, 地址和交通, end

**输出文件样例**  
输出文件dea\_data的数据样例如下：

Tue Mar 19 杭州  萧山  钱江世纪城  佳境天城人合苑 2430元/月 16㎡ 4室 2卫 1厅 朝南 5/18层 NULL 随时入住 暂无 暂无 暂无 暂无 暂无 暂无
    Tue Mar 19 杭州  滨江  浦沿  朗诗寓·东信大道店 2550元/月 NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL

## 任务分析 ##

首先我注意到的一点是，样本文件是Unix(LF)格式的，可能需要考虑一下文件编码格式的问题。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]  
  其次，不难发现每一行的数据之间都是以逗号为分隔符，这是在提醒我们使用Python的csv模块来进行处理。  
  在处理之前，应当先清洗掉那些没有用处的数据，这样可以使后面的处理工作条理更加清晰。  
  输出样例是有特定的格式的，我们可以导入Python的re模块，利用正则表达式来进行数据的筛选。

## 源代码及简单说明 ##

关于程序的说明已经通过注释的形式写在了下面的代码里。

#!/usr/bin/env python3
    
    import csv
    import re
    
    with open('ori_data', mode='r', encoding='utf-8', newline='') as csv_in_file:
        with open('dea_data_output', mode='w', newline='') as out_file:
            filereader = csv.reader(csv_in_file)
            for row_list in filereader:
                # 创建要写入输出文件的输出字符串
                out_str = ''
    
                # 删去共有的无用信息
                row_list.pop()
                row_list.pop(2)
                row_list.pop(3)
    
                # 修改前三列的数据
                row_list[0] = re.search(r'Tue Mar 19', row_list[0]).group()
                row_list[1] = ''.join(row_list[1].split())
                row_list[1] = ''.join(row_list[1].replace('>', '').replace('租房', '  ').replace('网', '').rstrip())
                row_list[2] = re.search(r'(\d*)元/月', row_list[2]).group()
    
                # 根据列表长度删去各自的无用信息
                if len(row_list) == 9:
                    row_list.pop()
                    row_list.pop()
                    row_list.pop()
                    row_list.pop()
                    row_list.pop()
                elif len(row_list) == 8:
                    row_list.pop()
                    row_list.pop()
                    row_list.pop()
                    row_list.pop()
                elif len(row_list) == 7:
                    row_list.pop()
                    row_list.pop()
                    row_list.pop()
                elif len(row_list) == 6:
                    row_list.pop()
                    row_list.pop()
    
                # 修改最后一列的信息
                if row_list[-1].strip() == 'None':
                    row_list[-1] = 'NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL NULL'
                else:
                    s = ''
                    # 房屋面积
                    s += re.search(r'(\d*㎡)', row_list[-1]).group()
                    s += ' '
                    # 室、卫、厅
                    s += re.search(r'(\d*室)', row_list[-1]).group()
                    s += ' '
                    s += re.search(r'(\d*卫)', row_list[-1]).group()
                    s += ' '
                    s += re.search(r'(\d*厅)', row_list[-1]).group()
                    s += ' '
                    # 房屋朝向
                    s += re.search(r'朝\w', row_list[-1]).group()
                    s += ' '
                    # 所在楼层
                    if re.search(r'(\d*/\d*层)', row_list[-1]) is None:
                        s += 'NULL'
                    else:
                        if re.search(r'(\d*/\d*层)', row_list[-1]).group()[0] == '/':
                            s += 'NULL'
                        else:
                            s += re.search(r'(\d*/\d*层)', row_list[-1]).group()
                    s += ' '
                    # 租期
                    if re.search(r'(\d*~\d*年)', row_list[-1]) is None:
                        s += 'NULL'
                    else:
                        s += re.search(r'(\d*~\d*年)', row_list[-1]).group()
                    s += ' '
                    # 入住
                    if re.search(r'随时入住', row_list[-1]) is None:
                        s += 'NULL'
                    else:
                        s += re.search(r'随时入住', row_list[-1]).group()
                    s += ' '
                    # 电梯
                    if re.search(r'电梯：有', row_list[-1]):
                        s += '有 '
                    elif re.search(r'电梯：无', row_list[-1]):
                        s += '无 '
                    elif re.search(r'电梯：暂无数据', row_list[-1]):
                        s += '暂无 '
                    # 车位
                    if re.search(r'车位：免费', row_list[-1]):
                        s += '免费 '
                    elif re.search(r'车位：租用', row_list[-1]):
                        s += '租用 '
                    elif re.search(r'车位：暂无数据', row_list[-1]):
                        s += '暂无 '
                    # 用水
                    if re.search(r'用水：民水', row_list[-1]):
                        s += '民水 '
                    elif re.search(r'用水：商水', row_list[-1]):
                        s += '商水 '
                    elif re.search(r'用水：暂无数据', row_list[-1]):
                        s += '暂无 '
                    # 用电
                    if re.search(r'用电：民电', row_list[-1]):
                        s += '民电 '
                    elif re.search(r'用电：商电', row_list[-1]):
                        s += '商电 '
                    elif re.search(r'用电：暂无数据', row_list[-1]):
                        s += '暂无 '
                    # 燃气
                    if re.search(r'燃气：有', row_list[-1]):
                        s += '有 '
                    elif re.search(r'燃气：无', row_list[-1]):
                        s += '无 '
                    elif re.search(r'燃气：暂无数据', row_list[-1]):
                        s += '暂无 '
                    # 采暖
                    if re.search(r'采暖：自采暖', row_list[-1]):
                        s += '自采暖'
                    elif re.search(r'采暖：集中供暖', row_list[-1]):
                        s += '集中'
                    elif re.search(r'采暖：暂无数据', row_list[-1]):
                        s += '暂无'
                    row_list[-1] = s
    
                # 向输出字符串内添加信息
                out_str += row_list[0] + ' ' + row_list[1] + ' ' + row_list[2] + ' ' + row_list[3] + '\n'
    
                # 写入文件
                out_file.write(out_str)

## 输出结果 ##

左侧的dea\_data文件是原有的输出样例，右侧的dea\_data\_output文件是通过运行上面的程序得到的输出文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]

[Link 1]: https://github.com/CCH21/Lab_MLGroup_Tasks/tree/master/Task_20200314
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70]: /images/20230528/1cfb790c5d464081b61ca0ca92ae7b79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTU0MDEw_size_16_color_FFFFFF_t_70 1]: /images/20230528/d9a0abebb4bb4865bfe7c3ef7289ae62.png