TensorFlow2.0读取csv文件，划分训练测试集，并训练

骑猪看日落 2022-10-19 04:12 243阅读 0赞

本教程展示了如何对结构化数据进行分类（例如CSV中的表格数据）。我们使用Keras定义模型，并将csv中各列的特征转化为训练的输入。 本教程包含以下功能代码：

*  使用Pandas加载CSV文件。
 *  构建一个输入的pipeline，使用tf.data批处理和打乱数据。
 *  从CSV中的列映射到用于训练模型的输入要素。
 *  使用Keras构建，训练和评估模型。

## 1、导包，查看tensorflow版本 ##

from __future__ import absolute_import, division, print_function
    import numpy as np
    import pandas as pd
    import tensorflow as tf
    from tensorflow import feature_column
    from tensorflow.keras import layers,Sequential
    from tensorflow.keras.layers import DenseFeatures,Dense
    from sklearn.model_selection import train_test_split
    print(tf.__version__)   # 2.4.1

## 2、使用Pandas加载CSV文件 ##

通过read.csv读取文件，然后通过shape方法查看行列，通过head方法查看数据

dataframe = pd.read_csv('/root/anaconda3/envs/rlink/lyz/tensorflow_incremental_training/test_data.csv')
    print(dataframe.shape)  # (250, 20)
    dataframe.head(5)

![image.png][]

## 3、通过sklearn - train\_test\_split划分数据集和测试集 ##

通过train\_test\_split 将数据集按照6:2:2的比例划分成训练集、验证集、测试集数据，但是划分完的数据格式依旧还是pandas.core.frame.DataFrame 格式

train, test = train_test_split(dataframe, test_size=0.2)
    train, val = train_test_split(train, test_size=0.2)
    print(len(train), '训练数据')   # 160 训练数据 
    print(len(val), '验证数据 ')    # 40 验证数据 
    print(len(test), '测试数据')    # 50 测试数据 
    print(type(train))    # <class 'pandas.core.frame.DataFrame'>

## 4、将dataframe格式转为tensorflow能识别的 dataset格式 ##

自定义df\_to\_dataset 方法，将dataframe格式转为tensorflow能识别的 dataset格式

def df_to_dataset(dataframe, shuffle=True, batch_size=32):
        dataframe = dataframe.copy()
        labels = dataframe.pop('fare_amount') #label为目标值字段，可以根据要求更换列名
        ds = tf.data.Dataset.from_tensor_slices((dict(dataframe), labels))
        if shuffle:
            ds = ds.shuffle(buffer_size=len(dataframe))
        ds = ds.batch(batch_size)
        return ds
    batch_size = 5
    train_ds = df_to_dataset(train, batch_size=batch_size)
    val_ds = df_to_dataset(val, shuffle=False, batch_size=batch_size)
    test_ds = df_to_dataset(test, shuffle=False, batch_size=batch_size)
    print(type(train_ds))   # <class 'tensorflow.python.data.ops.dataset_ops.BatchDataset'>
    通过自定义方法，我们可以看到数据变为dataset_ops.BatchDataset方式。

## 5 、从CSV中的列映射到用于训练模型的输入要素。 ##

通过遍历train\_ds.take(1)，我们拿到训练数据集的第一行，所有特征值的标签名，将他定义为feature，该feature 即为需要训练的特征。

for feature_batch, label_batch in train_ds.take(1):
        feature = list(feature_batch.keys())
        print('feature list:', feature)
        print('A batch of targets:', label_batch )
    # 可以打印出来，看看特征值如下：
    # feature list: ['day1', 'hour_of_day', 'day_of_week', 'week_of_year', 'month_of_year', 'quarter_of_year', 'year1', 'night', 'late_night', 'abs_diff_longitude', 'abs_diff_latitude', 'pickup_distance_jfk', 'dropoff_distance_jfk', 'pickup_distance_ewr', 'dropoff_distance_ewr', 'pickup_distance_lgr', 'pickup_distance_downtown', 'dropoff_distance_downtown', 'manhattan']

## 6、 构建Dense类型输入层 ##

深度模型的输入必须是Dense类型，所有输出是categorical类型需要经过indicator或者embedding的转换才可以，如果输出为Dense类型的，就可以使用。

可以通过看下面两个文档了解更多

[https://blog.csdn.net/u014021893/article/details/80423112][https_blog.csdn.net_u014021893_article_details_80423112]

[https://blog.csdn.net/htbeker/article/details/112266784][https_blog.csdn.net_htbeker_article_details_112266784]

遍历特征列表feature,拿到每一个特征值，使用feature\_column.numeric\_column(header)将所有类型转为数值类型，在通过DenseFeatures()转为Dense类型，作为输入层

feature_columns = []
    # 遍历特征列表feature
    for header in feature:
        feature_columns.append(feature_column.numeric_column(header))
    feature_layer = DenseFeatures(feature_columns)
    print(feature_layer(next(iter(train_ds))[0]).numpy())
    #
    print(type(feature_column.numeric_column(header)))  #可以看到转换类型
    #<class 'tensorflow.python.feature_column.feature_column_v2.NumericColumn'>
    print(type(feature_layer))
    #<class 'tensorflow.python.keras.feature_column.dense_features_v2.DenseFeatures'>

## 7、使用keras进行模型训练 ##

model = Sequential([
        feature_layer,
        Dense(128, activation='relu'),
        Dense(128, activation='relu'),
        Dense(1, activation='sigmoid')
    ])
    model.compile(optimizer='adam',
                 loss='binary_crossentropy',
                 metrics=['accuracy'])
    model.fit(train_ds, validation_data=val_ds,epochs=5)

[image.png]: /images/20221005/b311aa061ac347f0869c7d50ee247304.png
[https_blog.csdn.net_u014021893_article_details_80423112]: https://blog.csdn.net/u014021893/article/details/80423112
[https_blog.csdn.net_htbeker_article_details_112266784]: https://blog.csdn.net/htbeker/article/details/112266784