处理CSV 的数据转换为pytorch 的tensor格式的方式

逃离我推掉我的手 2022-09-05 14:50 106阅读 0赞

处理CSV 的数据的方式

from random import random, shuffle
    from sympy.abc import P
    import torch
    import xlwt
    # 读取数据
    import pandas as pd
    import numpy as np
    import csv
    
    from sklearn.model_selection import train_test_split
    
    
    
    # 读取csv 格式文件
    dt = pd.read_csv("Adultall.csv")
    dt.head()
    #print(dt.head()) #打印标记文件头
    data_set = dt.values
    #print(data_set)
    X = data_set[:,:-1].astype(float)  # X输入的数据点（向量值），前n- 列都是输入X： 最后一列是输出： Y
    print(X)
    Y = data_set[:,-1:].astype(int) # Y 是输出输出结果，取出最后一列的值 [-1:]
    print(Y)
    
    X_train ,X_test,Y_train,Y_test =train_test_split(X,Y,test_size= 0.2,shuffle=True)  # 设置测试集百分比
    X_train, Y_train = torch.FloatTensor(X_train),torch.LongTensor(Y_train)     #训练集的输入： tensor浮点数 训练集的输出： tensor 整数
    X_test,  Y_test= torch.FloatTensor(X_test),torch.LongTensor(Y_test)         #测试集的输入： tensor浮点数 测试集的输出： tensor 整数
    
    print('len X_train = ',len(X_train))
    #转换韦pytorch 的张量
    print('X_train = ',X_train)
    print('X_test = ',X_test)
    print('Y_train = ',Y_train)
    print('Y_test = ',Y_test)
    
    train_dataset =  torch.utils.data.TensorDataset(X_train,Y_train)
    print(train_dataset)
    test_dataset = torch.utils.data.TensorDataset(X_test,Y_test)
    print(test_dataset)
    
    train_loader = torch.utils.data.DataLoader(dataset =train_dataset ,batch_size = 400,shuffle =True)  # 设置每次训练的数据的数目：batch_size =400
    test_loader = torch.utils.data.DataLoader(dataset =test_dataset ,batch_size = 400,shuffle =True)
    print(train_loader)