python数据帧_如何将python的大数据帧格式化？

一时失言乱红尘 2023-01-01 06:53 122阅读 0赞

过了一段时间，我已经设法正确地理解了维度在哪里。Keras需要一个3d数组.shape(totalRows，sequences，totalColumns)。对我来说sequences这个最让我困惑。在

这是因为当重塑df df.reshape(len(df), 1, len(df.columns))意思是keras会学习1行矩阵时，它给了我糟糕的结果，因为我不知道对我来说，缩放数据最好的方式是，但也可能是(0,1)。在

让我明白的是首先使用多于1行的序列(或天数，因为我的数据集是时间序列)。这意味着不是输入1行特征X得到1个y值，我使用了类似于5行特征X产生1个y值的东西。如：\# after scaling the df, resulted in "scaled\_dataset"

sequences = 5

result = \[\]

\# for loop will walk for each of the 1500 rows

for i in range(0,len(scaled\_dataset)):

\# every group must have the same length, so if current loop position i + number

\# of sequences is higher than df length, breaks

if i+sequences <= len(scaled\_dataset):

\# this will add into the list as \[\[R1a,R1b...R1t\],\[R2a,R2b...R2t\],...\[R5a,R5b...R5t\]\]

result.append(scaled\_dataset\[i:i+sequences\].values)

\# Converting to array + keras takes float32 better than 64

train\_x = np.array(result).astype('float32')

\# making the y into same length as X

train\_y = np.array(y.tail(train\_x.shape\[0\]).values)

train\_x.shape, train\_y.shape'>>> (1495, 5, 2400), (1495,)

用另一种方式写下keras的心态塑造了我的问题：

考虑到它是一个时间序列，上面的意思是5天(第0到4行)的数据会产生第5行的值y。在

然后，减去第一天+最后一天之后的第二天-仍然是5天-(行1到5)得到第6行的值y。在

然后，减去第二天+最后一天之后的第二天-仍然是5天-(行2到6)得到第7行的值y。在

对于keras/LSTM的初学者来说，这是相当令人困惑的，但我希望我可以为可能在这里着陆的人详细介绍一下这一点。在

发表评论取消回复

表情：

评论列表（有 0 条评论，122人围观）

还没有评论，来说两句吧...

相关阅读

相关 python-opencv读取视频帧

好的，这是一个使用 Python 和 OpenCV 读取视频帧的例子： import cv2 打开视频文件 video = cv2.Vid

拼搏现实的明天。/ 2024年03月25日 07:18/ 0 赞/ 100 阅读

相关 python读取网络摄像头的帧,使用OpenCV Python绑定将帧从网络摄像头保存到磁盘

我正在尝试使用opencv将网络摄像头中的帧另存为jpgs或png或其他格式.尽管这里有这样的例子,但事实证明,这比我想象的要困难得多：Capturing a single i

左手的ㄟ右手/ 2023年01月17日 06:23/ 0 赞/ 144 阅读

相关 python数据帧_如何将python的大数据帧格式化？

过了一段时间，我已经设法正确地理解了维度在哪里。Keras需要一个3d数组.shape(totalRows，sequences，totalColumns)。对我来说sequen

一时失言乱红尘/ 2023年01月01日 06:53/ 0 赞/ 123 阅读

相关 libvlc获取一帧_用libvlc 抓取解码后的帧数据

\include "stdafx.h"\include\include"vlc/vlc.h"\include\include\include\includeQMutex g\_

Myth丶恋晨/ 2023年01月01日 05:47/ 0 赞/ 276 阅读

相关 python上位机串口发送数据给51单片机_请问单片机串口如何接收上位机不断发送的数据帧并将该帧的有效数据提取出来？...

2018-8-29 11:16 我编写的主程序中LED无法点亮，硬件电路核查过没问题，void Data\_anlysize()函数也没问题，Data\_ok能收到，不清楚问

梦里梦外;/ 2023年01月01日 04:55/ 0 赞/ 144 阅读

相关 python切割时间数据_python – Pandas – 在块中切割大型数据帧

我有一个大型数据帧(> 3MM行),我正试图通过一个函数(下面的一个很大程度上简化了),并且我不断收到内存错误消息. 我想我将太大的数据帧传递给函数,所以我试图： 1)将数

柔光的暖阳◎/ 2022年10月25日 14:27/ 0 赞/ 2 阅读

相关使用AVFoundation获取帧数据

为了完成实时的捕获，首先初始化一个AVCaputureSession对象用于创建一个捕获会话（session），我们可以使用AVCaptureSession对象将AV输

╰+哭是因爲堅強的太久メ/ 2022年07月13日 13:40/ 0 赞/ 125 阅读

相关 CAN通信的数据帧和远程帧

（先来一波操作，再放概念）远程帧和数据帧非常相似，不同之处在于：（1）RTR位，数据帧为0，远程帧为1；（2）远程帧由6个场组成：帧起始，仲裁场，控制场，CR

爱被打了一巴掌/ 2022年05月21日 08:53/ 0 赞/ 363 阅读

相关 python 数据格式化

python 中也有字符串的格式化操作 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR

爱被打了一巴掌/ 2022年03月06日 21:28/ 0 赞/ 281 阅读

相关视频压缩：I帧、P帧、B帧关键帧

[来源][Link 1] /\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\

淩亂°似流年/ 2021年09月16日 06:28/ 0 赞/ 660 阅读