h5py数据集的使用

喜欢ヅ旅行 2022-08-28 02:51 159阅读 0赞

[python库–用h5py处理数据集][python_h5py]

## 创建和读取数据集 ##

[h5数据制作与读取][h5]  
其实就是创建一个字典，比如示例中的 “data”：data

with h5py.File(savepath, 'w') as hf:
         hf.create_dataset(name , value)
    with h5py.File(savepath, 'r') as hf:
         hf.get(name)
    
    #示例
    with h5py.File(savepath, 'w') as hf:
        hf.create_dataset('data', data=data)
        hf.create_dataset('label', data=label)
    with h5py.File(path, 'r') as hf:
        data = np.array(hf.get('data'))
        label = np.array(hf.get('label'))
        return data, label

## 查看数据集的结构 ##

#### 查看 ####

def h5_struct():
        fname='D:/TrainData_DDcGAN/Training_Dataset.h5'
        import h5py
    
        def prt(name):
            print(name)
    
        f = h5py.File(fname,'r')
        f.visit(prt)		# data
        f.close()
    h5_struct()

#### 打印数据形状 ####

def show_h5_struct():
        fname='D:/TrainData_DDcGAN/Training_Dataset.h5'
        import h5py
        
        f = h5py.File(fname,'r')
        data = np.array(f.get("data"))
        print(data.shape)   	# (22912, 2, 84, 84)
    
        f.close()
    
    show_h5_struct()

## h5py向已有数据集追加数据 ##

参考这里：[python h5py 创建无限数据集、在无限数据集上添加新的数据][python h5py]  
测试创建一个数据集后，多次往该数据集中添加数据

def h5_file():
    	import h5py
    	import numpy as np
    
    	# 要写入的数据
    	a = np.arange(1*64*64*2).reshape(1, 64, 64, 2)
    	b = np.arange(10*64*64*2).reshape(10, 64, 64, 2)
    	print(a.shape,b.shape)		# (1, 64, 64, 2) (10, 64, 64, 2)
    
    
    	# 创建文件并写入数据
    	file_name = 'test.h5'
    	f = h5py.File(file_name, 'a')
    	dataset = f.create_dataset("data",[1, 64, 64, 2],maxshape=[None, 64, 64, 2],chunks=True,compression='gzip',compression_opts=7)
    	dataset[0:1] = a		# 这是往已有的形状[1, 64, 64, 2]中添加数据
    	
    	dataset.resize((11,64,64,2))	# 创建新的空间
    	dataset[1:11] = b				# 添加第一份数据
    
    	dataset.resize((21, 64, 64, 2))	# 后面亦然，每次添加数据都要重新创建新的空间
    	dataset[11:21] = b				# 添加第二份数据
    	f.close()		# 关闭即保存
    
    
    	# 读取并输出
    	f = h5py.File('test.h5', 'r')
    	print('--iterms: ', len(f.keys()))		# --iterms:  1
    	data = f['data']
    	# print(data[:], '\n')			
    	print(data.shape)						# (21, 64, 64, 2)
    	f.close()
    
    h5_file()

#### 关闭文件一次，能否继续添加 ####

接着上面的，试一下，重新打开能否继续添加数据

# 测试h5py追加数据
    def h5_file_next():
    	'这个会添加多个数据集，并不是在一个数据集后面添加数据'
    	import h5py
    	import numpy as np
    
    	# 要写入的数据
    	b = np.arange(10*64*64*2).reshape(10, 64, 64, 2)
    
    	# 创建文件并写入数据
    	file_name = 'test.h5'
    	f = h5py.File(file_name, 'a')
    	dataset = f.get("data")
    	print(dataset.shape)		# (21, 64, 64, 2)
    
    	dataset.resize((31, 64, 64, 2))
    	dataset[21:31] = b
    	f.close()
    
    	# 读取并输出
    	f = h5py.File('test.h5', 'r')
    	data = f['data']
    	print(data.shape)			# (21, 64, 64, 2)
    	f.close()
    
    h5_file_next()

## 看一下数据内容 ##

验证一下，是不是真的新分配了内存，写入了新的数据，而不是将一个位置写了N遍。

def show_h5_data():
    	import h5py
    
    	# 创建文件并写入数据
    	file_name = 'test.h5'
    	f = h5py.File(file_name, 'a')
    	dataset = f.create_dataset("data", [1, 1], maxshape=[None,1], chunks=True, compression='gzip',
    							   compression_opts=7)
    	dataset[0:1] = 1
    	dataset.resize((11, 1))
    	dataset[1:11] = [[i] for i in range(10)]
    
    	dataset.resize((21, 1))
    	dataset[11:21] = [[i] for i in range(10,20)]
    	f.close()
    
    	# 读取并输出
    	f = h5py.File('test.h5', 'r')
    	print('--iterms: ', len(f.keys()))
    	data = f['data']
    	print(data[:], '\n')
    	print(data.shape)
    	f.close()
    
    show_h5_data()

数据结果:

--iterms:  1
    [[ 1.]
     [ 0.]
     [ 1.]
     [ 2.]
     [ 3.]
     [ 4.]
     [ 5.]
     [ 6.]
     [ 7.]
     [ 8.]
     [ 9.]
     [10.]
     [11.]
     [12.]
     [13.]
     [14.]
     [15.]
     [16.]
     [17.]
     [18.]
     [19.]] 
     
     (21, 1)

可见，确实是分配了新的内存。

[python_h5py]: https://zhuanlan.zhihu.com/p/59260942
[h5]: https://blog.csdn.net/weixin_41855385/article/details/84395949
[python h5py]: https://blog.csdn.net/Hero_Never_GIVE_UP/article/details/96828719