GoLang—使用net/http构建Web服务（文件数据存储）（上）

╰+攻爆jí腚メ 2023-08-17 16:51 93阅读 0赞

数据存储可以分为三大类：文件存储、关系型的数据库（SQL）和非关系型的数据库（NoSQL）。本文主要讲述文件存储的实现方式。

文件存储根据不同的文件实现不同的存储方式：普通文件（如txt读写）、CSV文件、数据的序列化和持久化。

## 普通文件（如txt读写） ##

普通文件的读写可以使用os或io/ioutil包实现，两者的实现方式如下所示。

package main
    
    import (
    	"fmt"
    	"io/ioutil"
    	"os"
    )
    
    func main() { 
    	// 使用ioutil的WriteFile对文件执行写入操作
    	data := []byte("Hello World!\n")
    	err := ioutil.WriteFile("data1.txt", data, 0644)
    	if err != nil { 
    		 panic(err)
    		}
    	// 使用ioutil的ReadFile对文件执行读取操作
    	read1, _ := ioutil.ReadFile("data1.txt")
    	fmt.Print(string(read1))
    
    	// 使用os的Create创建文件对象
    	file1, _ := os.Create("data2.txt")
    	// 使用defer，当程序执行结束将自动关闭文件对象file1
    	defer file1.Close()
    	// 使用文件对象file1对文件写入数据
    	bytes, _ := file1.Write(data)
    	fmt.Printf("Wrote %d bytes to file\n", bytes)
    
    	// 使用os的Open打开文件data2.txt，生成文件对象file2
    	file2, _ := os.Open("data2.txt")
    	defer file2.Close()
    	// 根据数据data的长度定义相应的数组
    	read2 := make([]byte, len(data))
    	// 由文件对象file2调用Read读取文件的数据内容，并将数据加载到数组read2
    	bytes, _ = file2.Read(read2)
    	fmt.Printf("Read %d bytes from file\n", bytes)
    	fmt.Println(string(read2))
    }

## CSV文件 ##

CSV 格式是一种文件格式，它可以让文本编辑器非常方便地读写由文本和数字组成的表格数据。CSV 的应用非常广泛，包括微软的 Excel 和苹果的 Numbers 在内的绝大多数电子表格程序都支持 CSV 格式，因此包括 Go 在内的很多编程语言都提供了能够生成和处理 CSV 文件数据的函数库。对 Go 语言来说，CSV 文件可以通过encoding/csv包进行操作，实现代码如下。

package main
    
    import (
    	"encoding/csv"
    	"fmt"
    	"os"
    	"strconv"
    )
    
    type Post struct { 
    	Id int
    	Content string
    	Author string
    }
    func main() { 
    	// 创建文件posts.csv
    	csvFile, err := os.Create("posts.csv")
    	if err != nil { 
    		panic(err)
    		}
    	defer csvFile.Close()
    	// 创建数据
    	allPosts := []Post{ 
    				Post{ Id: 1, Content: "Hello World!", Author: "Sau Sheong"},
    				Post{ Id: 2, Content: "Bonjour Monde!", Author: "Pierre"},
    				Post{ Id: 3, Content: "Hola Mundo!", Author: "Pedro"},
    				Post{ Id: 4, Content: "Greetings Earthlings!", Author: "Sau Sheong"},}
    	// 使用csv的NewWriter方法对文件csvFile进行写入操作
    	writer := csv.NewWriter(csvFile)
    	// 遍历allPosts的每行数据，将每行数据依次写入CSV文件
    	for _, post := range allPosts { 
    		// 将strconv.Itoa(post.Id)转换成字符串格式
    		// 变量line以数组的形式表示
    		line := []string{ strconv.Itoa(post.Id), post.Content, post.Author}
    		// 将数组line写入CSV文件
    		err := writer.Write(line)
    		if err != nil { 
    			panic(err)
    			}
    		}
    	// 调用Flush方法来保证缓冲区中的所有数据都已经被正确地写入文件里面
    	writer.Flush()
    
    	// ………………………………………………………………………………………分界线………………………………………………………………………………………
    	
    	// 打开CSV文件
    	file, err := os.Open("posts.csv")
    	if err != nil { 
    		panic(err)
    		}
    	defer file.Close()
    	// 使用csv的NewWriter方法对文件csvFile进行读取操作
    	reader := csv.NewReader(file)
    	// 设置每行数据里面的字段数量
    	// 如果FieldsPerRecord的值为正数，并且CSV文件里面读取出的字段数量少于这个值时，Go就会抛出一个错误。
    	// 如果FieldsPerRecord的值为0，那么读取器就会将读取到的第一条记录的字段数量用作FieldsPerRecord的值。
    	// 如果FieldsPerRecord的值为负数，即使在读取过程中发现数据里面缺少了某些字段，读取进程也不会被中断。
    	reader.FieldsPerRecord = -1
    	// 一次读取所有数据
    	// 多次读取可使用Read()
    	record, err := reader.ReadAll()
    	if err != nil { 
    		panic(err)
    		}
    	// 将已读取的数据依次输出
    	var posts []Post
    	for _, item := range record { 
    		// 将字段Id转化为整型
    		id, _ := strconv.ParseInt(item[0], 0, 0)
    		post := Post{ Id: int(id), Content: item[1], Author: item[2]}
    		posts = append(posts, post)
    		}
    	fmt.Println(posts[0].Id)
    	fmt.Println(posts[0].Content)
    	fmt.Println(posts[0].Author)
    }

## 数据的序列化和持久化 ##

go的encoding/gob包用于管理由 gob 组成的流（stream），这是一种在编码器（encoder）和解码器（decoder）之间进行交换的二进制数据，这种数据原本是为序列化以及数据传输而设计的，但它也可以用于对数据进行持久化，并且为了让用户能够方便地对文件进行读写，编码器和解码器一般都会分别包裹起程序的写入器以及读取器。**简单来说，go的encoding/gob包类似python的pickle模块，两者实现的功能是相同的。**  
但两者对比发现，encoding/gob包的使用方法却没有python的便捷，具体的使用过程如下所示。

package main
    
    import (
    	"bytes"
    	"encoding/gob"
    	"fmt"
    	"io/ioutil"
    )
    
    type Post struct { 
    	Id int
    	Content string
    	Author string
    }
    
    func store(data interface{ }, filename string) { 
    	// 定义字节缓冲区对象buffer
    	// 这是拥有Read方法和Write方法的可变长度（variable-sized）字节缓冲区
    	// 换句话说，bytes.Buffer既是读取器也是写入器。
    	buffer := new(bytes.Buffer)
    	// 对缓冲区对象buffer设置编码，生成编码器encoder
    	encoder := gob.NewEncoder(buffer)
    	// 将数据data写入编码器encoder（字节缓冲区对象buffer）
    	err := encoder.Encode(data)
    	if err != nil { 
    		panic(err)
    	}
    	// 将缓冲区对象buffer的数据内容以字节的方式写入文件，生成二进制数据文件
    	err = ioutil.WriteFile(filename, buffer.Bytes(), 0600)
    	if err != nil { 
    		panic(err)
    	}
    }
    
    func load(data interface{ }, filename string) { 
    	// 读取文件filename的数据内容
    	raw, err := ioutil.ReadFile(filename)
    	if err != nil { 
    		panic(err)
    	}
    	// 定义字节缓冲区对象buffer，并将文件内容raw加载到字节缓冲区对象buffer
    	buffer := bytes.NewBuffer(raw)
    	// 在字节缓冲区对象buffer设置解码器dec
    	dec := gob.NewDecoder(buffer)
    	// 将解码后的数据写入参数data
    	err = dec.Decode(data)
    	if err != nil { 
    		panic(err)
    	}
    }
    
    func main() { 
    	post := Post{ Id: 1, Content: "Hello World!", Author: "Sau Sheong"}
    	store(post, "post1")
    	var postRead Post
    	load(&postRead, "post1")
    	fmt.Println(postRead.Id)
    }