golang 数据库连接与连接池

Dear 丶 2021-07-28 18:03 524阅读 0赞

### database/sql ###

database/sql是golang的标准库之一，它提供了一系列接口方法，用于访问关系数据库。它并不会提供数据库特有的方法，那些特有的方法交给数据库驱动去实现。

database/sql库提供了一些type。这些类型对掌握它的用法非常重要。

\*\*\*\*DB\*\*\*\* 数据库对象。 sql.DB类型代表了数据库。和其他语言不一样，它并是数据库连接。golang中的连接来自内部实现的连接池，连接的建立是惰性的，当你需要连接的时候，连接池会自动帮你创建。通常你不需要操作连接池。一切都有go来帮你完成。

\*\*\*\*Results\*\*\*\* 结果集。数据库查询的时候，都会有结果集。sql.Rows类型表示查询返回多行数据的结果集。sql.Row则表示单行查询结果的结果集。当然，对于插入更新和删除，返回的结果集类型为sql.Result。

\*\*\*\*Statements\*\*\*\* 语句。sql.Stmt类型表示sql查询语句，例如DDL，DML等类似的sql语句。可以把当成prepare语句构造查询，也可以直接使用sql.DB的函数对其操作。

### warming up ###

下面就开始我们的sql数据库之旅，我们使用mysql数据库为例子，驱动使用`go-sql-driver/mysql`。

对于其他语言，查询数据的时候需要创建一个连接，对于go而言则是需要创建一个数据库抽象对象。连接将会在查询需要的时候，由连接池创建并维护。使用sql.Open函数创建数据库对象。它的第一个参数是数据库驱动名，第二个参数是一个连接字串（符合DSN风格，可以是一个tcp连接，一个unix socket等）。

import (
        "database/sql"
        "log"
        _ "github.com/go-sql-driver/mysql"
    )
    
    func main() {
        db, err := sql.Open("mysql", "root:@tcp(127.0.0.1:3306)/test?parseTime=true")
        if err != nil{
            log.Fatal(err)
        }
        defer db.Close()
    }

创建了数据库对象之后，在函数退出的时候，需要释放连接，即调用sql.Close方法。例子使用了defer语句设置释放连接。

接下来进行一些基本的数据库操作，首先我们使用Exec方法执行一条sql，创建一个数据表：

func main() {
        db, err := sql.Open("mysql", "root:@tcp(127.0.0.1:3306)/test?parseTime=true")
        if err != nil{
            log.Fatal(err)
        }
        defer db.Close()
    
        _, err = db.Exec("CREATE TABLE IF NOT EXISTS test.hello(world varchar(50))")
        if err != nil{
            log.Fatalln(err)
        }
    }

此时可以看见，数据库生成了一个新的表。接下来再插入一些数据。

func main() {
        db, err := sql.Open("mysql", "root:@tcp(127.0.0.1:3306)/test?parseTime=true")
    
        ...
    
        rs, err := db.Exec("INSERT INTO test.hello(world) VALUES ('hello world')")
        if err != nil{
            log.Fatalln(err)
        }
        rowCount, err := rs.RowsAffected()
        if err != nil{
            log.Fatalln(err)
        }
        log.Printf("inserted %d rows", rowCount)
    }

同样使用Exec方法即可插入数据，返回的结果集对象是是一个sql.Result类型，它有一个`LastInsertId`方法，返回插入数据后的id。当然此例的数据表并没有id字段，就返回一个0.

插入了一些数据，接下来再简单的查询一下数据：

func main() {
        db, err := sql.Open("mysql", "root:@tcp(127.0.0.1:3306)/test?parseTime=true")
        
        ... 
        
        rows, err := db.Query("SELECT world FROM test.hello")
        if err != nil{
            log.Fatalln(err)
        }
    
        for rows.Next(){
            var s string
            err = rows.Scan(&s)
            if err !=nil{
                log.Fatalln(err)
            }
            log.Printf("found row containing %q", s)
        }
        rows.Close()
    }

我们使用了Query方法执行select查询语句，返回的是一个sql.Rows类型的结果集。迭代后者的Next方法，然后使用Scan方法给变量s赋值，以便取出结果。最后再把结果集关闭（释放连接）。

通过上面一个简单的例子，介绍了database/sql的基本数据查询操作。而对于开篇所说的几个结构类型尚未进行详细的介绍。下面我们再针对database/sql库的类型和数据库交互做更深的探究。

### sql.DB ###

正如上文所言，sql.DB是数据库的抽象，虽然通常它容易被误以为是数据库连接。它提供了一些跟数据库交互的函数，同时管理维护一个数据库连接池，帮你处理了单调而重复的管理工作，并且在多个goroutines也是十分安全。

sql.DB表示是数据库抽象，因此你有几个数据库就需要为每一个数据库创建一个sql.DB对象。因为它维护了一个连接池，因此不需要频繁的创建和销毁。它需要长时间保持，因此最好是设置成一个全局变量以便其他代码可以访问。

创建数据库对象需要引入标准库database/sql，同时还需要引入驱动go-sql-driver/mysql。使用`_`表示引入驱动的变量，这样做的目的是为了在你的代码中不至于和标注库的函数变量namespace冲突。

### 连接池 ###

只用sql.Open函数创建连接池，可是此时只是初始化了连接池，并没有创建任何连接。连接创建都是惰性的，只有当你真正使用到连接的时候，连接池才会创建连接。连接池很重要，它直接影响着你的程序行为。

连接池的工作原来却相当简单。当你的函数(例如Exec，Query)调用需要访问底层数据库的时候，函数首先会向连接池请求一个连接。如果连接池有空闲的连接，则返回给函数。否则连接池将会创建一个新的连接给函数。一旦连接给了函数，连接则归属于函数。函数执行完毕后，要不把连接所属权归还给连接池，要么传递给下一个需要连接的（Rows）对象，最后使用完连接的对象也会把连接释放回到连接池。

请求一个连接的函数有好几种，执行完毕处理连接的方式稍有差别，大致如下：

*  db.Ping() 调用完毕后会马上把连接返回给连接池。
 *  db.Exec() 调用完毕后会马上把连接返回给连接池，但是它返回的Result对象还保留这连接的引用，当后面的代码需要处理结果集的时候连接将会被重用。
 *  db.Query() 调用完毕后会将连接传递给sql.Rows类型，当然后者迭代完毕或者显示的调用.Clonse()方法后，连接将会被释放回到连接池。
 *  db.QueryRow()调用完毕后会将连接传递给sql.Row类型，当.Scan()方法调用之后把连接释放回到连接池。
 *  db.Begin() 调用完毕后将连接传递给sql.Tx类型对象，当.Commit()或.Rollback()方法调用后释放连接。

因为每一个连接都是惰性创建的，如何验证sql.Open调用之后，sql.DB对象可用呢？通常使用db.Ping()方法初始化：

db, err := sql.Open("driverName", "dataSourceName")
    if err != nil{
        log.Fatalln(err)
    }
    
    defer db.Close()
    
    err = db.Ping()
    if err != nil{
       log.Fatalln(err)
    }

调用了Ping之后，连接池一定会初始化一个数据库连接。当然，实际上对于失败的处理，应该定义一个符合自己需要的方式，现在为了演示，简单的使用`log.Fatalln(err)`表示了。

### 连接失败 ###

关于连接池另外一个知识点就是你不必检查或者尝试处理连接失败的情况。当你进行数据库操作的时候，如果连接失败了，database/sql会帮你处理。实际上，当从连接池取出的连接断开的时候，database/sql会自动尝试重连10次。仍然无法重连的情况下会自动从连接池再获取一个或者新建另外一个。好比去买鸡蛋，售货员会从箱子里掏出鸡蛋，如果发现是坏蛋则连续掏10次，仍然找不到合适的就会换一个箱子招，或者从别的库房再拿一个给你。

### 连接池配置 ###

无论哪一个版本的go都不会提供很多控制连接池的接口。知道1.2版本以后才有一些简单的配置。可是1.2版本的连接池有一个bug，请升级更高的版本。

配置连接池有两个的方法：

*  db.SetMaxOpenConns(n int) 设置打开数据库的最大连接数。包含正在使用的连接和连接池的连接。如果你的函数调用需要申请一个连接，并且连接池已经没有了连接或者连接数达到了最大连接数。此时的函数调用将会被block，直到有可用的连接才会返回。设置这个值可以避免并发太高导致连接mysql出现too many connections的错误。该函数的默认设置是0，表示无限制。
 *  db.SetMaxIdleConns(n int) 设置连接池中的保持连接的最大连接数。默认也是0，表示连接池不会保持释放会连接池中的连接的连接状态：即当连接释放回到连接池的时候，连接将会被关闭。这会导致连接再连接池中频繁的关闭和创建。

对于连接池的使用依赖于你是如何配置连接池，如果使用不当会导致下面问题：

1.  大量的连接空闲，导致额外的工作和延迟。
2.  连接数据库的连接过多导致错误。
3.  连接阻塞。
4.  连接池有超过十个或者更多的死连接，限制就是10次重连。

大多数时候，如何使用sql.DB对连接的影响大过连接池配置的影响。这些具体问题我们会再使用sql.DB的时候逐一介绍。