Go并发

比眉伴天荒 2022-03-18 01:58 236阅读 0赞

### Go并发 ###

*  Go 程
 *  信道
 *  带缓冲的信道
 *  range 和 close
 *  select 语句
 *  默认选择
 *  练习：等价二叉查找树
 *  sync.Mutex
 *  练习：Web 爬虫

作为语言的核心部分，Go 提供了并发的特性。

这一部分概览了 goroutine 和 channel，以及如何使用它们来实现不同的并发模式。

# Go 程 #

Go 程（goroutine）是由 Go 运行时管理的轻量级线程。

go f(x, y, z)

会启动一个新的 Go 程并执行

f(x, y, z)

f, x, y 和 z 的求值发生在当前的 Go 程中，而 f 的执行发生在新的 Go 程中。

Go 程在相同的地址空间中运行，因此在访问共享的内存时必须进行同步。sync 包提供了这种能力，不过在 Go 中并不经常用到，因为还有其它的办法（见下一页）。

package main
    
    import (
    	"fmt"
    	"time"
    )
    
    func say(s string) {
        
    	for i := 0; i < 5; i++ {
        
    		time.Sleep(100 * time.Millisecond)
    		fmt.Println(s)
    	}
    }
    
    func main() {
        
    	go say("world")
    	say("hello")
    }
    
    // world
    // hello
    // hello
    // world
    // world
    // hello
    // hello
    // world
    // world
    // hello

# 信道 #

信道是带有类型的管道，你可以通过它用信道操作符 <- 来发送或者接收值。

ch <- v    // 将 v 发送至信道 ch。
    v := <-ch  // 从 ch 接收值并赋予 v。

（“箭头”就是数据流的方向。）

和映射与切片一样，信道在使用前必须创建：

ch := make(chan int)

默认情况下，发送和接收操作在另一端准备好之前都会阻塞。这使得 Go 程可以在没有显式的锁或竞态变量的情况下进行同步。

以下示例对切片中的数进行求和，将任务分配给两个 Go 程。一旦两个 Go 程完成了它们的计算，它就能算出最终的结果。

package main
    
    import "fmt"
    
    func sum(s []int, c chan int) {
        
    	sum := 0
    	for _, v := range s {
        
    		sum += v
    	}
    	c <- sum // 将和送入 c
    }
    
    func main() {
        
    	s := []int{
        7, 2, 8, -9, 4, 0}
    
    	c := make(chan int)
    	go sum(s[:len(s)/2], c)
    	go sum(s[len(s)/2:], c)
    	x, y := <-c, <-c // 从 c 中接收
    
    	fmt.Println(x, y, x+y) // -5 17 12
    }

为什么上面程序输出不是 17 -5 12？  
个人理解：在接收端准备好前，发送端阻塞了，即两个go程的发送操作都被阻塞了；当看到接收端准备好后，两个go程的发送操作弹栈，然后执行。  
将程序修改如下：

package main
    
    import "fmt"
    
    func sum(s []int, c chan int) {
        
    	sum := 0
    	for _, v := range s {
        
    		sum += v
    	}
    	c <- sum // 将和送入 c
    }
    
    func main() {
        
    	s := []int{
        7, 2, 8, -9, 4, 0}
    
    	c := make(chan int)
    	go sum(s[:len(s)/2], c)
    	x := <-c // 从 c 中接收
    	go sum(s[len(s)/2:], c)
    	y := <-c // 从 c 中接收
    
    	fmt.Println(x, y, x+y) // 17 -5 12
    }

上述程序中，第一个go程执行后看到接收端准备好了，所以将结果发送出去。第二个go程同理。所以输出的是17 -5 12。

# 带缓冲的信道 #

信道可以是 带缓冲的。将缓冲长度作为第二个参数提供给 make 来初始化一个带缓冲的信道：

ch := make(chan int, 100)

仅当信道的缓冲区填满后，向其发送数据时才会阻塞。当缓冲区为空时，接受方会阻塞。

修改示例填满缓冲区，然后看看会发生什么。

package main
    
    import "fmt"
    
    func main() {
        
    	ch := make(chan int, 2)
    	// 此处修改缓冲区大小不小于2程序都可以正常执行
    	// ch := make(chan int, 100)
    	ch <- 1
    	ch <- 2
    
    	fmt.Println(<-ch)
    	fmt.Println(<-ch)
    	// 1
    	// 2
    
    }

修改示例填满缓冲区后，程序死锁。因为发送了一个数据后缓冲区就满了，继续向其发送数据被阻塞了。

package main
    
    import "fmt"
    
    func main() {
        
    	ch := make(chan int, 1)
    	ch <- 1
    	ch <- 2
    
    	fmt.Println(<-ch)
    	fmt.Println(<-ch)
    	
    	// fatal error: all goroutines are asleep - deadlock!
    
    	// goroutine 1 [chan send]:
    	// main.main()
    	// 	/tmp/sandbox748743378/main.go:8 +0x80
    
    }

修改示例增加一个输出操作，程序死锁。因为接收了两个数据后，缓冲区为空，接收端被阻塞。

package main
    
    import "fmt"
    
    func main() {
        
    	ch := make(chan int, 2)
    	ch <- 1
    	ch <- 2
    
    	fmt.Println(<-ch)
    	fmt.Println(<-ch)
    	fmt.Println(<-ch)
    	// 1
    	// 2
    	// fatal error: all goroutines are asleep - deadlock!
    
    	// goroutine 1 [chan receive]:
    	// main.main()
    	//		/tmp/sandbox362010506/main.go:12 +0x1a0
    }

# range 和 close #

发送者可通过 close 关闭一个信道来表示没有需要发送的值了。接收者可以通过为接收表达式分配第二个参数来测试信道是否被关闭：若没有值可以接收且信道已被关闭，那么在执行完

v, ok := <-ch

之后 ok 会被设置为 false。

循环 for i := range c 会不断从信道接收值，直到它被关闭。

*注意：* 只有发送者才能关闭信道，而接收者不能。向一个已经关闭的信道发送数据会引发程序恐慌（panic）。

*还要注意：* 信道与文件不同，通常情况下无需关闭它们。只有在必须告诉接收者不再有需要发送的值时才有必要关闭，例如终止一个 range 循环。

package main
    
    import (
    	"fmt"
    )
    
    func fibonacci(n int, c chan int) {
        
    	x, y := 0, 1
    	for i := 0; i < n; i++ {
        
    		c <- x
    		x, y = y, x+y
    	}
    	close(c)
    }
    
    func main() {
        
    	c := make(chan int, 10)
    	go fibonacci(cap(c), c)
    	for i := range c {
        
    		fmt.Println(i)
    	}
    	// 0
    	// 1
    	// 1
    	// 2
    	// 3
    	// 5
    	// 8
    	// 13
    	// 21
    	// 34
    }

# select 语句 #

select 语句使一个 Go 程可以等待多个通信操作。

select 会阻塞到某个分支可以继续执行为止，这时就会执行该分支。当多个分支都准备好时会随机选择一个执行。

package main
    
    import "fmt"
    
    func fibonacci(c, quit chan int) {
        
    	x, y := 0, 1
    	for {
        
    		select {
        
    		case c <- x:
    			x, y = y, x+y
    		case <-quit:
    			fmt.Println("quit")
    			return
    		}
    	}
    }
    
    func main() {
        
    	c := make(chan int)
    	quit := make(chan int)
    	go func() {
        
    		for i := 0; i < 10; i++ {
        
    			fmt.Println(<-c)
    		}
    		quit <- 0
    	}()
    	fibonacci(c, quit)
    	// 0
    	// 1
    	// 1
    	// 2
    	// 3
    	// 5
    	// 8
    	// 13
    	// 21
    	// 34
    	// quit
    }

在上述程序中，在for中信道c需要接收10次数据，但c的发送端还没准备好，信道quit需要发送数据，但quit的接收端还没准备好。进入函数fibonacci(c, quit)，x发送给c，循环10次，完成后quit接收数据。

# 默认选择 #

当 select 中的其它分支都没有准备好时，default 分支就会执行。

为了在尝试发送或者接收时不发生阻塞，可使用 default 分支：

select {
    case i := <-c:
        // 使用 i
    default:
        // 从 c 中接收会阻塞时执行
    }

package main
    
    import (
    	"fmt"
    	"time"
    )
    
    func main() {
        
    	tick := time.Tick(100 * time.Millisecond)
    	boom := time.After(500 * time.Millisecond)
    	for {
        
    		select {
        
    		case <-tick:
    			fmt.Println("tick.")
    		case <-boom:
    			fmt.Println("BOOM!")
    			return
    		default:
    			fmt.Println("    .")
    			time.Sleep(50 * time.Millisecond)
    		}
    	}
    	//     .
        //	   .
    	// tick.
    	//     .
        //	   .
    	// tick.
    	//     .
        //	   .
    	// tick.
    	//     .
        //	   .
    	// tick.
    	//     .
        //	   .
    	// BOOM!
    
    }

上述程序中，time.Tick(time.Second)返回的是channel，tick每隔100ms发送和接收一次数据，boom每隔500ms发送和接收一次数据，default中休眠休眠50ms。

# 练习：等价二叉查找树 #

不同二叉树的叶节点上可以保存相同的值序列。例如，以下两个二叉树都保存了序列 `1，1，2，3，5，8，13`。

![在这里插入图片描述][20190218202424418.png]  
在大多数语言中，检查两个二叉树是否保存了相同序列的函数都相当复杂。 我们将使用 Go 的并发和信道来编写一个简单的解法。

本例使用了 tree 包，它定义了类型：

type Tree struct {
        Left  *Tree
        Value int
        Right *Tree
    }

1.实现 Walk 函数。

2.测试 Walk 函数。

函数 tree.New(k) 用于构造一个随机结构的已排序二叉查找树，它保存了值 k, 2k, 3k, …, 10k。

创建一个新的信道 ch 并且对其进行步进：

go Walk(tree.New(1), ch)

然后从信道中读取并打印 10 个值。应当是数字 1, 2, 3, …, 10。

3.用 Walk 实现 Same 函数来检测 t1 和 t2 是否存储了相同的值。

4.测试 Same 函数。

Same(tree.New(1), tree.New(1)) 应当返回 true，而 Same(tree.New(1), tree.New(2)) 应当返回 false。

Tree 的文档可在这里找到。

package main
    
    import (
    	"fmt"
    	"golang.org/x/tour/tree"
    
    )
    
    // Walk 步进 tree t 将所有的值从 tree 发送到 channel ch。
    func Walk(t *tree.Tree, ch chan int) {
        
    	if t != nil {
        
    		Walk(t.Left, ch)
    		ch <- t.Value
    		Walk(t.Right, ch)
    	}
    }
    
    // Same 检测树 t1 和 t2 是否含有相同的值。
    func Same(t1, t2 *tree.Tree) bool {
        
    	ch1 := make(chan int, 10)
    	ch2 := make(chan int, 10)
    	go Walk(t1, ch1)
    	go Walk(t2, ch2)
    	for i := 0; i < 10; i++ {
        
    		if <- ch1 != <- ch2 {
        
    			return false	
    		}
    	}
    	return true	
    }
    
    
    func main() {
        
    
    	fmt.Println(Same(tree.New(1), tree.New(1))) // true
    	fmt.Println(Same(tree.New(1), tree.New(2))) // false
    }

# sync.Mutex #

我们已经看到信道非常适合在各个 Go 程间进行通信。

但是如果我们并不需要通信呢？比如说，若我们只是想保证每次只有一个 Go 程能够访问一个共享的变量，从而避免冲突？

这里涉及的概念叫做 *互斥（mutual*exclusion）\* ，我们通常使用 *互斥锁（Mutex）* 这一数据结构来提供这种机制。

Go 标准库中提供了 sync.Mutex 互斥锁类型及其两个方法：

Lock
    Unlock

我们可以通过在代码前调用 Lock 方法，在代码后调用 Unlock 方法来保证一段代码的互斥执行。参见 Inc 方法。

我们也可以用 defer 语句来保证互斥锁一定会被解锁。参见 Value 方法。

package main
    
    import (
    	"fmt"
    	"sync"
    	"time"
    )
    
    // SafeCounter 的并发使用是安全的。
    type SafeCounter struct {
        
    	v   map[string]int
    	mux sync.Mutex
    }
    
    // Inc 增加给定 key 的计数器的值。
    func (c *SafeCounter) Inc(key string) {
        
    	c.mux.Lock()
    	// Lock 之后同一时刻只有一个 goroutine 能访问 c.v
    	c.v[key]++
    	c.mux.Unlock()
    }
    
    // Value 返回给定 key 的计数器的当前值。
    func (c *SafeCounter) Value(key string) int {
        
    	c.mux.Lock()
    	// Lock 之后同一时刻只有一个 goroutine 能访问 c.v
    	defer c.mux.Unlock()
    	return c.v[key]
    }
    
    func main() {
        
    	c := SafeCounter{
        v: make(map[string]int)}
    	for i := 0; i < 1000; i++ {
        
    		go c.Inc("somekey")
    	}
    
    	time.Sleep(time.Second)
    	fmt.Println(c.Value("somekey")) // 1000
    }

# 练习：Web 爬虫 #

在这个练习中，我们将会使用 Go 的并发特性来并行化一个 Web 爬虫。

修改 Crawl 函数来并行地抓取 URL，并且保证不重复。

提示：你可以用一个 map 来缓存已经获取的 URL，但是要注意 map 本身并不是并发安全的！

[20190218202424418.png]: /images/20220318/d6cecdd3f04b444a83a4f79540bcf785.png