GO语言并发编程入门：Goroutine连接池/并发求数组和
ants连接池概述
参考文档：https://github.com/panjf2000/ants/blob/master/README_ZH.md
虽然Go的Goroutine非常强大，几乎可以随意创建，但是毕竟资源是有限的。当我们大批量重复使用Goroutine的时候，将会占用非常多的系统资源，这个时候Goroutine连接池就非常有用了。
ants是一个非常流行的Goroutine连接池工具，具备以下功能：
- 自动调度海量的 goroutines，复用 goroutines
- 定期清理过期的 goroutines，进一步节省资源
- 提供了大量有用的接口：任务提交、获取运行中的 goroutine 数量、动态调整 Pool 大小、释放 Pool、重启 Pool
- 优雅处理 panic，防止程序崩溃
- 资源复用，极大节省内存使用量；在大规模批量并发任务场景下比原生 goroutine 并发具有更高的性能
- 非阻塞机制
使用默认连接池
如何使用默认连接池提交任务
// 任务子函数
func demoFunc() {
time.Sleep(10 * time.Millisecond)
fmt.Println("Hello World!")
}
// 任务函数
var wg sync.WaitGroup
syncCalculateSum := func() {
demoFunc()
wg.Done()
}
// 提交任务
ants.Submit(syncCalculateSum)
并发执行1000次无参方法
package main
import (
"fmt"
"sync"
"time"
"github.com/panjf2000/ants/v2"
)
// 核心的方法
func demoFunc() {
time.Sleep(10 * time.Millisecond)
fmt.Println("Hello World!")
}
func main() {
defer ants.Release()
runTimes := 1000
// 使用通用的连接池
var wg sync.WaitGroup
syncCalculateSum := func() {
demoFunc()
wg.Done()
}
// 提交指定次数的任务
for i := 0; i < runTimes; i++ {
wg.Add(1)
// 使用默认的连接池
_ = ants.Submit(syncCalculateSum)
}
wg.Wait()
fmt.Printf("运行中的Goroutine数量: %d\n", ants.Running())
fmt.Printf("任务完成.\n")
}
使用自定义连接池
package main
import (
"fmt"
"sync"
"sync/atomic"
"github.com/panjf2000/ants/v2"
)
// 全局变量
var sum int32
// 核心的方法
func myFunc(i interface{}) {
n := i.(int32)
atomic.AddInt32(&sum, n)
fmt.Printf("run with %d\n", n)
}
func main() {
runTimes := 1000
// 使用通用的连接池
var wg sync.WaitGroup
// 创建连接池
p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
myFunc(i)
wg.Done()
})
defer p.Release()
// 提交任务
for i := 0; i < runTimes; i++ {
wg.Add(1)
_ = p.Invoke(int32(i))
}
wg.Wait()
fmt.Printf("运行中的Goroutine数量: %d\n", ants.Running())
fmt.Println("任务完成：", sum)
}
使用连接池并发求数组和
package main
import (
"fmt"
"math"
"math/rand"
"sync"
"sync/atomic"
"github.com/panjf2000/ants/v2"
)
// 全局变量
var sum int64
// 核心的方法
func sumArr(i interface{}) {
arr := i.([]int64)
for _, v := range arr {
atomic.AddInt64(&sum, v)
}
}
// 获取随机数组
func getArr(min, max, length int) (arr []int64) {
for i := 0; i < length; i++ {
num := rand.Float64()*float64(max) + float64(min)
numInt := int64(math.Floor(num))
arr = append(arr, numInt)
}
return
}
func main() {
arr := getArr(0, 100, 100000000)
// 使用通用的连接池
var wg sync.WaitGroup
// 创建连接池
p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
sumArr(i)
wg.Done()
})
defer p.Release()
// 拆分数组
step := len(arr) / 3
arr1 := arr[:step]
arr2 := arr[step : step+step]
arr3 := arr[step+step:]
// 提交任务
wg.Add(1)
_ = p.Invoke(arr1)
wg.Add(1)
_ = p.Invoke(arr2)
wg.Add(1)
_ = p.Invoke(arr3)
wg.Wait()
fmt.Printf("运行中的Goroutine数量: %d\n", ants.Running())
fmt.Println("任务完成：", sum)
}
比较连接池和普通方法求和消耗时间
package main
import (
"fmt"
"math"
"math/rand"
"sync"
"sync/atomic"
"time"
"github.com/panjf2000/ants/v2"
)
// 全局变量
var sum int64
// 核心的方法
func sumArr(i interface{}) {
arr := i.([]int64)
for _, v := range arr {
atomic.AddInt64(&sum, v)
}
}
// 获取随机数组
func getArr(min, max, length int) (arr []int64) {
for i := 0; i < length; i++ {
num := rand.Float64()*float64(max) + float64(min)
numInt := int64(math.Floor(num))
arr = append(arr, numInt)
}
return
}
// 求数组和
func getArrSum(arr []int64) (sum int64) {
for _, num := range arr {
sum += num
}
return
}
func main() {
var (
arr = getArr(0, 100, 100000000)
startTime time.Time
spendTime time.Duration
wg sync.WaitGroup
)
// 创建连接池
p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
sumArr(i)
wg.Done()
})
defer p.Release()
// 拆分数组
startTime = time.Now()
step := len(arr) / 3
arr1 := arr[:step]
arr2 := arr[step : step+step]
arr3 := arr[step+step:]
// 提交任务
wg.Add(1)
_ = p.Invoke(arr1)
wg.Add(1)
_ = p.Invoke(arr2)
wg.Add(1)
_ = p.Invoke(arr3)
wg.Wait()
spendTime = time.Since(startTime)
fmt.Println("使用连接池求和：", sum, spendTime)
// 普通方法求和
startTime = time.Now()
sum = getArrSum(arr)
spendTime = time.Since(startTime)
fmt.Println("使用普通方法求和：", sum, spendTime)
}
输出结果：
使用连接池求和： 4950340694 1.323886243s 使用普通方法求和： 4950340694 46.091214ms
从结果可以发现，连接池消耗的时间反而比普通方法更多。主要是因为，连接池不仅要拆分数组，每次求和的时候，还需要单独将每个元素累加到全局变量sum上，会有额外的计算步骤。
即就是说，连接池有自己适用的使用场景，并非只要上连接池效率就高于一切，在真实的开发中，要根据实际需求考虑是否需要使用Goroutine连接池。
THE END
