Golang 语法简洁，并发和异步编程可以快速上手，从搭建框架到并发和异步编程都很高效的语言。从语言设计方面Golang 简单易懂。而 Golang 的 Goroutine 和 Channel 则是并发和异步处理的优秀封装。回调设计使用起来也很方便。
有的一定基础的研发在几天内就可以学习 掌握Golang ，并开发出一个效率不低的软件。另外在部署方面也有很大的优势，可以编译成无依赖的可执行文件，并且标准库的功能很全，因此用可以快速实现爬虫程序，并且方便的部署在云服务平台，实现数据的长期稳定采集。
当然要让爬虫程序长期采集目标网站不被放爬，还需要配合使用爬虫代理，如下就是简单案例：
package main
import (
"net/url"
"net/http"
"bytes"
"fmt"
"io/ioutil"
)
// 代理服务器(产品官网 亿牛云)
const ProxyServer = "t.16yun.cn:31111"
type ProxyAuth struct {
Username string
Password string
}
func (p ProxyAuth) ProxyClient() http.Client {
var proxyURL *url.URL
if p.Username != ""&& p.Password!="" {
proxyURL, _ = url.Parse("http://" + p.Username + ":" + p.Password + "@" + ProxyServer)
}else{
proxyURL, _ = url.Parse("http://" + ProxyServer)
}
return http.Client{Transport: &http.Transport{Proxy:http.ProxyURL(proxyURL)}}
}
func main() {
// 初始化 proxy http client
client := ProxyAuth{"username", "password"}.ProxyClient()
request, _ := http.NewRequest("GET", targetURI, bytes.NewBuffer([] byte(``)))
// 设置Proxy-Tunnel
// rand.Seed(time.Now().UnixNano())
// tunnel := rand.Intn(10000)
// request.Header.Set("Proxy-Tunnel", strconv.Itoa(tunnel) )
response, err := client.Do(request)
if err != nil {
panic("failed to connect: " + err.Error())
} else {
bodyByte, err := ioutil.ReadAll(response.Body)
if err != nil {
fmt.Println("读取 Body 时出错", err)
return
}
response.Body.Close()
body := string(bodyByte)
fmt.Println("Response Status:", response.Status)
fmt.Println("Response Header:", response.Header)
fmt.Println("Response Body:\n", body)
}
}