GoLang的标准库net/http可以实现client和server的功能开发。简单来说，client就是我们向服务器发送HTTP请求，常用于访问API接口获取相应数据、开发网络爬虫等功能；server是开发服务器web应用，也就说我们常说的网站开发。

GET请求

本博文讲述如何使用GoLang的标准库net/http开发网络爬虫，我们首先以HTTP的GET请求为例，该请求实现自定义请求头、设置Cookies信息和设置代理IP，这三个功能满足大多数网络爬虫的开发需求，详细代码如下。

package main

import (
	"fmt"
	"github.com/axgle/mahonia"
	"io/ioutil"
	"net/http"
	"net/url"
	"time"
)

//使用第三方mahonia实现网页内容的转码
func ConvertToString(src string, srcCode string, tagCode string) string {
	srcCoder := mahonia.NewDecoder(srcCode)
	srcResult := srcCoder.ConvertString(src)
	tagCoder := mahonia.NewDecoder(tagCode)
	_, cdata, _ := tagCoder.Translate([]byte(srcResult), true)
	result := string(cdata)
	return result
}


func main() {
	urls := "https://search.51job.com/list/030200,000000,0000,00,9,99,python,2,1.html"
	//定义请求对象NewRequest，参数method可以为GET和POST
	// 参数url为发送请求的网址，body为请求参数，若为GET请求，设为nil即可
	req, err := http.NewRequest("GET",urls, nil)
	if err != nil {
		// handle error
	}

	//为请求对象NewRequest设置请求头
	req.Header.Add("Content-Type", "application/x-www-form-urlencoded")
	req.Header.Add("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36")

	//设置Cookies信息
	cookie := http.Cookie{Name: "clientcookieid", Value: "121", Expires: time.Now().Add(111 * time.Second)}
	req.AddCookie(&cookie)

	//设置代理IP，代理IP必须以为fun形式表示
	// 因为Transport的Proxy是以函数方法形式命名
	proxy := func(_ *http.Request) (*url.URL, error) {
		return url.Parse("http://111.231.93.66:8888")
	}
	transport := &http.Transport{Proxy: proxy}
	//在Client对象设置参数Transport即可实现代理IP
	client := &http.Client{Transport: transport}

	//执行HTTP请求
	resp, err := client.Do(req)
	//获取HTTP请求的响应内容
	if err != nil {
		fmt.Println(err.Error())
	}

	//读取响应内容
	body, err := ioutil.ReadAll(resp.Body)
	//将响应内容转换utf-8编码
	result := ConvertToString(string(body), "gbk", "utf-8")
	if err != nil {
		fmt.Println(err.Error())
	}
	//输出网页内容
	fmt.Println(result)

	//输出响应内容的Cookies信息
	for _, v := range resp.Cookies() {
		fmt.Println(v)
	}
}

上述代码中，github.com/axgle/mahonia是第三方的包，因此我们需要在CMD窗口输入安装指令。

go get github.com/axgle/mahonia

POST请求

如果上述代码改为POST请求，可以将请求对象NewRequest改为POST请求方式，代码如下。

// 将req, err := http.NewRequest("GET",urls, nil)改为：
// strings.NewReader("name=cjb")为请求参数data
req, err := http.NewRequest("POST", urls, strings.NewReader("name=cjb"))

简单的HTTP请求

上述的POST和GET请求都是基于请求对象NewRequest的基础上实现的，它能根据开发需求设置不同的Cookies、请求头和代理IP。如果我们只是想实现简单的POST和GET请求，可以使用标准库的Get和Post方法，详细代码如下。

// 使用此方法，第二个参数要设置成”application/x-www-form-urlencoded”，否则请求参数无法传递。
resp, err := http.Post(urls, "application/x-www-form-urlencoded", strings.NewReader("name=cjb"))

// PostForm方法参数data必须为url.Values格式，url.Values来自标准库"net/url"
resp, err := http.PostForm(urls, url.Values{"key": {"Value"}, "id": {"123"}})

// Get方法只有参数url
http.Get(urls)

本博文只讲述如何使用标准库net/http实现网络爬虫的HTTP请求，下一篇将会为大家讲述响应内容的数据清洗方式。