golang常用库之http客户端Sling

一、golang http客户端

1. 基础知识&＃xff1a;http请求四种常见的POST提交数据方式

**服务端通常是根据请求头&＃xff08;headers&＃xff09;中的 Content-Type 字段来获知请
求中的消息主体是用何种方式编码&＃xff0c;再对主体进行解析。**也就是说&＃xff0c; Content-Type 指定了消息主体中的编码方式。因
此&＃xff0c;POST 提交数据方案&＃xff0c;直接跟 Content-Type 和消息主体两部分有关。

http请求常见的content-type分为4种&＃xff1a;application/json、x-www-form-urlencoded、multipart/form-data、text/plain。

1&＃xff09;application/x-www-form-urlencoded

HTTP中默认的提交数据的方式。浏览器的原生表单&＃xff0c;如果不设置enctype属性&＃xff0c;那么最终就会以application/x-www-form-urlencoded方式提交数据。

const (http_address &＃61; "http://yourIP:8080/****")// 用url.values方式构造form-data参数formValues :&＃61; url.Values{}formValues .Set("first",firstData)formValues .Set("second",secondData)formDataStr :&＃61; formValues.Encode()formDataBytes :&＃61; []byte(formDataStr )formBytesReader :&＃61; bytes.NewReader(formDataBytes )//生成post请求client :&＃61; &http.Client{}req, err :&＃61; http.NewRequest("POST", http_address, formBytesReader )if err !&＃61; nil {// handle errorlog.Fatal("生成请求失败&＃xff01;",err)return}//注意别忘了设置headerreq.Header.Set("Content-Type", "application/x-www-form-urlencoded")//Do方法发送请求resp, err :&＃61; client.Do(req)

2&＃xff09;multipart/form-data

一个常见的POST数据提交的方式。我们使用表单上传文件时&＃xff0c;必须将enctype设为multipart/form-data。

上面两种 POST 数据方式&＃xff0c;都是浏览器原生支持的&＃xff0c;而且现阶段原生 form 表单也只支持这两种方式。但

3&＃xff09;application/json

application/json作为请求头&＃xff0c;用来告诉服务端消息主体是序列化的JSON字符串。方便提交复杂的结构化数据&＃xff0c;特别适合RESTFul接口。
各大抓包工具如Chrome自带的开发者工具、Firebug、Fiddler&＃xff0c;都会以树形结构展示JSON数据&＃xff0c;非常友好。

Google 的 AngularJS 中的 Ajax 功能&＃xff0c;默认就是提交 JSON 字符串。

4&＃xff09;text/xml
XML-RPC&＃xff08;XML Remote Procdure Call&＃xff09;。它是一种使用HTTP作为传输协议&＃xff0c;XML作为编码方式的远程调用规范。

二、golang 标准库net/http包

golang系列——实战http客户端
参考URL: https://zhuanlan.zhihu.com/p/134146738

golang的net/http包已经提供了强大了网络操作函数。

1. golang使用http client发起get请求示例

get请求&＃xff1a;

package csdnimport ("io/ioutil""log""net/http""testing")func TestNewPublisher(t *testing.T) {res, err :&＃61; http.Get("http://www.csdn.com")if err !&＃61; nil {log.Fatal(err)}//利用ioutil包读取服务器返回的数据data, err :&＃61; ioutil.ReadAll(res.Body)res.Body.Close()//一定要记得关闭连接if err !&＃61; nil {log.Fatal(err)}log.Printf("%s", data)}

2. golang语言发送json格式的http请求

package mainimport ("bytes""encoding/json""fmt""log""net/http")type JsonParams struct {Content      string    &＃96;json:"content"&＃96;ActivityId 	 string     &＃96;json:"activityId"&＃96;Type       	string	 	&＃96;json:"type"&＃96;}func main() {requestBody :&＃61; new(bytes.Buffer)json.NewEncoder(requestBody).Encode(JsonParams{Content:  "xxxxxxx",ActivityId: "111",})request, err :&＃61; http.NewRequest("POST", "https://xxx.com", requestBody)if err !&＃61; nil {log.Fatal(err)}request.Header.Set("content-type", "application/json;")//request.Header.Set("accept", "application/json, text/plain, */*")client :&＃61; &http.Client{}resp, err :&＃61; client.Do(request)if err !&＃61; nil {log.Fatal("client.Do err:")log.Fatal(err)} else {body :&＃61; &bytes.Buffer{}_, err :&＃61; body.ReadFrom(resp.Body)if err !&＃61; nil {log.Fatal(err)}resp.Body.Close()fmt.Println(resp.StatusCode)//fmt.Println(resp.Header)//fmt.Println(body)}}

3. Http请求返回结果处理

返回json结果是乱码问题

情况一&＃xff1a;页面是&＃xff0c;是GBK&＃xff0c;不是UTF-8时

问题&＃xff1a;
比如原来的代码是

resp, err :&＃61; this.cleint.Get(url)body, err :&＃61; ioutil.ReadAll(resp.Body)

此时body中读取到的是乱码。

解决办法&＃xff1a;
引入"golang.org/x/text/encoding/simplifiedchinese"

只需增加一个reader

resp, err :&＃61; this.cleint.Get(url)reader :&＃61; simplifiedchinese.GB18030.NewDecoder().Reader(resp.Body)body, err :&＃61; ioutil.ReadAll(reader)

此时&＃xff0c;body中就是正确解码后的汉字。

情况二&＃xff1a;accept-encoding的影响

accept-encoding

问题分析&＃xff1a;
原因是内容被gzip压缩。
在网页请求的时候&＃xff0c;为了减少网页请求所消耗的带宽&＃xff0c;提高数据传输的速度&＃xff0c;通常会把数据进行压缩传输&＃xff0c;这里就需要用到’Accept-Encoding’&＃xff0c;它的值’gzip, deflate, br’&＃xff0c;这里的值代表的意思是数据压缩采用的编码方式。

通常我们还需要关注一个值&＃xff0c;那就是响应头里面的’Content-Encoding’。

&＃39;Content-Encoding’是指服务端使用了哪种压缩方式传输数据给你&＃xff0c;&＃39;Accept-Encoding’表示你发送请求时告诉服务器&＃xff0c;我可以使用哪些编码解压缩你返回的数据。

服务端会根据你发送的’Accept-encoding’来决定用什么格式’Content-Encoding’压缩数据传输。

解决方法&＃xff1a;
//request.Header.Set(“accept-encoding”, “gzip, deflate, br”)
request.Header.Set(“accept-encoding”, “”)

请求结果转化为Map

在 Go 中 Http 请求的返回结果为*http.Response 类型&＃xff0c;Response.Body 类型为 io.Reader。

TODO

4. Golang http添加COOKIE

package mainimport ("fmt""io/ioutil""net/http")func main() {client :&＃61; &http.Client{}req, _ :&＃61; http.NewRequest("GET", "http://localhost:8082/COOKIE_test",nil)req.Header.Add("COOKIE","ds&＃61;req.Header.Add")resp, err :&＃61; client.Do(req)if err !&＃61; nil {panic(nil)}body, _ :&＃61; ioutil.ReadAll(resp.Body)defer resp.Body.Close()fmt.Println(string(body))}

工作技巧&＃xff1a; 使用浏览器的COOKIE参数时您可以先拿postman测试验证没有问题&＃xff0c;再写到代码中。

5. Go post方式发送带有form-data参数的http请求

golang学习之如何构造一个multipart/form格式的HTTP请求
参考URL: http://blog.codeg.cn/2015/03/18/golang-how-to-make-a-multipart-http-request/
https://www.easck.com/cos/2020/1218/594591.shtml

思路和方法&＃xff1a;通过Go标准库提供的mime/multipart包&＃xff0c;我们可以很容易地构建出满足要求的包体。

5.1 go标准库的学习-mime/multipart

go标准库的学习-mime/multipart
参考URL: https://www.cnblogs.com/wanghui-garcia/p/10402796.html

import "mime/multipart"

multipart实现了MIME的multipart解析&＃xff0c;参见RFC 2046。该实现适用于HTTP&＃xff08;RFC 2388&＃xff09;和常见浏览器生成的multipart主体。

案例一&＃xff1a;普通普通表单上传后端程序

func main() {buf:&＃61;new(bytes.Buffer)bodywriter:&＃61;multipart.NewWriter(buf)bodywriter.WriteField("name","lisi")bodywriter.WriteField("age","40")contentType:&＃61;bodywriter.FormDataContentType()defer bodywriter.Close()url:&＃61;"http://www.shop.com:8088/index/index/aa"http.Post(url,contentType,buf)}

1. 什么是Sling 库

https://github.com/dghubble/sling
https://pkg.go.dev/github.com/dghubble/sling#section-readme

Sling是用于创建和发送API请求的Go HTTP客户端库。

项目开发中&＃xff0c;发送http请求的场景&＃xff0c;推荐使用Sling库。Sling本身是基于net/http来处理发送请求&＃xff0c;同时做了较好的封装&＃xff0c;既可以利用net/http的一些特性&＃xff08;如&＃xff1a;httptrace)&＃xff0c;同时又不必关心net/http库的一些琐碎细节。

Sling的默认实现可以覆盖大部分对于http发送请求场景&＃xff0c;同时可以通过实现Doer和ResponseDecoder接口来扩展个性化的场景。

Sling支持以下主要的功能&＃xff1a;

支持GET/POST/PUT/PATCH/DELETE/HEAD
基于Base/Path可以扩展和复用Sling
query参数可以用结构体来Encode
Request Body支持form和json
可将Json格式的Response直接Decode到定义好的结构体
可扩展Response的Decoder&＃xff0c;以及Doer。

Sling 存储HTTP请求属性以简化发送请求和解码响应。检查使用情况或示例以了解如何将Sling 组成API客户端。

由上使用案例&＃xff0c;Sling 常被用来封装 http client sdk。

2. Sling使用方法

https://pkg.go.dev/github.com/dghubble/sling?utm_source&＃61;godoc
【GoCN酷Go推荐】灵活的Go http client库-Sling
参考URL: https://jishuin.proginn.com/p/763bfbd5b75f

Sling对http请求的要素method、baseUrl、Path、query、body、request、response等做了封装&＃xff0c;基本使用可以参考https://github.com/dghubble/sling 上的示例代码。

可以通过实现ResponseDecoder和Doer的接口&＃xff0c;来定制响应的decoder和发送请求的具体实现。

Sling拓展

每个Sling都会创建一个标准的http.request Request()调用&＃xff08;例如&＃xff0c;使用某些路径和查询参数&＃xff09;。您可能希望扩展现有Sling以最大限度地减少重复&＃xff08;例如常见客户端或基本URL&＃xff09;。

New()

const twitterApi &＃61; "https://api.twitter.com/1.1/"base :&＃61; sling.New().Base(twitterApi).Client(authClient)// statuses/show.json SlingtweetShowSling :&＃61; base.New().Get("statuses/show.json").QueryStruct(params)req, err :&＃61; tweetShowSling.Request()// statuses/update.json SlingtweetPostSling :&＃61; base.New().Post("statuses/update.json").BodyForm(params)req, err :&＃61; tweetPostSling.Request()

New()

修改Request

Sling提供raw http.Request &＃xff0c;因此可以使用标准的 net/http 功能进行修改。

例如&＃xff0c;在Go 1.7&＃43;中&＃xff0c;将HTTP跟踪添加到具有上下文的请求&＃xff1a;

req, err :&＃61; sling.New().Get("https://example.com").QueryStruct(params).Request()// handle errortrace :&＃61; &httptrace.ClientTrace{DNSDone: func(dnsInfo httptrace.DNSDoneInfo) {fmt.Printf("DNS Info: %&＃43;v\n", dnsInfo)},GotConn: func(connInfo httptrace.GotConnInfo) {fmt.Printf("Got Conn: %&＃43;v\n", connInfo)},}req &＃61; req.WithContext(httptrace.WithClientTrace(req.Context(), trace))client.Do(req)

post请求form-data demo

查看Sling 源码得知&＃xff0c;Sling 不直接支持 multipart/form-data

const (contentType     &＃61; "Content-Type"jsonContentType &＃61; "application/json"formContentType &＃61; "application/x-www-form-urlencoded")

提供的2个传内容的方法里面没有处理 multipart/form-data 情况&＃xff1a;
如下&＃xff0c;一个是json&＃xff0c;一个是在body中进行url编码。

// BodyJSON sets the Sling&＃39;s bodyJSON. The value pointed to by the bodyJSON// will be JSON encoded as the Body on new requests (see Request()).// The bodyJSON argument should be a pointer to a JSON tagged struct. See// https://golang.org/pkg/encoding/json/#MarshalIndent for details.func (s *Sling) BodyJSON(bodyJSON interface{}) *Sling {if bodyJSON &＃61;&＃61; nil {return s}return s.BodyProvider(jsonBodyProvider{payload: bodyJSON})}// BodyForm sets the Sling&＃39;s bodyForm. The value pointed to by the bodyForm// will be url encoded as the Body on new requests (see Request()).// The bodyForm argument should be a pointer to a url tagged struct. See// https://godoc.org/github.com/google/go-querystring/query for details.func (s *Sling) BodyForm(bodyForm interface{}) *Sling {if bodyForm &＃61;&＃61; nil {return s}return s.BodyProvider(formBodyProvider{payload: bodyForm})}

解决思路&＃xff1a;
Sling 本质还是使用标准库的http。Sling 封装的不支持处理 multipart/form-data 情况。

亲测&＃xff0c;尝试直接利用 Sling 失败&＃xff0c;这里暂时使用标准http库的写法来实现。

读者如果直接利用Sling 可以实现&＃xff0c;可以联系告诉我~&＃xff01;

用于构建一个API

APIs typically define an endpoint (also called a service) for each type of resource. For example, here is a tiny Github IssueService which lists repository issues.

APIs 通常为每种类型的资源定义端点&＃xff08;也称为服务&＃xff09;。例如&＃xff0c;这是一个小型gihub IssueService&＃xff0c;用于列出了github仓库issues。

const baseURL &＃61; "https://api.github.com/"type IssueService struct {sling *sling.Sling}func NewIssueService(httpClient *http.Client) *IssueService {return &IssueService{sling: sling.New().Client(httpClient).Base(baseURL),}}func (s *IssueService) ListByRepo(owner, repo string, params *IssueListParams) ([]Issue, *http.Response, error) {issues :&＃61; new([]Issue)githubError :&＃61; new(GithubError)path :&＃61; fmt.Sprintf("repos/%s/%s/issues", owner, repo)resp, err :&＃61; s.sling.New().Get(path).QueryStruct(params).Receive(issues, githubError)if err &＃61;&＃61; nil {err &＃61; githubError}return *issues, resp, err}

使用Sling构建APIs示例

Digits dghubble/go-digits
GoSquared drinkin/go-gosquared
Kala ajvb/kala
Parse fergstar/go-parse
Swagger Generator swagger-api/swagger-codegen
Twitter dghubble/go-twitter
Stacksmith jesustinoco/go-smith

由上知&＃xff0c;
twitter的client就是利用 Sling 封装的 go sdk&＃xff0c;
项目参考 github.com/dghubble/go-twitter/twitter

四、参考

golang系列——实战http客户端
参考URL: https://zhuanlan.zhihu.com/p/134146738
【GoCN酷Go推荐】灵活的Go http client库-Sling
参考URL: https://jishuin.proginn.com/p/763bfbd5b75f