安装

首先,需要安装两个包。

1.goquery。

go get github.com/PuerkitoBio/goquery

goquery包主要用于搜索界面上的元素,获取里面的值。

2.chromedp。

go get -u github.com/chromedp/chromedp

chromedp包可以在代码上对网页进行操作,比如点击、输入数据等。尤其是某些网页内容是通过js动态加载的,仅使用goquery只能获取到加载前的内容,所以需要使用chromedp,等待页面加载完成再进行操作。

在使用chromedp之前,我们需要安装Chrome浏览器。

使用

下面使用goquery+chromedp实现对双色球开奖网站近100期开奖号码的抓取。

首先定义getHttpHtmlContent函数,通过网页地址url,选择器selector,筛选选择器sel(我的理解是,在元素sel下寻找selector元素),选择器的获取方式如下图所示。

func getHttpHtmlContent(url string, selector