大家好，我是渔夫子

公众号：Go学堂 ，关注我，送《go常见错误100例及原理解析》pdf文档。

今天给大家推荐一个基于Chrome DevTools协议的Go语言库：chromedp。该库提供了一种简单、高效、可靠的方式来控制Chrome浏览器进行自动化测试和爬取数据。

它可以模拟用户在浏览器中执行各种操作，如点击、输入文本、截取网页长图、将网页内容转换成pdf文档、下载图片等，从而获取到需要采集的数据。

项目地址：

基础用法

chromedp的基本用法非常简单，只需要定义一个任务列表，然后将其传递给chromedp.Run函数即可。下面是一个简单的例子。 这个例子的功能如下：

  • chromedp.Navigate： 打开https://pkg.go.dev/time网页
  • chromedp.WaitVisible：等待网页加载完成
  • chromedp.Click：点击#example-After标签。也就是网页中的After函数示例
  • chromedp.Value：将示例代码的值读取到example变量中。
  • 最后输出example变量

如下：

高级使用

除了基本用法之外，chromedp还提供了许多高级功能。

截屏

chromedp.Screenshotchromedp.FullScreenshot

该示例就是通过elementScreenshot函数中截取了中的img.Homepage-logo标签的图片。另外一个就是通过fullScreenshot函数来截取了网站的长图。因为图像较大，大家可以运行代码查看具体的效果。

其他功能

  • 模拟表单提交：可以使用chromedp.Submit函数模拟表单提交。
  • 模拟鼠标滚动：可以使用chromedp.ScrollIntoView函数模拟鼠标滚动。
  • 模拟键盘输入：可以使用chromedp.KeyEvent函数模拟键盘输入。

github上也给出了具体的示例代码，大家可以自行查看。 示例链接：

chromedp的应用场景

由于chromedp具有高效、稳定、可靠的特点，因此在以下场景中得到了广泛的应用： 1.数据采集：可以使用chromedp对各类网站进行数据采集。 2.自动化测试：可以使用chromedp对Web应用进行自动化测试。 3.网络爬虫：可以使用chromedp对各类网站进行爬取。 4.数据分析：可以使用chromedp对采集到的数据进行分析和处理。

总结

chromedp基于Chrome DevTool协议实现。可以对网页内容进行采集、模拟点击、提交数据、将网页内容转换成pdf、抓取网页长图等功能。

特别说明：你的关注，是我写下去的最大动力。关注我，送《100个go常见的错误》pdf文档、经典go学习资料。