layui国内的文档站好像没得了,我看到的都是山寨的,

找了几个文档站,心想还是做一个爬取器下载下来吧,原理很简单,先说一下思路

首先获取好网站入口,比如:`https://layui.clearcode.cn` , 然后下载这个文件,保存为静态页面,放入

outDir/index.html 中,本地起一个 http 服务器,随便监听一个端口, 另外起一个线程来访问这个页面,访问之后,提取页面中的a标签,计算得到相对url,再对本地服务器发起请求,本地服务器先判断该文件有没有存在本地,没有存在的话,直接爬取远程内容放到本地的目录,再发送到响应,以此循环遍历所有的a标签,

另外由于纯http无法解析到js/css/img内容,需要单独开启一个线程,不断地访问我们的静态页面的地址,只要有请求进来,就会自动下载js/css/img, 以下是一些简单的代码实现,理论所有的静态站点都是通用的:


go 语言静态站点下载器.


配置格式: