背景
要做IP地址归属地查询，量比较大，所以想先从网上找到大部分的分配数据，写个蜘蛛程序来抓取入库，以后在程序的运行中不断进行维护、更新、完善。
一些关键点
- goroutine的使用，让程序并行运行。
- 正则表达式分组信息提取的使用，正确的提取我们关注的信息。
- 数据库批量插入操作。
- 数据库批量更新操作。
代码解析
按功能模块对核心代码进行说明
ip.go
主进程，实现goroutine的调用。
正则表达式说明
主进程针对所有省有入口页面，取得每省的入口分配给一个协程去处理，每一个入口是这个样子
- 请注意，这里面变化只有三个部分（title内容，href内容，链接显示内容），其中两个部分是我们需要的
- title内容对应正则为 [\S]+ ，非空白符
- href内容对应的正则为 ([^']+?) ，第一次遇到单引号结束，问号表示非贪婪匹配，括号是分组，能方便取出所匹配信息
- 链接显示内容对应的正则为 ([^<]+?) ， 第一次遇到<时结束，第二个分组
- FindAllStringSubmatch函数可以取出所有子分组，子分组从下标1开始，0为正则整体匹配的字符串
goroutine 流程
- 建立一个无缓冲字符串通道，作为所有协程与主进程通信通道
- 循环正则匹配结果，为每一个省的页面分配一个协程
- 协程获取数据成功并批量写数据库，返回成功信息到通道
- 协程处理失败，反回失败信息到通道
- 主进程阻塞等所有协程成功或失败返回，并打印成功或失败信息
获取ip地址信息
与主进程类似，注意无信息时处理。
IpSpider.go
数据库表结构生成语句
批量写入数据库
循环处理抓取数据，生成批量写入语句及输入参数，请签到出到afc9ebd版本。
批量修改数据库
数据库中的ip_comp字段，是代表运营商信息，需要从运营商页面进入进行数据获取，只需改一下入口url重新运行程序就能正确抓取，但这时入库就不是新增了，而是更新，请签出到4729e66版本。
待改进的方面
把入口url提到配置中，使用策略模式，让匹配规则抽象成策略，目标是不改程序，调整配置文件就可以抓取不同的网页。
项目地址
https://github.com/zhoutk/goTools
使用方法
小结
熟悉了golang语言，了解了一种全新的并发编程模式，熟悉了具体的数据库操作方法，给自己生成了一个方便的工具。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。