gcocolly+goquery能够很是好地抓取HTML页面中的数据，但碰到页面是由Javascript动态生成时，用goquery就显得捉襟见肘了。解决方法有不少种，一，最笨拙但有效的方法是字符串处理，go语言string底层对应字节数组，复制任何长度的字符串的开销都很低廉，搜索性能比较高；二，利用正则表达式，要提取的数据每每有明显的特征，因此正则表达式写起来比较简单，没必要很是严谨；三，使用浏览器控件，好比webloop；四，直接操纵浏览器，好比chromedp。一和二须要goquery提取javascript，而后再提取数据，速度很是快；三和四不须要分析脚本，在浏览器执行JavaScript生成页面后再提取，是比较偷懒的方式，但缺点是执行速度很慢，若是在脚本很是复杂、懒得分析脚本的状况下，牺牲下速度也是不错的选择。javascript
不一样的场景，作不一样的选择。中证指数有限公司下载中心提供了行业市盈率下载，数据文件的Url在页面的脚本中，脚本简单且特征明显，直接用正则表达式的方式是最好的选择。html
下载地址对应一段脚本java
点击下载时，为link1元素生成href属性，而后点击link1，这须要用gocolly+goquery提取date，而后获取服务器地址http://115.29.204.48/，根据获取文件的类型拼接字符串生成下载地址。web
获取交易日期正则表达式
获取文件服务器地址，下载zip文件chrome
在脚本里匹配服务器ip地址用 http://[0-9]+.[0-9]+.[0-9]+.[0-9]+/syl/csi数组
，由于先后都有限定元素，因此写得比较简单；若是没有先后限定条件，设计正则表达式就得多费心了，复杂的正则表达式会吓跑不少人。不过不要紧，稍微了解一些正则表达式的知识，就能够用在爬虫上了。浏览器
下载的文件是excel(.xls格式)的zip压缩包，解压缩操纵及xls读取后面再介绍。服务器