Golang 网络爬虫框架gocolly/colly（五）

gcocolly+goquery

不同的场景，做不同的选择。中证指数有限公司下载中心提供了行业市盈率下载，数据文件的Url在页面的脚本中，脚本简单且特征明显，直接用正则表达式的方式是最好的选择。

下载地址对应一段脚本

<a href="javascript:;" class="ml-20 dl download1">下载<i class="i_icon i_icon_rar ml-5"></i></a>

<script>
$(function() {
//切换
$('.hysyl_con').rTabs({
bind: 'click',
auto: false,
});
tabs($('.snav .tab_item'),$('.sCon .tab-con-item'));
tabs($('.snav2 .tab_item'),$('.sCon2 .tab-con-item'));
tabs($('.snav3 .tab_item'),$('.sCon3 .tab-con-item'));
$("#search_code1").on("click",function(){
		var csrc_code = $("#csrc_code1").val();
		if (csrc_code == '') {
			return false;
		}
		var url = "http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio-detail?date=2018-01-19&class=1&search=1&csrc_code="+csrc_code;
		$("#link_1").attr('href', url);
		document.getElementById("link_1").click();
	})
	$("#search_code2").on("click",function(){
		var csrc_code = $("#csrc_code2").val();
		if (csrc_code == '') {
			return false;
		}
		var url = "http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio-detail?date=2018-01-19&class=1&search=1&csrc_code="+csrc_code;
		$("#link_2").attr('href', url);
		document.getElementById("link_2").click();
	})
})
$(".download1").on("click",function(){
	var date = $(".date1").val();
	date = date.replace(/\-/g, '');
	if (date) {
		$("#link1").attr('href', 'http://115.29.204.48/syl/'+date+'.zip');
		document.getElementById("link1").click();
	}
});
$(".download2").on("click",function(){
	var date = $(".date2").val();
	date = date.replace(/\-/g, '');
	if (date) {
		$("#link2").attr('href', 'http://115.29.204.48/syl/csi'+date+'.zip');
		document.getElementById("link2").click();
	}
});
$(".download3").on("click",function(){
	var date = $(".date3").val();
	date = date.replace(/\-/g, '');
	if (date) {
		$("#link3").attr('href', 'http://115.29.204.48/syl/bk'+date+'.zip');
		document.getElementById("link3").click();
	}
});
</script>

点击下载时，为link1元素生成href属性，然后点击link1，这需要用gocolly+goquery提取date，然后获取服务器地址http://115.29.204.48/，根据获取文件的类型拼接字符串生成下载地址。

获取交易日期

sTime := ""
var bodyData []byte
c := colly.NewCollector()
c.OnResponse(func(resp *colly.Response) {
	bodyData = resp.Body
})
c.OnHTML("input[name=date]", func(el *colly.HTMLElement) {
	sTime = el.Attr("value")
})
err = c.Visit("http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio")
if err != nil {
	return
}

获取文件服务器地址，下载zip文件:

htmlDoc,err := goquery.NewDocumentFromReader(bytes.NewReader(bodyData))
if err != nil {
	return
}
scripts := htmlDoc.Find("script")
destScript := ""
for _,n := range scripts.Nodes {
	if n.FirstChild != nil {
		if strings.Contains(n.FirstChild.Data,"syl/csi") && strings.Contains(n.FirstChild.Data,".download2"){
			destScript = n.FirstChild.Data
			break
		}
	}
}
re,err := regexp.Compile("http://[0-9]+.[0-9]+.[0-9]+.[0-9]+/syl/csi")
if err != nil {
	log.Fatal(err)
}
result := re.FindString(destScript)
pos := strings.LastIndex(result,"/")
parentUrl := result[0:pos+1]
link := parentUrl
sTime = strings.Replace(sTime,"-","",-1)
fileName := ""
if t == ZhengJjianHuiHangYePERatio {
	fileName = fmt.Sprintf("%s.zip",sTime)     
	link += fileName
	fileName = "zjh"+fileName
}else if t == ZhongZhengHangYePERatio {
	fileName = fmt.Sprintf("csi%s.zip",sTime)
	link += fileName
}else {
	fileName = fmt.Sprintf("bk%s.zip",sTime)
	link += fileName
}
fmt.Println(link)
cli:=http.Client{}
resp,err := cli.Get(link)
if err != nil {
	return
}
defer resp.Body.Close()
fullFileName := fmt.Sprintf("%s/%s",filePath,fileName)
if resp.StatusCode == 200 {
	allBody,err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return err
	}
	err = ioutil.WriteFile(fullFileName,allBody,0666)
	if err != nil {
		return err
	}
}else{
	err = fmt.Errorf("bad resp.%d",resp.StatusCode)
	return
}
err = archiver.Zip.Open(fullFileName, filePath)

http://[0-9]+.[0-9]+.[0-9]+.[0-9]+/syl/csi

下载的文件是excel(.xls格式)的zip压缩包，解压缩操纵及xls读取后面再介绍。