在爬虫时,常常会使用selenium模块,本文演示如何下载安装谷歌浏览器驱动以及安装selenium及基本使用。

步骤总结:

  1. 下载安装selenium
  2. 下载安装谷歌浏览器驱动
  3. selenium的基础使用
  4. 附其他浏览器驱动的下载链接

简介

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器,如 Chrome、Firefox、Edge 等,还有 Android、BlackBerry 等手机端的浏览器。

一、下载安装selenium

使用pip命令安装:

或者在pycharm解释器下搜索安装:

二、下载安装谷歌浏览器驱动

先查看浏览器版本,这样才能找到对于的驱动版本,点击 Chrome 菜单 “帮助”→“关于 Google Chrome”,即可查看 Chrome 的版本号。如我的谷歌浏览器版本为:目前最新版116.0.5845.180

下载谷歌浏览器驱动程序∶

国内下载谷歌地址可能比较慢,我们可以通过阿里的镜像站下载,地址:https://registry.npmmirror.com/binary.html?path=chromedriver/

如果安装谷歌浏览器其驱动时,找不到匹配浏览器最新版本的驱动,如我的浏览器为最新版本的116.0.5845.180,选择进入到https://googlechromelabs.github.io/chrome-for-testing/

可以看到从116 Stable 稳定版本以及更高版本的测试版,我们选择对应的版本复制链接到浏览器或者下载器里面就可以下载最新版本驱动了

注意:谷歌浏览器的版本一定要对应上驱动版本。同时建议谷歌浏览器不要更新到目前最新版本,因为驱动更新要慢些,不好找对应的驱动。

下载后,解压,然后将解压出来的chromedriver.exe文件放入一个已经加入环境变量的目录中,或者将chromedriver.exe所在目录加入环境变量。

这里推荐将chromedriver.exe放入python安装目录下的Scripts目录中,因为该目录之前安装python环境时已经添加到了path环境变量中了,如:我的python安装目录是D:\ProgramData\Anaconda3,如下图

验证安装:打开cmd,输入 chromedriver,如下图信息:

三、selenium的基础使用

在pycharm中,执行以下程序:

如果执行程序后自动弹出浏览器,并自动搜索关键字selenium,那表示安装成功了。

四、附其他浏览器驱动的下载链接

若想安装其他浏览器的驱动的,就找对于浏览器版本及驱动即可。

这里附火狐浏览器驱动的下载链接:

以及PhantomJS

PhantomJS 是一个无界面的、可脚本编程的 WebKit 浏览器引擎,Selenium 支持 PhantomJS,运行时不会弹出一个浏览器了。

以上是安装谷歌驱动以及安装测试selenium的演示