博客:https://www.mintimate.cn Mintimate’s Blog,只为与你分享
大家用Python等软件写爬虫,是直接模拟HTTP请求,用诸如Python Request库取发送并解析Respond呢?还是使用Selenium去模拟用户登录,对Respond进行解析呢?
如果使用Selenium,那么Chromedriver(Chromium-chromedriver)很关键;使用Chromedriver去调用我们的浏览器。进而完成爬虫任务。本次教程,就教大家如何在Linux服务器上,安装和配置高版本的Chromium和Chromedriver,助力大家开发。
本次的演示设备:
- 腾讯云轻量应用服务器:amd64设备(即:x86架构设备)
什么是Chromium如果你需要购买腾讯云轻量应用服务器,推荐在我们的专享优惠地址内购买嗷:https://curl.mintimate.cn/1HNliDcIwNz;如果你是arm设备,如:树莓派;记得在下文选择arm架构版本
考虑到有些小伙伴并不知道三者关系,趁着这次介绍Chromium,来简单介绍一下三者关系。
Chromium
Chromium是Google为发展浏览器Google Chrome而发布的免费开源软件项目,以BSD许可协议等数种许可发行并开放源代码。Chromium与Google Chrome共享大部分代码和功能,但功能和商标之间有一些细微差别。
可以简单的理解Chromium为开源版本的Chrome,功能基本一致。事实上,国内很多浏览器内核,都是基于Chromium进行二次开发。
Chromedriver
Chromedriver其实是有项目官网的:https://chromedriver.chromium.org/
是用于Web项目自动化测试的一个程序,相当于一个驱动吧;用于提供接口,让其他程序通过它调用Chromium浏览器,进而进行Debug等操作。
chromium-chromedriver
Selenium
Chromedriver
安装思路看我教程多的小伙伴,是不是觉得我这次肯定是介绍编译安装?本来想教大家编译玩玩的,但是Chromium的编译设备门槛有点高,意义不大,这次就不演示编译安装了……
aptyum
网上很多教程会让你使用snap进行Chromium的安装,而且安装步骤很简单:
但是,这样有些缺点:
- 需要手动配置Chromedriver
腾讯云这样的x86 Linux设备Chromedriver还算好找,只需要去Chromedriver官网下载后,配置到环境变量即可;但是树莓派这样的arm Linux设备,Chromedriver官网没有,自己再编译安装……就很麻烦。
本文方法
dpkgrpm
- 方便管理(安装、卸载和更新都很方便)
首先是下载安装包,我们可以去官方下载:
或者直接去老牌的pkgs.org:适用于Debian/Ubuntu/CentOS
CentOS
pkgschromium
这次,我使用腾讯的CentOS8系统,所以选择:
进去后,发现需要这些依赖:
chromium
我们复制下载地址后,到Terminal内使用wget下载:
Chromedriver
Debian
pkgs
所以,我们去https://packages.ubuntu.com/内下载:
虽然我是Debian10,但是用Ubuntu18(Debian9)也是可以的
chromium-codecs-ffmpeg-extra
这个是安装Chromium的前置依赖。
Chromedriver也是一样的下载方法,但是记得都要下载同一个大版本下的,最后结果:
之后,我们使用命令安装Chromium。其实方法都一样,但是我们还是分一下,以下分别演示Debian和CentOS。
现在CentOS8都停止支持了,其实我个人建议用Debian……
CentOS
chromium-96.0.4664.110-2.el8.x86_64.rpm
一般会失败:
这个是因为缺少依赖,我们按照上面的提示,先安装依赖,比如,这里提示我要安装:
- libFLAC.so.8
- libcanberra-gtk3
- libminizip.so.1
- nss-mdns
你可以使用yum去安装依赖(如果版本符合);也可以使用rpm,只需要再去搜索下载即可:
依赖都安装完成,我们再安装Chromium就可以正常安装了:
Debian
如果你使用Debian,下载的文件是这些:
chromium-codecs-ffmpeg-extrachromium-browser
这样就安装完成了,可以重启Terminal验证一下:
安装Chromedriver其实就和Chromium一样了。
CentOS
chromedriver-96.0.4664.110-2.el8.x86_64.rpm
这样就安装完成了:
Debian
Debian也一样很简单:
这样就安装完成了哦,同样重启终端看看效果:
最后,我们使用Python的Selenium去跑一下爬虫看看:
dpkgrpm
dpkg
简单的dpkg命令:
rpm命令
rmp命令也很简单,但是一般组合使用:
rpm <组合的命令> <包>
组合的命令:
以上,就是本文全部内容了嗷~~