推荐六款必备的Python Chrome插件类爬虫工具

Chrome插件推荐 2020-02-18 15:35

网络是由各种数据组成，而python是其中一种的重要组成部分。很多人都不知道Python是什么， Python 是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于 1989 年发明，第一个公开发行版发行于 1991 年。Python 在设计上坚持了清晰划一的风格，这使得 Python 成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python 具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是 C/C++)很轻松地联结在一起。然而想使用Python 我们需要对这些python理论进行实践。其中包含很多有趣的的过程，然后将其用于某些方面。在日常 PC 端的爬虫过程工作中，Chrome 浏览器是我们常用的一款工具。鉴于 Chrome浏览器的强大，Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。今天小编就给大家介绍六款爬虫必备Chrome插件可以大大提升我们的爬虫效率。

爬虫必备Chrome插件一：EditThisCookie

EditThisCookie插件概述

EditThisCookie插件是一款为谷歌浏览器定制的非常强大的一款cookies管理chrome插件，用户可以利用EditThisCookie添加，删除，编辑，搜索，锁定和屏蔽cookies。可以将登录后的 Cookies 先保存到本地，借助 cookielib 库，直接爬取登录后的数据。避免了抓包和模拟登录，帮助我们快速地进行爬虫。
爬虫必备Chrome插件一：EditThisCookie

EditThisCookie插件功能

1.编辑cookies

2. 删除cookies

3. 添加一个新的cookie

4.创建cookies

5.搜索cookies

6.保护cookies (只读cookies)

7.拦截cookies (cookie 过滤器)

8.导出cookies为JSON, Netscape cookie 文档 (非常适合wget及curl), Perl::LPW

9.导入JSON格式cookies

10.限制任何cookie的最大有效期

11.改进性能，移除旧的cookies

12.导入cookies.txt

EditThisCookie插件使用方法

1.下载安装好EditThisCookie插件后图标会出现在浏览器右上角的插件栏中，点击插件按钮
爬虫必备Chrome插件一：EditThisCookie

2.可以看到当前标签页的所有 cookie ，最上面一行的按钮分别是：删除、重置、添加、导入、导出、搜索、设置，在这里可以对cookie进行编辑。

爬虫必备Chrome插件二：Web Scraper

Web Scraper插件概述

Web Scraper 是一款免费的、适用于任何人，包含没有任何编程基础的爬虫工具。只需点击，点击，点击，四步使用者就能通过该插件来建立页面数据提取规则，从而快速对网页中需要的内容进行提取，最后还能把抓取的结果导出为Excel可以识别的CSV格式。它支持复杂的网站结构，数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。

Web Scraper插件使用方法

1.下载安装Web Scraper插件后图标会出现在浏览器右上角的插件栏中，用户可以先在设置页面中对该插件的储存设置和储存类型功能进行设置。
2.首先要使用该插件来提取网页数据需要在开发者工具模式中使用，使用快捷键Ctrl+Shift+I/F12或者点击右键，选择“检查（Inspect）”，在开发者工具下面就能看到WebScraper的Tab。如下图所示：
爬虫必备Chrome插件二：Web Scraper

3.新建一个Sitemap。点击Create New Sitemap，里面有两个选项，import sitemap是指导入一个现成的sitemap，咱小白一般没有现成的，所以一般不选这个，选create sitemap 就好。
爬虫必备Chrome插件二：Web Scraper

4.然后进行这两个操作：
(1)Sitemap Name：代表你这个Sitemap是适用于哪一个网页的，所以你可以根据网页来自命名，不过需要使用英文字母，比如我抓的是今日头条的数据，那我就用toutiao来命名；

(2)Sitemap URL：把网页链接复制到Star URL这一栏，比如图片里我把「吴晓波频道」的主页链接复制到了这一栏，而后点击下方的create sitemap来新建一个Sitemap。
5.设置这个Sitemap

整个Web Scraper的抓取逻辑是这样：设置一级 Selector，选定抓取范围；在一级 Selector 下设置二级 Selector，选定抓取字段后抓取。

爬虫必备Chrome插件三：Xpath Helper

Xpath Helper插件概述

xpath helper插件是一款免费的chrome爬虫网页解析工具。可以帮助用户解决在获取xpath路径时无法正常定位等问题。该插件主要能帮助你在各类网站上通过按shift键选择想要查看的页面元素来提取查询其代码，同时你还能对查询出来的代码进行编辑，而编辑出的结果将立即显示在旁边的结果框中。
爬虫必备Chrome插件三：Xpath Helper

Xpath Helper插件使用方法

1.下载安装Xpath Helper插件后图标会出现在浏览器右上方，你可以通过点击界面右上角的插件图标来打开插件窗口。打开某个网页（以搜狐为例）拷贝目标页面元素的XPATH，如下图所示：
爬虫必备Chrome插件三：Xpath Helper

2..点击浏览器右上角xpath-helper图标打开xpath-helper工具，并将拷贝的XPATH 复制到小怕xpath-helper 左边的输入框中，右侧输入框将显示XPATH定位的元素的文本内容.或者点击 Ctrl + Shift + X 激活 XPath Helper的控制台，然后您可以在 Query 文本框中输入相应 XPath 进行调试了，提取的结果将被显示在旁边的 Result 文本框中，如下图所示：
爬虫必备Chrome插件三：Xpath Helper

3.这样你就可以优化你的xpath了。
爬虫必备Chrome插件三：Xpath Helper

爬虫必备Chrome插件四：Toggle JavaScript

Toggle JavaScript插件概述

Toggle JavaScript是一款可以帮助用户使用chrome插件来切换javascript运行的谷歌浏览器插件，在chrome中安装了Toggle JavaScript插件以后，用户就可以使用该插件的按钮，快速地切换chrome的javascript功能，当用户访问网页的时候，受到javascript的“骚扰”时，可以果断使用Toggle JavaScript禁用到js的运行。

Toggle JavaScript插件使用方法

下载安装Toggle JavaScript插件后图标会出现在浏览器右上角，Toggle JavaScript插件显示为一个开关的标志，可以方便地开启和关闭javascript的运行状态，如图所示：
爬虫必备Chrome插件四：Toggle JavaScript

爬虫必备Chrome插件五：User-Agent Switcher for Chrome

User-Agent Switcher for Chrome插件概述

User-Agent Switcher for Chrome插件可以在使用Chrome浏览器访问网站的时候来制造一种其他浏览器正在访问该网站的一种“假象”。User-Agent Switcher for Chrome 插件可以很方便的修改浏览器的 User-Agent。可以模拟不同的浏览器、客户端，包含 Android、IOS 去模拟请求。对于一些特殊网站，切换 User-Agent 可以更方便地进行数据爬取。
爬虫必备Chrome插件五：User-Agent Switcher for Chrome