Web Scraper v0.3.8 Chrome插件

插件分类：办公插件更新日期：2020-07-12 19:06

Web Scraper v0.3.8 Chrome插件图文教程

Web Scraper插件概述

Web Scraper（网站刮板）是一款免费的、适用于任何人，包含没有任何编程基础的爬虫工具。只需点击，点击，点击，四步使用者就能通过该插件来建立页面数据提取规则，从而快速对网页中需要的内容进行提取，最后还能把抓取的结果导出为Excel可以识别的CSV格式。它支持复杂的网站结构，数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。
Web Scraper插件概述

Web Scraper插件功能

1.抓取多页

2.爬取的数据存储在本地存储中

3.多种数据选择类型

4.从动态页面提取数据（JavaScript + AJAX）

5.浏览抓取的数据

6.将抓取的数据导出为CSV

7.导入，导出站点地图
8.仅取决于Chrome浏览器

Web Scraper插件优点

1.免费

2.不受操作系统限制，只要安装Chrome浏览器即可运行

3.操作简单，易上手。（很多没有技术背景的同学，都可以快速学会）

4.功能强大：不仅可以抓静态网页，对于js动态加载的数据，也很容易抓取

Web Scraper插件支持网站

1.58同城、大众点评、美团、链家等

2.微信公众号、简书、知乎、博客等

3.淘宝、阿里巴巴、网易严选等

Web Scraper插件下载安装

1.你可以从chrome应用商店里找到Web Scraper插件，如果你的chrome应用商店无法打开，你可以在本站的下方找到Web Scraper插件下载地址。
Web Scraper插件下载安装

2.离线安装的方法参照一下方法：老版本chrome浏览器，首先在标签页输入【chrome://extensions/】进入chrome扩展程序，解压你在本站下载的插件，并拖入扩展程序页面并提醒你是否安装插件。
Web Scraper插件下载安装

3.点击”添加扩展程序“即可安装。
4.最新版本的chrome浏览器直接拖放安装时会出现“程序包无效CRX-HEADER-INVALID”的报错信息，参照：Chrome插件安装时出现"CRX-HEADER-INVALID"解决方法，安装好后即可使用。

Web Scraper插件使用方法

1.插件安装完成后会出现在浏览器右上方的插件栏中。
Web Scraper插件使用方法

2.用户可以先在设置页面中对该插件的储存设置和储存类型功能进行设置。
Web Scraper插件使用方法

3.windows 系统下可以使用快捷键 F12，有的型号的笔记本需要按 Fn+F12；Mac 系统下可以使用快捷键 command+option+i ；也可以直接在 Chrome 界面上操作，点击设置—>更多工具—>开发者工具
Web Scraper插件使用方法

4.打开后的效果如下，其中绿色框部分是开发者工具的完整界面，红色框部分是 Web Scraper 区域，也就是我们之后要操作的部分。
Web Scraper插件使用方法

5.注意：如果打开开发者工具在浏览器的右侧区域，则需要调节开发者工具位置到浏览器底部。

6.打开开发者工具，点到 Web Scraper 这个标签栏，看到分为三个部分：

7.Sitemaps:sitemap 的集合，所有创建过的 sitemap 都会在这里显示，并且可以在这里进入一个 sitemap 进行修改和数据抓取等操作。
Web Scraper插件使用方法

8.Sitemap:进入某个 sitemap ,可以进行一系列的操作，如下图：
Web Scraper插件使用方法

9.Create new sitemap：首先理解 sitemap ，字面意思网站地图，这里可以理解为一个入口地址，可以理解为其对应一个网站，对应一个需求，假设要获取知乎上的一个问题的回答，就创建一个 sitemap ,并将这个问题所在的地址设置为sitemap 的 Start URL，然后点击 “Create Sitemap”即可创建一个 sitemap。
Web Scraper插件使用方法

10.以 hao123 页面为例，首先打开网页；
Web Scraper插件使用方法

11.根据上述方法找到WebScraper的Tab，点击Create New Sitemap，里面有两个选项，import sitemap是指导入一个现成的sitemap，咱小白一般没有现成的，所以一般不选这个，选create sitemap 就好；
Web Scraper插件使用方法

12.之后输入 sitemap 名称和 start url，名称只为方便我们标记，就命名为hao123（注意，不支持中文），start url 就是hao123的网址，然后点击 create sitemap；
Web Scraper插件使用方法

13.之后 Web Scraper 自动定位到这个 sitemap，接下来我们添加一个选择器，点击“add new selector”；
Web Scraper插件使用方法

14.首先给这个 selector 指定一个 id，就是一个便于识别的名字而已，我这里命名为 hot。因为要获取名称和链接，所以将Type 设置为 Link，这个类型就是专门为网页链接准备的，选择 Link 类型后，会自动提取名称和链接两个属性；
Web Scraper插件使用方法

15.之后点击 select ,然后我们在网页上移动光标，会发现光标所到之处会有颜色变化，变成绿色的，表示就是我么当前选择的区域。我们将光标定位到需求里说的那一栏的某个链接处，例如第一个头条新闻，在此处单击，这个部分就会变成红色，说明已经选中了，我们的目的是要选多个，所以选中这个之后，继续选第二个，我们会发现，这一行的链接都变成了红色，没错，这就是我们要的效果。然后点击"Done selecting!"，最后别忘了勾选 Multiple ，表示要采集多条数据；.最后保存，save selector；
Web Scraper插件使用方法