Web Scraper(网站刮板) 是一款免费的、适用于任何人,包含没有任何编程基础的爬虫工具。只需点击,点击,点击,四步使用者就能通过该插件来建立页面数据提取规则,从而快速对网页中需要的内容进行提取,最后还能把抓取的结果导出为Excel可以识别的CSV格式。它支持复杂的网站结构,数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。
注:中文翻译来自GOOGLE
Web Scraper插件概述
Web Scraper(网站刮板) 是一款免费的、适用于任何人,包含没有任何编程基础的爬虫工具。只需点击,点击,点击,四步使用者就能通过该插件来建立页面数据提取规则,从而快速对网页中需要的内容进行提取,最后还能把抓取的结果导出为Excel可以识别的CSV格式。它支持复杂的网站结构,数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。
Web Scraper插件功能
1.抓取多页
2.爬取的数据存储在本地存储中
3.多种数据选择类型
4.从动态页面提取数据(JavaScript + AJAX)
5.浏览抓取的数据
6.将抓取的数据导出为CSV
7.导入,导出站点地图
8.仅取决于Chrome浏览器
Web Scraper插件优点
1.免费
2.不受操作系统限制,只要安装Chrome浏览器即可运行
3.操作简单,易上手。(很多没有技术背景的同学,都可以快速学会)
4.功能强大:不仅可以抓静态网页,对于js动态加载的数据,也很容易抓取
Web Scraper插件支持网站
1.58同城、大众点评、美团、链家等
2.微信公众号、简书、知乎、博客等
3.淘宝、阿里巴巴、网易严选等
Web Scraper插件下载安装
1.你可以从chrome应用商店里找到Web Scraper插件,如果你的chrome应用商店无法打开,你可以在本站的下方找到Web Scraper插件下载地址。
2.离线安装的方法参照一下方法:老版本
chrome浏览器,首先在标签页输入【chrome://extensions/】进入chrome扩展程序,解压你在本站下载的插件,并拖入扩展程序页面并提醒你是否安装插件。
3.点击”添加扩展程序“即可安装。
4.最新版本的chrome浏览器直接拖放安装时会出现“程序包无效CRX-HEADER-INVALID”的报错信息,参照:
Chrome插件安装时出现"CRX-HEADER-INVALID"解决方法,安装好后即可使用。
Web Scraper插件使用方法
1.插件安装完成后会出现在浏览器右上方的插件栏中。
2.用户可以先在设置页面中对该插件的储存设置和储存类型功能进行设置。
3.windows 系统下可以使用快捷键 F12,有的型号的笔记本需要按 Fn+F12;Mac 系统下可以使用快捷键 command+option+i ;也可以直接在 Chrome 界面上操作,点击设置—>更多工具—>开发者工具
4.打开后的效果如下,其中绿色框部分是开发者工具的完整界面,红色框部分是 Web Scraper 区域,也就是我们之后要操作的部分。
5.注意:如果打开开发者工具在浏览器的右侧区域,则需要调节开发者工具位置到浏览器底部。
6.打开开发者工具,点到 Web Scraper 这个标签栏,看到分为三个部分:
7.Sitemaps:sitemap 的集合,所有创建过的 sitemap 都会在这里显示,并且可以在这里进入一个 sitemap 进行修改和数据抓取等操作。
8.Sitemap:进入某个 sitemap ,可以进行一系列的操作,如下图:
9.Create new sitemap:首先理解 sitemap ,字面意思网站地图,这里可以理解为一个入口地址,可以理解为其对应一个网站,对应一个需求,假设要获取知乎上的一个问题的回答,就创建一个 sitemap ,并将这个问题所在的地址设置为sitemap 的 Start URL,然后点击 “Create Sitemap”即可创建一个 sitemap。
10.以 hao123 页面为例,首先打开网页;
11.根据上述方法找到WebScraper的Tab,点击Create New Sitemap,里面有两个选项,import sitemap是指导入一个现成的sitemap,咱小白一般没有现成的,所以一般不选这个,选create sitemap 就好;
12.之后输入 sitemap 名称和 start url,名称只为方便我们标记,就命名为hao123(注意,不支持中文),start url 就是hao123的网址,然后点击 create sitemap;
13.之后 Web Scraper 自动定位到这个 sitemap,接下来我们添加一个选择器,点击“add new selector”;
14.首先给这个 selector 指定一个 id,就是一个便于识别的名字而已,我这里命名为 hot。因为要获取名称和链接,所以将Type 设置为 Link,这个类型就是专门为网页链接准备的,选择 Link 类型后,会自动提取名称和链接两个属性;
15.之后点击 select ,然后我们在网页上移动光标,会发现光标所到之处会有颜色变化,变成绿色的,表示就是我么当前选择的区域。我们将光标定位到需求里说的那一栏的某个链接处,例如第一个头条新闻,在此处单击,这个部分就会变成红色,说明已经选中了,我们的目的是要选多个,所以选中这个之后,继续选第二个,我们会发现,这一行的链接都变成了红色,没错,这就是我们要的效果。然后点击"Done selecting!",最后别忘了勾选 Multiple ,表示要采集多条数据;.最后保存,save selector;
16.Scrape ,开始抓取数据。
17.Sitemap hao123 下的 Browse ,可以通过浏览器直接查看抓取的最后结果,
18.最后,使用 Export data as CSV,以 CSV 格式导出,其中 hot 列是标题,hot-href 列是链接;
Web Scraper v0.3.8插件LOGO图片
Web Scraper v0.3.8 相关插件推荐
办公插件
2017-07-01 05:48:20
提供海威视讯的屏幕共享功能
专为红帆海威视频会议开发的浏览器插件
办公插件
2016-03-24 00:09:51
支持粘贴上传、拖放上传,一键复制 markdown 链接的图床
支持粘贴上传、拖放上传,一键复制 markdown 链接的图床,可自定义七牛账号信息
办公插件
2019-04-25 22:56:46
歌德书签 - Only do bookmark!(www.gede123.com)
本次更新日志:
* 修复无法导入书签的重大bug
办公插件
2015-03-07 17:20:58
Outlook Web Access的通知Chrome扩展。
的Outlook Web Access通知
为Microsoft Exchange Web服务
这个扩展做检查的MS交易所的Outlook Web Access 2010索引文件夹未读邮件。
。需要启用Exchange Web服务(EWS)。
PS请帮我提高扩展。如果你有一个错误或想法,只是给我发电子邮件,或与你的情况在GitHub上的报告。 。日Thnx
办公插件
2015-01-30 08:18:14
迅雷快传资源嗅探,下载链接快速导出
作用范围:迅雷快传资源页面,或是任何网页中包含有迅雷快传链接。
功能:在迅雷快传资源页面,或是论坛中的快传组件,增加了“复制链接”按钮。
在应用图标上显示快传源数目,打开后可以更详细的查看和选择操作。
支持Aria2任务, 快传资源一键脱机下载更方便。
办公插件
2019-04-15 01:01:11
几乎是两个简单的撤消关闭。
功能稍微少了一点,但是现在用标签的历史撤销关闭的标签!
由于简单的撤消恢复使用会话 API,因此至少需要 Chrome 37。基本用法:-单击工具栏按钮,单击 “” 按钮,显示关闭选项卡的弹出窗口出现
-单击要恢复的关闭页面-支持键盘导航
-使用设备下拉列表选择对于你可能有的问题的一些答案,其他设备
, 阅读迷你常见
办公插件
2014-12-14 00:07:05
在百度知道的提问和回答页面右侧,均自动添加新浪爱问、搜搜问问、天涯问答、知乎、360问答的相关条目。
办公插件
2022-05-03 16:22:04
一个是Flashblock工具,提供了更多的控制权的Flash内容。
FlashControl块Flash内容的网页,让你选择什么样的加载。停止响亮的视频和其他干扰自动播放你所访问的网站
留在总量控
办公插件
2022-05-03 15:15:13
Block Site - Chrome™ 网站拦截程序是一款可以让您保持专注,提高工作效率。轻松拦截任何令人分心或有害的网站。彻底杜绝耽误时间!
办公插件
2019-06-06 16:15:08
剪贴板历史 2
保留和管理剪贴板历史
搜索并浏览剪贴板历史
扩展收集任何文本注释曾经在剪贴板。它在谷歌浏览器和它外面的软件中工作。随时轻松回滚。输入字段集成与输入字段上下文菜单的集成允许您快速粘贴历史记录中的收藏夹注释或最近文本。合并历史记录并标记将两个或多个文本项目合并到新的文本项目中,可用于复制。此外,您可以向任何历史记录添加标签。
跨设备同步
办公插件
2022-05-03 16:18:28
淘宝卖家数据分析工具,店铺经营数据和宝贝销售分析,店铺流量来源、活动推广等等。
店侦探&看店宝免费淘宝/天猫商家数据分析助手工具,让你深入了解你的竞争对手!根据淘宝
办公插件
2019-01-07 10:48:01
使用IE浏览器中显示的网页。使用IE浏览器中显示的网页。IE Tab是一款专为Chrome推出的扩展程序,在chrome浏览器安装这块chrome插件后可实现在chrome标签页中以IE内核显示网页,这个扩展可
办公插件
2017-06-28 22:29:08
方便快捷地管理你的校园网
本扩展可以令你只打开chrome就可以简单快速地登入登出校园网账号。
目前的功能有:
1 swu-wifi网络的登入登出
2 swu-wifi-dorm网络的登入登出
3 任何校园网的退出账号
办公插件
2022-05-03 15:24:55
1Password是一款功能很强大的密码管理浏览器插件,最初只有OS X版本,用户存入1Password的敏感信息会使用一个主密码加密,这意味着除了知道主密码,想要破解1Password的数据文件还是需要
办公插件
2015-12-16 21:07:05
搜狐企业网盘向您提供集在线存储、实时同步、协同共享为一体的云办公平台! 云端文件100%无丢失,多账号分权限管理,轻松实现移动办公!
在163邮箱和qq个人邮箱中无缝使用搜狐企业网盘,提高用户办公效率!
如果您已有搜狐企业网盘帐号,登录搜狐企业网盘扩展程序,在163邮箱和qq个人邮箱写信页添加附件时,就可以直接从您的搜狐企业网盘中选取任意文件作为附件,方便快捷!
办公插件
2015-11-09 07:14:10
简约标签,选择适合自己的标签页
iTab是一款基于Html5的Chrome浏览器扩展应用。它提供了网站快速拨号、扩展应用快捷访问等功能来增强 Chrome 原生新标签页(New Tab)。
==============================
版本:1.1 更新日期: 2015-08-18
1. 增加壁纸切换,让导航页不再单调;
办公插件
2019-11-25 15:27:07
选品调研,销量预估
办公插件
2020-04-06 02:36:56
备份你的秘钥!不要等到为时已晚!
此扩展亦是QR码扫描器。如您已登录,则数据会自动同步至Google账户。
致想要收购此扩展的人:这个扩展有非常严格的内容安全策略,将广告插入到这个扩展中来赚钱是不可能的,所以请不要再继续给我发邮件了。
办公插件
2017-02-28 10:04:12
为行云服务•易代维提供本地化的增强功能
行云服务•易代维是傲冠公司自主研发并具备完全自主知识产权的,面向IT代维服务的工具与平台软件。它是一种互联网模式的代维平台,可在雇主和服务商之间一键发起代维任务,实时分享代维设备的远程桌面;具有免交用户口令、实时协同操作、在线会诊问题、云端录像审计的特点,帮助用户安全、可控、放心的完成代维工作。
办公插件
2019-05-05 07:48:00
自动检查出文章中的错误。在任何网站选择文字或焦点进入编辑框后,会出现“无错字”的校对按钮。点击按钮自动进行校对,并用下划线标出错误。支持 QQ邮箱、163邮箱、微博、知乎写文章等。