不会编程也能爬数据!3个爬虫小工具教你实现~

2017 年 11 月 18 日 THU数据派


来源:DataCastle数据城堡

本文经「DataCastle数据城堡」授权转载,禁止二次转载

本文长度为1144个字,建议阅读5分钟

本文为你分享3个爬数据的小工具,零技术基础也能学会呦!


当前的主流爬虫手段是用Python编程,Python的强大毋庸置疑,但初学者学习Python还是需要一两个月时间的。有没有一些更简单的爬取数据方法呢?答案是有的,我们为你准备了如下小工具,对于每个小工具你只需要花十几分钟时间,跟着我的步骤走一遍就可以掌握它啦~


一、Microsoft Excel   


首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~


1. 新建Excel,打开它,如下图所示



2. 点击“数据”——“自网站”



3. 在弹出的对话框中输入目标网址,这里以全国实时空气质量网站(http://www.pm25.in/rank)为例,点击转到,再导入



选择导入位置,确定



4. 结果如下图所示,怎么样,是不是很赞?



5. 如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可



二、Google Sheet


使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话,下面我们就开始吧~


1. 打开Google Sheet网站:http://www.google.cn/sheets/about/



2. 在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格



新建的表格如下:



3. 打开要爬取的目标网站,一个全国实时空气质量网站http://www.pm25.in/rank,目标网站上的表格结构如下图所示



4. 回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表


对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://www.pm25.in/rank","table",1),回车后就爬得数据啦




5. 将爬取好的表格存到本地



是不是感觉超级简单?


三、you-get


这是一个程序员基于python 3开发的项目,已经在github上面开源,支持64个网站,包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方,即使是名单上没有的网站,当你输入链接,程序也会猜测你想要下载什么,然后帮你下载。


当然you-get要在python3环境下进行安装,用pip安装好后,在终端输入“you
get+
你想下载资源的链接”就可以等着收藏资源了。


这里给一个you-get的中文使用说明(http://dwz.cn/4rb53l),按照说明上写的按步骤操作就可以啦。


登录查看更多
0

相关内容

Excel 是微软 Office 套件中的重要组成部分,与 Word 等一并为办公、教育等领域广受欢迎的应用软件。
【2020新书】实战R语言4,323页pdf
专知会员服务
98+阅读 · 2020年7月1日
【2020新书】从Excel中学习数据挖掘,223页pdf
专知会员服务
85+阅读 · 2020年6月28日
【实用书】Python机器学习Scikit-Learn应用指南,247页pdf
专知会员服务
257+阅读 · 2020年6月10日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
160+阅读 · 2020年5月14日
【实用书】Python爬虫Web抓取数据,第二版,306页pdf
专知会员服务
115+阅读 · 2020年5月10日
【书籍推荐】简洁的Python编程(Clean Python),附274页pdf
专知会员服务
173+阅读 · 2020年1月1日
用 Python 开发 Excel 宏脚本的神器
私募工场
26+阅读 · 2019年9月8日
Python用法速查网站
Python程序员
17+阅读 · 2018年12月16日
推荐一些适合小白练手的Python项目
数据挖掘入门与实战
6+阅读 · 2018年5月17日
干货 | Python 爬虫的工具列表大全
机器学习算法与Python学习
10+阅读 · 2018年4月13日
Python 杠上 Java、C/C++,赢面有几成?
CSDN
6+阅读 · 2018年4月12日
Python 爬虫实践:《战狼2》豆瓣影评分析
数据库开发
5+阅读 · 2018年3月19日
Python3爬虫之入门和正则表达式
全球人工智能
7+阅读 · 2017年10月9日
python pandas 数据处理
Python技术博文
3+阅读 · 2017年8月30日
【宁波站】网络爬虫与文本挖掘
数萃大数据
4+阅读 · 2017年7月19日
Two Stream 3D Semantic Scene Completion
Arxiv
4+阅读 · 2018年7月16日
Arxiv
3+阅读 · 2018年4月5日
Arxiv
11+阅读 · 2018年1月11日
VIP会员
相关VIP内容
【2020新书】实战R语言4,323页pdf
专知会员服务
98+阅读 · 2020年7月1日
【2020新书】从Excel中学习数据挖掘,223页pdf
专知会员服务
85+阅读 · 2020年6月28日
【实用书】Python机器学习Scikit-Learn应用指南,247页pdf
专知会员服务
257+阅读 · 2020年6月10日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
160+阅读 · 2020年5月14日
【实用书】Python爬虫Web抓取数据,第二版,306页pdf
专知会员服务
115+阅读 · 2020年5月10日
【书籍推荐】简洁的Python编程(Clean Python),附274页pdf
专知会员服务
173+阅读 · 2020年1月1日
相关资讯
用 Python 开发 Excel 宏脚本的神器
私募工场
26+阅读 · 2019年9月8日
Python用法速查网站
Python程序员
17+阅读 · 2018年12月16日
推荐一些适合小白练手的Python项目
数据挖掘入门与实战
6+阅读 · 2018年5月17日
干货 | Python 爬虫的工具列表大全
机器学习算法与Python学习
10+阅读 · 2018年4月13日
Python 杠上 Java、C/C++,赢面有几成?
CSDN
6+阅读 · 2018年4月12日
Python 爬虫实践:《战狼2》豆瓣影评分析
数据库开发
5+阅读 · 2018年3月19日
Python3爬虫之入门和正则表达式
全球人工智能
7+阅读 · 2017年10月9日
python pandas 数据处理
Python技术博文
3+阅读 · 2017年8月30日
【宁波站】网络爬虫与文本挖掘
数萃大数据
4+阅读 · 2017年7月19日
Top
微信扫码咨询专知VIP会员