@程序员，一文让你掌握Python爬虫！

点击上方“程序人生”，选择“置顶公众号”

第一时间关注程序猿（媛）身边的故事

数据是创造和决策的原材料，高质量的数据都价值不菲。而利用爬虫，我们可以获取大量的价值数据，经分析可以发挥巨大的价值，比如：

豆瓣、知乎：爬取优质答案，筛选出各话题下热门内容，探索用户的舆论导向。

淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

搜房、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。

拉勾、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。

雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。

爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。

掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。

何为爬虫？简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

今天我们来讲一个爬虫实例。爬取当当网数据以及图片。

一、首先我们需要安装python环境

  二、安装编辑器，这里我们就选pycharm吧，安装只需要默认选择即可。

1.第一种安装库模块的方式为：打开 Pycharm IDE，选择 file-Settings，如下图所示

这时我们选择右方的"+"符号，如下图所示：

三、上代码！我们用的是scrapy框架~

1.首先设置settings包括设置数据库基础信息，你的pipeline,还有图片下载位置

2.item设置存入数据库字段为后期存入数据库做准备

3.spider.py文件，主要通过请求地址，发送请求，将返回数据返回到parse方法，在parse方法中利用选择器去选择我们需要存入数据库的字段，以及设置需要爬去多少页

4.pipeline是用存储数据的文件，将数据存入数据库，操作数据的

5.运行

结果！！！！

数据库

爬取的图片

这样爬取信息效率很高哒~你看，这一条学习路径下来，你已然可以成为老司机了，非常的顺畅。所以在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆瓣、小猪这种简单的入手），直接开始就好。

Python从0到1的学习之道

如果你有心学习Python，为了避免漫无目且零散地学习，在这里，我推荐下CSDN学院出品《 Python 全栈工程师》，通过4个月的系统学习，目标是成为优秀的Python工程师。

联系CSDN学院小姐姐，获取一对一专属服务

（包括：IT职场规划服务/专属折扣）

（不是套路，仅为推荐）。因为学习任何一种编程语言，你都需要专业的导师、系统的课程、实战演练项目和高质量学习辅导，这不仅能帮助你节省大量时间，更能保证不会半途而废！

（我们的课程服务）

课程为这些人量身打造:

• 学生/小白：如果你自制力强、有上进心，想通过学习来改变现状，那么我们让你点亮高薪人生

• 转行必备：业余时间掌握Python开发技能，轻松实现职业转化

• 立志做全栈工程师：立志做全能型人才，一人搞定前后端！

• 网络运维转型开发：从事传统网络运维工作，想要转型，那你适合学Python。

• 准备进军AI领域：Python是人工智能首选开发语言，抢占未来，成为AI 人才，必学Python。

联系CSDN学院小姐姐，获取一对一专属服务

（包括：IT职场规划服务/专属折扣）