淘宝、知乎、豆瓣......18个网站的Python爬虫登录汇总，都在这个开源项目里

来自：开源最前线（ID：OpenSourceTop）

项目地址：https://github.com/CriseLYJ/awesome-python-login-model

如果你从事数据科学领域，那么获取数据对于你来说就不可或缺，网络爬虫这一关你必须得过，而说到爬虫，大多数人想到的就是Python，因为python不仅编写调试方便，而且能够快速入门，最主要的是相关的类库十分丰富

今天，要和大家推荐的这个项目就是和Python编程有关的，这个项目介绍了如何用 Python 登录各大网站，并用简单的爬虫获取一些有用数据，目前该项目已经提供了知乎、B 站、和豆瓣等 18 个网站的登录方法。

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式，有的网站直接登录难度很大，比如qq空间，bilibili等如果采用selenium就相对轻松一些。

每一个网站都会有对应的登录代码，有的还有数据的爬取代码。下面我们以淘宝为例：

• 爬取淘宝各子标签，按销量排名商品信息，按分类保存至MongoDB

• 通过pandas进行数据分析

• 将商品在各省分布、销量排行、地图分布等通过matplotlib绘图显示

以上是淘宝爬虫相关的文件：

• taobao.py为模拟登录

• 剩下的文件为爬虫

模拟登陆的代码如下：

Bilibili自动登录测试正常，成功率98%

如果你还想查看更多示例，可以前往GitHub详情页，而且创建者也鼓励广大开发者提 Issue 或 Pull Requests。

目前该项目已经获得 6732 个Star，1127 个Fork（GitHub地址：https://github.com/CriseLYJ/awesome-python-login-model）

---

●编号795，输入编号直达本文

●输入m获取文章目录

推荐↓↓↓

Python编程

更多推荐《25个技术类公众微信》

涵盖：程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。