网络爬虫相关库/工具/API大列表

【导读】详细罗列了用户Web抓取的工具、编程库和API列表,包括Python、PHP、Ruby、JavaScript等。




Web Scraping

The list of tools, programming libraries and APIs used in web-scraping.

  • Python

  • PHP

  • Ruby

  • JavaScript

  • Golang

  • Feel free to add your favourite language. Use new_language_template.md as start point.

  • Proxy Services

  • Web Services

  • Console tools

  • Books

Other Awesome List Projects

  • lists - List of useful, silly and awesome lists curated on GitHub

  • HeadlessBrowsers - a list of (almost) all headless web browsers in existence

Contributing

Make this list better! Your contributions are always welcome! See contributing how-to

Credits

This list partially contains data from these sources:

  • awesome-python by vinta / CC BY 4.0

  • awesome-php by ziadoz

  • awesome-ruby by markets

  • ruby-nlp by diasks2

  • awesome-javascript by sorrycc


Github Page



https://github.com/lorien/awesome-web-scraping


-END-

专 · 知


人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!


请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~

 AI 项目技术 & 商务合作:bd@zhuanzhi.ai, 或扫描上面二维码联系!

请关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知


展开全文
Top
微信扫码咨询专知VIP会员