专知内容生产基石-数据爬取采集利器WebCollector 介绍

今天给大家介绍下我们专知数据采集系统的基石-WebCollector。 作为主流JAVA开源爬虫框架(GitHub上1500+Stars),WebCollector 轻量级、便于二次开发的特点得到了众多数开发者的选取与喜爱。特别与大家分享的是WebCollector的作者Hujunxianligong大神就是我们专知团队的成员。下面开始给大家简单介绍下WebCollector的特性以及在专知的应用。





WebCollector简介



WebCollector 是一个无须配置、便于二次开发的 Java 爬虫框架(内核),它提供精简的的 API,只需编写配置少量代码即可实现一个功能强大的爬虫系统。WebCollector -Hadoop 是 WebCollector 的 Hadoop 版本,支持分布式爬取。


WebCollector入口:百度Google 直接搜索 WebCollector即刻获取。

Github上地址:https://github.com/CrawlScript/WebCollector


1)内核构架图


WebCollector的任务执行流程如上,包括爬取任务生成更新调度管理、任务执行数据爬取、爬取数据信息抽取以及持久化存储。


2)WebCollector 2.x 特性

WebCollector 现已经为2.71版本,基本特性有:

  • 自定义遍历策略,可完成更为复杂的遍历业务,例如分页、AJAX

  • 可以为每个 URL 设置附加信息(MetaData),利用附加信息可以完成很多复杂业务,例如深度获取、锚文本获取、引用页面获取、POST 参数传递、增量更新等。

  • 使用插件机制,用户可定制自己的Http请求、过滤器、执行器等插件。

  • 内置一套基于内存的插件(RamCrawler),不依赖文件系统或数据库,适合一次性爬取,例如实时爬取搜索引擎。

  • 内置一套基于 Berkeley DB(BreadthCrawler)的插件:适合处理长期和大量级的任务,并具有断点爬取功能,不会因为宕机、关闭导致数据丢失。

  • 集成 selenium,可以对 JavaScript 生成信息进行抽取

  • 可轻松自定义 http 请求,并内置多代理随机切换功能。 可通过定义 http 请求实现模拟登录。

  • 使用 slf4j 作为日志门面,可对接多种日志

  • 使用类似Hadoop的Configuration机制,可为每个爬虫定制配置信息。


3)WebCollector 使用

  • 官网: 

    https://github.com/CrawlScript/WebCollector

  • 镜像: 

    http://git.oschina.net/webcollector/WebCollector


在Eclipse、Netbeans、Intellij等IDE参照Github配制Maven即可使用,或者使用Jar包。

<dependency>    <groupId>cn.edu.hfut.dmic.webcollector</groupId>    <artifactId>WebCollector</artifactId>    <version>2.71</version> </dependency>


自动爬取新闻网站的例子通过简单配制即可完成:

更多实用请访问WebCollector 主页或者

WebCollector项目主页 http://datahref.com/




WebCollector在专知的使用



我们基于WebCollector构建了实时定点数据采集系统,针对全网的AI内容进行精选采集。基本框架如下图所示。



数据采集系统包含代理配置管理、下载器、调度器、内容解析、控制器等,来可扩展性地可配置化采集内容。


 

感兴趣的同学加入专知——数据采集交流群(请先加微信小助手weixinhao: Rancho_Fang)或者是QQ群专知-人工智能交流群 426491390 


欢迎大家使用专知!点击阅读原文即可访问,访问获取更多专知技术算法资源。


同时请,关注我们的公众号,获取最新关于专知以及人工智能的资讯、技术、算法等内容。扫一扫下方关注。



阅读更多:了解使用专知,为你提供一站式AI知识服务。

专知,一个新的认知方式!

构建AI知识体系-专知主题知识树简介

一图了解人工智能知识体系大全-专知主题知识树人工智能可视化

专知主题知识树可视化系列-一图了解大数据分析、编程语言、系统架构的知识体系大全

展开全文
Top
微信扫码咨询专知VIP会员