1. zerg:基于docker的分布式爬虫服务
爬虫项目
  1. IPProxyTool:python ip proxy tool scrapy crawl. 抓取大量免费代理 ip,提取有效 ip 使用
  2. jd_comment:分布式抓取京东商品的评价信息
  3. wechat-spider:微信公众号爬虫
  4. crawlab: Distributed web crawler admin platform for spiders management regardless of languages and frameworks. http://crawlab.cn/demo