python数据分析师入门-学习笔记(第五节 爬虫分类)
学习链接:Python数据分析师入门
爬虫分类
1. 聚焦爬虫
- 完成某一项特定数据的采集
- 百分之九十的爬虫
2. 通用爬虫
- 什么内容都采集,存储下来
- 搜索引擎
3. 增量爬虫
- 既可以使用聚焦爬虫,也可以使用通用爬虫
- 当内容变化时,可以爬取变化的内容
4. 暗网爬虫
- 深网爬虫
- 很少见
- 本身违法
- 完成某一项特定数据的采集
- 百分之九十的爬虫
- 什么内容都采集,存储下来
- 搜索引擎
- 既可以使用聚焦爬虫,也可以使用通用爬虫
- 当内容变化时,可以爬取变化的内容
- 深网爬虫
- 很少见
- 本身违法