biji/工具/爬取代理ip的思路.md

16 lines
292 B
Markdown
Raw Normal View History

2020-04-04 12:14:27 +08:00
第一次运行 爬取所有
2020-04-04 12:14:57 +08:00
验证 存数据库
全部完成之后 记录最后运行时间
2020-04-04 12:15:27 +08:00
每日更新 判断最后时间 判断库中是否含有
2020-04-04 12:15:57 +08:00
2020-04-04 13:11:57 +08:00
执行完成之后存库标识
数据表
2020-04-04 13:12:27 +08:00
ip列表
2020-04-04 13:11:57 +08:00
- ip
- 端口
2020-04-04 13:12:27 +08:00
- 最后验证时间
信息表
2020-04-04 13:12:57 +08:00
- 最后更新时间
2020-04-04 13:14:27 +08:00
- 是否完全爬取过