biji/工具/爬取代理ip的思路.md
2020-04-04 13:15:57 +08:00

17 lines
318 B
Markdown

第一次运行 爬取所有
验证 存数据库
全部完成之后 记录最后运行时间
每日更新 判断最后时间 判断库中是否含有
执行完成之后存库标识
数据表
ip列表
- ip
- 端口
- 最后验证时间
信息表
- 最后更新时间
- 是否完全爬取过
- 最后更新的ip时间