资讯内容

诚信为本,卓越品质,做行业领跑者

提升爬虫效率和反爬虫的方法
作者:admin | 时间:2020-11-18 20:59:06

提升爬虫效率的方式:

1.换个更好更高级一些的硬件机器 
2.网络使用高速光纤 
3.启用多线程 
4.启用多进程 
5.采用分布式 
6.提升数据的写入速度IO

反爬虫的应对措施:

  1. 设置随机修改User-Agent

  2. 禁用Cookie追踪

  3. 放慢爬虫和正常浏览速度

  4. 使用代理,动态更换网络ip

  5. 分布式在不同区域和网络同时采集