提升爬虫效率的方式:

1.换个更好更高级一些的硬件机器 
2.网络使用高速光纤 
3.启用多线程 
4.启用多进程 
5.采用分布式 
6.提升数据的写入速度IO

反爬虫的应对措施:

1. 设置随机修改User-Agent

2. 禁用Cookie追踪

3. 放慢爬虫和正常浏览速度

4. 使用代理,动态更换网络ip

5. 分布式在不同区域和网络同时采集