随时大数据时代的日益发展，数据信息成为很多工作的基准，如何有效地提取并利用这些信息成为一个巨大的挑战，为了解决这一问题，定向抓取相关网页资源的聚焦爬虫应运而生。现在越来越多的网站设置了反爬虫机制，那么这些网站是怎么发现爬虫在采集网站信息呢？
1、封锁IP检测：就是检测用户IP访问的速度，如果访问速度达到设置的阈值，就会开启限制封锁IP，让爬虫终止无法继续获取数据。针对封锁IP检测，可以用神龙HTTP代理IP，大量IP地址可供切换，实现突破IP限制。
2、请求头检测：爬虫不是用户，在访问时没有其他特征，网站可以通过检测爬虫的请求头来检测对方到底是用户还是爬虫。
3、验证码检测：登陆验证码限制设置，若是没有输入正确的验证码，将不能再获取到信息。由于爬虫可以借用其他的工具识别验证码，故网站不断的加深验证码的难度，从普通的纯数据研验证码到混合验证码，还是滑动验证码，图片验证码等。
4.cookie检测：浏览器会保存cookie，因此网站会通过检测cookie来识别你是否是真实的用户，若是爬虫没有伪装好，将会触发被限制访问。
网站可以通过以上的方法来监测爬虫，爬虫从业人员也可以根据这些方法逐个击破，爬虫和反爬虫是一场长久的攻坚战。
