好久没有写博客了~~ 自从换了工作就一直忙 一直忙~~ 现在腾出点时间,记录一下最近遇到的一些问题
最近主要写了 大众点评 美团 和饿了么的一些东西 ,这里不纠结具体细节,只说一下遇到的各种坑
1.大众点评: 在3个中 我觉得难度最低吧,最坑的一点是ip验证,一个ip只有通过了验证码 才能访问一些东西,但是这个可以通过其它接口绕过,然后不用登陆账号 通过h5 / 小程序 接口,能获取到几乎所有想要的信息
2.美团: 美团算是难度第二的, 最坑的反爬技术 店铺id 每天都在改变~~~,使用老id 只能访问foods 页面,请求不了 评论页面,但是可以通过一些接口,得到最新的店铺id ,同样 美团不需要登陆
3.饿了么:饿了么是这3个中最坑的!!! 店铺id每天都改变,大部分通过h5/小程序得到的店铺id 在第3天就不能访问了,这里的不能访问,直接报没有该店铺,还有 ,必须登陆才能获取到信息,还有一个 在访问店铺的一些信息时,一个账号美团无滑动验证码访问5次,滑动了验证码以后能访问5次,然后改账号短时间内被ban~~~~
然后总结下 这3个网站 都不需要研究js,都是在服务器端做了各种限制,想要爬取 需要ip ,如果只是获取一边数据还好,如果需要维护数据,对于饿了么就只能每天都更新店铺id~!!!!!
