首页 › 教程频道› php教程 › 查看内容

抓取时ip被封禁有关问题

作者：模板之家 2020-10-31 15:17 165人关注

抓取时ip被封禁问题本帖最后由zzfkyo于2013-11-2422:36:33编辑最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且,抓取时ip被封 ...

抓取时ip被封禁问题

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑

最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？

snoopy 抓取封ip

原作者: 互联网来自: 网络收集

上一篇：怎么在网站接入支付宝功能

下一篇：CakePHP源目录默认显示index.php

		自动登录	找回密码
密码			立即注册

搜索本站精品资源