代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

使用代理IP后爬虫遇到403怎么办

发布时间:2019-04-18 16:31:56 来源:挂机精灵

  大数据时代来临,数据采集推动着数据分析,数据分析推动发展,由此网络爬虫风靡一时。但在网络爬虫运行的过程中会遇到很多问题,如爬取速度、IP被封、爬取受限等等,举个简单的荔枝,当爬取数据爬的正起劲时,突然蹦出403 Forbidden,可谓十分闹心。那么,使用代理IP后爬虫遇到403怎么办呢?

使用代理IP后爬虫遇到403怎么办

  出现问题不可避免,但我们也不要心慌不要急,关键是要找出原因,然后解决问题,比如403 Forbidden,这个错误的原因就有好几种。

  一、直接原因

  1、你的IP被列入黑名单。

  2、你在一定时间内过多地访问此网站(一般是用采集程序),被防火墙拒绝访问了。

  3、网站域名解析到了空间,但空间未绑定此域名。

  4、你的网页脚本文件在当前目录下没有执行权限。

  5、在不允许写/创建文件的目录中执行了创建/写文件操作。

  6、以http方式访问需要ssl连接的网址。

  7、浏览器不支持SSL 128时访问SSL 128的连接。

  8、在身份验证的过程中输入了错误的密码。

  9、DNS解析错误,手动更改DNS服务器地址。

  10、连接的用户过多,可以过后再试。

  11、服务器繁忙,同一IP地址发送请求过多,遭到服务器智能屏蔽。

  二、逻辑原因

  403 Forbidden是HTTP协议中的一个状态码(Status Code)。可以简单的理解为没有权限访问此站。该状态表示服务器理解了本次请求但是拒绝执行该任务,该请求不该重发给服务器。在HTTP请求的方法不是“HEAD”,并且服务器想让客户端知道为什么没有权限的情况下,服务器应该在返回的信息中描述拒绝的理由。在服务器不想提供任何反馈信息的情况下,服务器可以用404 Not Found代替403 Forbidden。

  找出了403 forbidden是由什么原因造成的,那么解决403 forbidden错误的方法就可以对症下药了。

  1、重建dns缓存

  对于一些常规的403 forbidden错误,马海祥建议大家首先要尝试的就是重建dns缓存,在运行中输入cmd,然后输入ipconfig /flushdns即可。如果不行的话,就需要在hosts文件里把主页解析一下了。

  同时,查看是否在网站虚拟目录中添加默认文档,一般默认文档为:index.html;index.asp;index.php;index.jsp;default.htm;default.asp等

  错误的原因和解决方法

  403 Forbidden

  2、修改文件夹安全属性

  用以下命令修改文件夹安全属性

  chcon -R -t httpd_user_content_t public_html/

  所用命令解析:

  ls -Z -d public_html/

  #显示文件/目录的安全语境——Z, –context

  Display security context so it fits on most displays. Displays only mode, user, group, security context and file name.-d, –directory

  list directory entries instead of contents, and do not dereference symbolic links

  chcon -R -t httpd_user_content_t public_html/

  #修改文件/目录的安全语境-R, –recursive

  change files and directories recursively-t, –type

  set type TYPE in the target security context

  3、关于apache导致的403 forbidden错误的解决办法

  打开apache的配置文件httpd.conf,找到这段代码:

  Options FollowSymLinks

  AllowOverride None

  Order deny,allow

  Deny from all

  有时候由于配置了php后,这里的“Deny from all”已经拒绝了一切连接。把该行改成“allow from all”,修改后的代码如下,问题解决。

  Options FollowSymLinks

  AllowOverride None

  Order deny,allow

  Allow from all

  之所以会出现错误,是因为大多数的国外主机在配置Apache的时候启用了mod_security,也就是开启了安全检查,如果提交的信息中包含select , % , bin等关键字,Apache就会禁止,并给出403,404,500等错误。

  4、使用优质的代理IP也是能够有效的避免遭遇403 Forbidden的重要手段,挂机精灵平台可以提供海量的IP资源,高效稳定,有效率高,性价比高,值得拥有。


相关资讯

手机电脑怎么使用全国动态IP的方法

  有些需要更换IP的用户,不知道手机电脑怎么使用全国动态IP,其实方法非常简单,下载个挂机精灵代理IP软件即可,比手动拨号更换IP地址方便

来源:互联网

2019-02-18 17:42:49

如何才能更好的挂机手游?使用挂机精灵

手游给人带来很乐趣,令人烦恼的是,手游漫长的练级的过程,解决这个烦恼的方法就是手游挂机,让其自动升级打怪。那么,如何才能玩手游呢?使用挂机精灵即可。如何才能更好

来源:互联网

2019-02-28 14:22:13

如何谨慎使用HTTP代理IP ?

在互联网应用逐渐广泛的今天,http代理IP给我们的工作生活带来了很大的方便,所以,http代理IP的产品代理商也是逐渐增加,很多用户陷入了选择困难症中,不知道

来源:互联网

2019-03-18 15:55:16

游戏奇迹使用代理IP挂机时一定要找一个最佳地方

挂机升级或者挂机打宝,这是我们在奇迹sf中最值得注意的,并且来说也必须是要找到一个最为合适的地方了之后,这样能够对我们产生出来的效果,也才能保证绝对是更加到位的

来源:互联网

2019-03-26 15:51:29

如何使用挂机精灵换IP投票增加人气流量

许多朋友需要用到提高流量或点击率,比如:提高自己博客访问量,增加投票人气、小说访问量,视频点击率,论坛帖子点击率等。这样就可以提高自己的排名或在网页热门信息中展

来源:互联网

2019-04-03 16:05:30

如何使用代理ip软件来维护你的隐私安全?

早前,代理ip并没有被人们时长接触到,更早之前,甚至有人还不知道什么ip,更别说代理ip了。但是随着时代的发展,以及互联网的不断进步,越来越多的人也就开始意识到

来源:互联网

2019-04-13 15:00:01

如何使用IP代理软件防封锁

账号被封锁了怎么办?可以使用IP代理软件防封锁,下面就来教一教大家如何使用IP代理软件防封锁。越来越多的现代人已经学会使用网络,上至大爷大妈,下至几岁的孩童,网

来源:互联网

2019-04-15 16:06:22

换ip软件后网络无法连接怎么办?

如今使用换ip软件的人逐渐增多,不可避免的会碰上换ip软件账号无法正常连接的情况。这就要求我们必须保证自己的账户名和密码是对的,有一部分软件网站是邮箱名,部分是

来源:互联网

2019-03-31 10:45:00

使用代理IP后爬虫遇到403怎么办

大数据时代来临,数据采集推动着数据分析,数据分析推动发展,由此网络爬虫风靡一时。但在网络爬虫运行的过程中会遇到很多问题,如爬取速度、IP被封、爬取受限等等,举个

来源:挂机精灵

2019-04-18 16:31:56

如何高效获取大数据?ip代理:用爬虫!

在不同的操作系统中,Python存在细微的差别,因此有几点您需要牢记在心。这里小编使用的是Python3版本。Python自带一个在终端窗口中运行的解释器,让您

来源:互联网

2019-03-22 16:27:55

频繁更换服务器IP的后果你承担得起吗?

频繁更换服务器IP大多可以归结为两个原因,IP被封或更换服务器,前者相对更多。一般来说,一次或两次更换IP并不会有很大的影响,最多是流量部分减少或收录减少,但这

来源:互联网

2019-03-21 14:53:34