代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

python使用ip代理抓取网页

发布时间:2019-06-27 15:39:40 来源:挂机精灵

  当我们抓取网站的一个信息的时候,如果我们访问的时段非常的频繁,很大可能会被被访问的网站检测到从而进行屏蔽,解决这个问题的方法之一就使用代理IP,在我们接入因特网上网的时候,我们的电脑会被分配一个IP,提供给我们试用,而当我们频繁访问一个网站时,该网站也正是因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。这时候如果我们再使用多个不同的headers,这时候就有多个ip+主机的组合,访问时被发现的概率又进一步减小了。

python使用ip代理抓取网页

  关于代码中ip代理的使用,下面介绍一下:

  步骤:

  1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页

  proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}

  2、定制、创建一个opener

  opener=urllib2.build_opener(proxy_support)

  3、(1)安装opener

  urlib2.install_opener(opener)

  (2)调用默认的opener

  opener.open(url)

  对于没有设置反爬虫机制的网站,我们只需要直接像上面引入ProxyHandler类进行处理,下面以访问csdn主页为例:

  import urllib

  url="http://www.csdn.net/"

  for i in range(0,10000):

  html=urllib.urlopen(url)

  print html.info()

  print i

  当使用上述代码时,当循环到20时,就会出现下面的错误

  Traceback (most recent call last):

  File "C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py", line 19, in <module>

  html=urllib.urlopen(url)

  File "C:\Python27\lib\urllib.py", line 87, in urlopen

  return opener.open(url)

  File "C:\Python27\lib\urllib.py", line 213, in open

  return getattr(self, name)(url)

  File "C:\Python27\lib\urllib.py", line 350, in open_http

  h.endheaders(data)

  File "C:\Python27\lib\httplib.py", line 997, in endheaders

  self._send_output(message_body)

  File "C:\Python27\lib\httplib.py", line 850, in _send_output

  self.send(msg)

  File "C:\Python27\lib\httplib.py", line 812, in send

  self.connect()

  File "C:\Python27\lib\httplib.py", line 793, in connect

  self.timeout, self.source_address)

  File "C:\Python27\lib\socket.py", line 571, in create_connection

  raise err

  IOError: [Errno socket error] [Errno 10060]

  这就是因为我们使用了计算机的单一ip进行频繁访问而被检测出来的。

  下面是使用了ip代理的代码:

  import urllib2

  import random

  def getHtml(url,proxies):

  random_proxy = random.choice(proxies)

  proxy_support = urllib2.ProxyHandler({"http":random_proxy})

  opener = urllib2.build_opener(proxy_support)

  urllib2.install_opener(opener)

  html=urllib2.urlopen(url)

  return html

  url="http://www.csdn.net/"

  proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080"

  "115.173.218.224:9797","110.77.0.70:80"]

  for i in range(0,10000):

  try:

  html=getHtml(url,proxies)

  print html.info()     #打印网页的头部信息,只是为了展示访问到了网页,可以自己修改成想显示的内容

  print i

  except:

  print "出现故障"

  这个代码我测试是在1096次时被检测到了,要知道我的列表中只有6个ip,如果我们增加ip的个数,那么被发现的概率是不是又会更低了。对于上面的例子中的ip代理,有可能在过了一段时间后便不能用了,这个需要自己到网上搜索最新的ip代理,进行替换。还有程序中的异常处理是为了使程序能够处理ip代码访问时出现问题的情况,因为有些ip代理在访问的时候会出现故障的,这样做了可以使程序更加健壮。

  对于有反爬虫机制的网页,下面还是以访问csdn中的博客为例:

  #coding:utf-8

  import urllib2

  import random

  def get_html(url,headers,proxies):

  random_userAget = random.choice(headers)

  random_proxy = random.choice(proxies)

  #下面是模拟浏览器进行访问

  req = urllib2.Request(url)

  req.add_header("User-Agent", random_userAget)

  req.add_header("GET", url)

  req.add_header("Host", "blog.csdn.net")

  req.add_header("Referer", "http://blog.csdn.net/?&page=6")

  #下面是使用ip代理进行访问

  proxy_support = urllib2.ProxyHandler({"http":random_proxy})

  opener = urllib2.build_opener(proxy_support)

  urllib2.install_opener(opener)

  html = urllib2.urlopen(req)

  return html

  url = "http://blog.csdn.net/?&page=3"

  """

  使用多个主机中的user_agent信息组成一个列表,当然这里面的user_agent都是残缺的,大家使用时可以自己找

  身边的小伙伴借呦

  """

  user_agents = [

  "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWe。。。hrome/45.0.2454.101 Safari/537.36",

  "Mozilla / 5.0(Windows NT 6.1) AppleWebKit / 537.。。。。likeGecko) Chrome / 45.0.2454.101Safari/ 537.36",

  "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit。。。。。Gecko) Chrome/50.0.2661.102 Safari/537.36",

  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3。。。。ML, like Gecko) Chrome/49.0.2623.112 Safari/537.36",

  "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) 。。。WebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",

  "User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKi。。。。。36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",

  "Mozilla/5.0 (Windows NT 10.0; WOW64) Apple。。。。。KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36"

  ]

  #网上的ip有可能是不能用的,需要多做尝试

  myproxies=["220.189.249.80:80","124.248.32.43:80"]

  html = get_html(url,user_agents,myproxies)

  print html.read()


相关资讯

使用网页换IP软件可以大大提高工作效率

在经济全球化大趋势下,网页换IP软件在过去的几年里为市场创造了不少价值,并成功带动不少效果补量产业发展。为何网页换IP软件能取得如此成就,归根究底还是因为它有效

来源:挂机精灵

2019-04-18 15:51:59

怎么使用代理IP访问网页

平时大家都经常需要用到代理IP,那么代理IP怎么用呢?如果只是简单访问网页的话,那是非常简单的,只要简单几步即可。接下来就来说说怎么使用代理IP访问网页。要代理

来源:挂机精灵

2019-05-11 15:25:45

IP代理工程师解读几种网页反爬虫办法及应对策略

随着现在爬虫和反爬虫越来越多,我们学习爬虫的时候,都要了解反爬虫,如果要圆满的抓取到数据达到目标,一定要先突破网站的反爬虫机制,现在就和挂机精灵来了解一下网站有

来源:挂机精灵

2019-06-04 14:12:27

python使用ip代理抓取网页

当我们抓取网站的一个信息的时候,如果我们访问的时段非常的频繁,很大可能会被被访问的网站检测到从而进行屏蔽,解决这个问题的方法之一就使用代理IP,在我们接入因特网

来源:挂机精灵

2019-06-27 15:39:40

使用代理服务器爬取网页还会被封IP吗?

使用代理服务器爬取网页还会被封IP吗?在刚开始接触python爬虫的过程中,总会遇到数据采集时,遇到爬虫被封的问题。我想大家也遇到过类似的问题,我们今天探讨下从

来源:挂机精灵

2019-08-29 14:39:53

使用代理服务器爬取网页还会被封IP吗?

最近写了个爬虫,大量访问后,会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽。所以想问一下,使用代理后还是会被屏蔽吗,有什么解决办法吗?使用高匿名代理IP就

来源:挂机精灵

2019-10-28 14:52:34

如何使用代理服务器进行网页抓取

万维网是数据的宝库。大数据的易得性、数据分析软件的迅猛发展以及日益廉价的计算能力进一步提高了数据驱动战略对竞争差异化的重要性。据Forrester的报告显示,数

来源:挂机精灵

2020-02-03 14:42:58

如何解决python爬虫的IP资源问题

大家都说现在是大数据时代,是python爬虫的天下,但python爬虫也是有天敌的,随着网络爬虫的日渐壮大,反爬虫也在不断进化,若想顺应时代发展,更好的突破网站

来源:互联网

2019-04-01 16:00:58

手机电脑怎么使用全国动态IP的方法

  有些需要更换IP的用户,不知道手机电脑怎么使用全国动态IP,其实方法非常简单,下载个挂机精灵代理IP软件即可,比手动拨号更换IP地址方便

来源:互联网

2019-02-18 17:42:49

挂机精灵代理ip软件解决ip被封

   挂机精灵代理ip软件解决ip被封,现在市面上挂机软件如此之多,该怎么判断这个挂机软件是好用还是不好用呢?我们该如何选择一款适

来源:互联网

2019-02-11 15:16:07

为何爬虫使用代理IP后依然会抓取不成功?

网络爬虫在如今的互联网领域有着特别的意义,比如我们耳熟能详的大数据,它的发展就离不开网络爬虫。然而网络爬虫也是有天敌的,那就是目标网站的反爬虫策略,爬虫在工作过

来源:挂机精灵

2019-05-06 16:24:05