代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

使用User Agent和代理IP隐藏身份

发布时间:2019-06-26 15:38:47 来源:挂机精灵

  如何使用User Agent和代理IP隐藏身份?下文为大家一一梳理,快来看看吧!

使用User Agent和代理IP隐藏身份

  一、为何要设置 User Agent

  有一些网站不喜欢被爬虫程序访问,所以会检测连接对象,如果是爬虫程序,也就是非人点击访问,它就会不让你继续访问,所以为了要让程序可以正常运行,需要隐藏自己的爬虫程序的身份。此时,我们就可以通过设置User Agent的来达到隐藏身份的目的,User Agent的中文名为用户代理,简称UA。

  User Agent存放于Headers中,服务器就是通过查看Headers中的User Agent来判断是谁在访问。在Python中,如果不设置User Agent,程序将使用默认的参数,那么这个User Agent就会有Python的字样,如果服务器检查User Agent,那么没有设置User Agent的Python程序将无法正常访问网站。

  Python允许我们修改这个User Agent来模拟浏览器访问,它的强大毋庸置疑。

  二、常见的 User Agent

  1.Android

  Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19

  Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30

  Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

  2.Firefox

  Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0

  Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0

  3.Google Chrome

  Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36

  Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.133 Mobile Safari/535.19

  4.iOS

  Mozilla/5.0 (iPad; CPU OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3

  Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/3A101a Safari/419.3

  上面列举了Andriod、Firefox、Google Chrome、iOS的一些User Agent,直接copy就能用。

  三、 IP代理的使用

  1.为何使用IP代理

  UA 已经设置好了,但是还应该考虑一个问题,程序的运行速度是很快的,如果我们利用一个爬虫程序在网站爬取东西,一个固定 IP的访问频率就会很高,这不符合人为操作的标准,因为人操作不可能在几ms内,进行如此频繁的访问。所以一些网站会设置一个IP访问频率的阈值,如果一个IP访问频率超过这个阈值,说明这个不是人在访问,而是一个爬虫程序。

  2.代理IP选取

  在写代码之前,先在代理IP网站选好一个IP地址, 这里推介亿牛云代理。他们家产品比较齐全, api接口调用和动态转发调用都支持,而且代理是自营线路,电信专线。我稳定性,可用性,速度吗,延迟都是非常好的。这里就展示下他们的动态转发代理进行示例,动态转发就是他们会提供一个固定的ip地址给你,,直接配置到程序里面就可以使用,不需要自己去调用ip,也不需要自己管理ip池,使用起来超级方便简单,对于懒人来说绝对是最好的选择。

  代码示例,这里是以 python为例子

  1、Python¶

  requests

  #! -*- encoding:utf-8 -*-

  import requests

  import random

  # 要访问的目标页面

  targetUrl = "http://httpbin.org/ip"

  # 要访问的目标HTTPS页面

  # targetUrl = "https://httpbin.org/ip"

  # 代理服务器

  proxyHost = "t.16yun.cn"

  proxyPort = "31111"

  # 代理隧道验证信息

  proxyUser = "username"

  proxyPass = "password"

  proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

  "host" : proxyHost,

  "port" : proxyPort,

  "user" : proxyUser,

  "pass" : proxyPass,

  }

  # 设置 http和https访问都是用HTTP代理

  proxies = {

  "http"  : proxyMeta,

  "https" : proxyMeta,

  }

  #  设置IP切换头

  tunnel = random.randint(1,10000)

  headers = {"Proxy-Tunnel": str(tunnel)}

  resp = requests.get(targetUrl, proxies=proxies, headers=headers)

  print resp.status_code

  print resp.text


相关资讯

代理ip地址隐藏自己的IP 保护隐私!

  代理ip地址隐藏自己的IP保护隐私!人们隐藏他们的IP地址的一个主要原因是,他们想在不被追踪的情况下浏览网页信息、下载一些资料等等,当然

来源:互联网

2019-02-15 16:29:03

如何通过隐藏IP来防御DDOS攻击

如何通过隐藏IP来防御DDOS攻击?现在这个互联网环境很难保证自己不会被DDOS攻击,为了保证服务器的正常稳定运行,隐藏服务器真实IP是个不错的方法,这可以让攻

来源:互联网

2019-04-10 16:27:03

怎么通过隐藏服务器真实IP来防御DDOS攻击

现在这个互联网环境很难保证自己不会被DDOS攻击,为了保证服务器的正常稳定运行,隐藏服务器真实IP是个不错的方法,这可以让攻击者找不到攻击目标,从而有效地保护网

来源:互联网

2019-04-16 16:07:27

代理IP能隐藏自己的真实IP吗

代理IP的作用越来越大,有用来做爬虫的,有用来做批量注册的,还有用来投票的等等,还有很多用来隐藏自己真实的IP,也有很多朋友有所疑问,代理IP真的能隐藏自己的真

来源:挂机精灵

2019-04-24 16:05:22

IP地址泄露有什么风险?挂机精灵教你如何隐藏真实IP

随着互联网的普及,人们通过网络获取信息以及购买商品,操作过程中IP地址可能会泄露。对IP地址泄露,大家通过各种的影视作品,可以知晓通过IP地址可以做很多的事情。

来源:挂机精灵

2019-05-17 16:17:13

代理IP隐藏真实IP保护隐私

我们在上网的过程中,一不小心个人信息就会别泄露,如果落到不法分子手中,甚至造成一些经济损失,所以保护隐私是很重的。代理IP就是更换我们真实IP的软件,可以隐藏真

来源:挂机精灵

2019-06-15 14:44:08

代理ip有啥功能?能否隐藏自己的真实ip?

大数据时代,我们需要海量的信息去帮助我们分析市场、分析用户;我们也需要在网络营销过程中做出高效的执行动作,或者控制活动不要超出预算范围;我们也需要在必要的时候隐

来源:挂机精灵

2019-06-26 15:37:02

挂机精灵代理ip软件解决ip被封

   挂机精灵代理ip软件解决ip被封,现在市面上挂机软件如此之多,该怎么判断这个挂机软件是好用还是不好用呢?我们该如何选择一款适

来源:互联网

2019-02-11 15:16:07

经常听人说动态IP和静态IP,你知到它们的区别吗?

动态IP地址和静态IP地址是局域网计算机设置地址的两种形式。经常听人说动态IP和静态IP,你知到它们的区别吗?1、动态IP上网,又叫做DHCP上网。自动获取IP

来源:互联网

2019-02-27 18:05:48

使用User Agent和代理IP隐藏身份

如何使用UserAgent和代理IP隐藏身份?下文为大家一一梳理,快来看看吧!一、为何要设置UserAgent有一些网站不喜欢被爬虫程序访问,所以会检测连接对象

来源:挂机精灵

2019-06-26 15:38:47

使用高匿代理IP怎样不暴露本机身份?

网站服务器是否会通过一些浏览器其他信息分析出本机真实身份,怎样应对才能完全匿名?高匿IP理论上不会暴露你的本机身份的,这是由高匿IP的属性决定的:REMOTE_

来源:挂机精灵

2019-06-11 15:09:26