代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

代理IP怎么自动切换

发布时间:2019-05-04 16:25:00 来源:挂机精灵

  所有写搜索的朋友估计都有过和我一样的烦恼,那就是如果不断的对某一个网站进行爬行,很容易被封IP。最笨的版本就是减少爬行频率,但是在很多场景下对爬行效率是有要求的,那么最直接的办法就是不断切换实际访问的IP,来达到访问流量分散的效果。当然也有很多朋友在用一个比较贱的办法,就是用ADSL拨号方式爬行,一旦被封掉就重新拨号换个IP,这个也算一个非常取巧的手段了。

  本文重点介绍代理IP怎么自动切换,其实这个如果只是要实现,那是再简单不过了。一个爬虫在启动的时候读取一批代理IP,访问网页的时候不断轮换,这样就是一个最简单的实现。但是这样有一个比较大的问题,就是你每写一个爬虫就要实现这样的模块,多个爬虫之前还不能共享代理IP资源。

  这里我想到利用一个本地代理来实现这个效果,那么爬虫只要连接到这一个代理,他在帮忙访问最终页面的时候再使用一个代理池不断轮换。这个方案既解决了代码重复的问题,又解决了多个爬虫都要维护代理IP列表的麻烦,而且部署起来也非常简单。

  经过本方案改造前后的部署示意图:

代理IP怎么自动切换

  我这里用Jetty7的proxy server做了一个简单的例子,实现了本地代理的功能,代码非常简单,贴出来大家一起学习下吧。

public class WiseProxyServlet extends ProxyServlet {           public void service(ServletRequest req, ServletResponse res)          throws ServletException, IOException {          _client.setProxy(getProperAddress());          super.service(req, res);      }       /**       * 这应该是在一个代理池中按照一定的规则来不断切换代理       */     private Address getProperAddress() {         return new Address("222.169.11.102", 8080);     }       }

 

public class WiseProxyServer {                  public static void main(String[] args) throws Exception {               Server server = new Server();               SelectChannelConnector connector = new SelectChannelConnector();               connector.setPort(8888);               server.addConnector(connector);                              HandlerCollection handlers = new HandlerCollection();               server.setHandler(handlers);                      // Setup proxy servlet               ServletContextHandler context = new ServletContextHandler(handlers, "/", ServletContextHandler.SESSIONS);               ServletHolder proxyServlet = new ServletHolder(WiseProxyServlet.class);               context.addServlet(proxyServlet, "/*");                      // Setup proxy handler to handle CONNECT methods               ConnectHandler proxy = new ConnectHandler();               handlers.addHandler(proxy);                      server.start();           }              }

 


相关资讯

多开游戏怎么解决IP限制问题?

  很多玩游戏的玩家,同一个游戏不仅仅是玩一个号,也许是为了做任务方便,体验多种游戏角色,多开赚钱等等。但是游戏并不希望玩家多开账号利用各种

来源:互联网

2019-02-14 17:00:12

利用挂机宝软件怎么玩游戏赚钱

挂机宝软件怎么玩游戏赚钱?玩游戏除了娱乐之外,也可以赚钱的。稍微热门一些的游戏,都有一些工作室入驻,通过玩游戏来赚钱。想要玩游戏赚钱,那必然是要有自己的优势,比

来源:互联网

2019-02-15 16:52:31

手机电脑怎么使用全国动态IP的方法

  有些需要更换IP的用户,不知道手机电脑怎么使用全国动态IP,其实方法非常简单,下载个挂机精灵代理IP软件即可,比手动拨号更换IP地址方便

来源:互联网

2019-02-18 17:42:49

网络延迟怎么测试,玩游戏延迟高怎么解决?

玩游戏时网速很稳定,但是ping值高,游戏画面总是一卡一顿,总是不舒心,做了猪队友,那要怎么解决呢?小编来告诉你!延时的定义数据在网路设备之间传输(即通过服务器

来源:互联网

2019-02-27 13:54:26

玩游戏时怎么切换IP?

玩游戏时IP被封是一件非常苦恼的事情,为了避免玩游戏时IP被封,就得遵守游戏规则,但想要多开账号玩,就会被限制,想要不被封IP,就会只能更换地址,不懂的账号使用

来源:互联网

2019-03-07 15:45:12

《捕鱼来了》怎么挂机赚钱

捕鱼来了这款手游是一款很适合挂机进行赚钱游戏,为什么这么说呢,下面小编来跟大家详细讲解。怎么挂机:首先在挂机的时候,还是比较考验运气的,并不是每次挂机都是稳赚不

来源:互联网

2019-03-11 17:15:05

《完美世界》手游挂机怎么设置

在完美世界手游中挂机究竟该怎么设置呢?在完美世界手游中小伙伴们可以在日常副本里解放自己的双手,那么挂机系统究竟该怎么设置呢?下面就来看一下吧!挂机当然是需要对应

来源:互联网

2019-03-13 16:57:42

《完美世界》手游挂机时怎么自动喝药

《完美世界》手游在3月6号上线了,对于喜欢RPG游戏的玩家来说又多了一个可以选择的游戏。这款游戏是由完美世界精心打磨,并由腾讯运营的。通过运用现在最新的技术,完

来源:互联网

2019-03-15 17:04:11

挂机精灵代理ip软件解决ip被封

   挂机精灵代理ip软件解决ip被封,现在市面上挂机软件如此之多,该怎么判断这个挂机软件是好用还是不好用呢?我们该如何选择一款适

来源:互联网

2019-02-11 15:16:07

如何在游戏代练中提高效率呢?

随着王者荣耀、英雄联盟、地下城与勇士....许多游戏的火热,出现了一个新兴职业,那就是游戏代练。有的或是因为技术不行达不到段位而找代练,有的人因为搬砖太累而找代

来源:互联网

2019-03-01 16:39:20