代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

Scrapy设置自动更新IP代理池的流程

发布时间:2019-12-05 15:12:05 来源:挂机精灵

  在scrapy中新建一个proxies.py文件,执行一下把获取的IP保存到txt文件中去

# *-* coding:utf-8 *-*
import requests
from bs4 import BeautifulSoup
import lxml
from multiprocessing import Process, Queue
import random
import json
import time
import requests


class Proxies(object):
    """docstring for Proxies"""

    def __init__(self, page=3):
        self.proxies = []
        self.verify_pro = []
        self.page = page
        self.headers = {
            'Accept': '*/*',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8'
        }
        self.get_proxies()
        self.get_proxies_nn()

    def get_proxies(self):
        page = random.randint(1, 10)
        page_stop = page + self.page
        while page < page_stop:
            url = 'http://www.xicidaili.com/nt/%d' % page
            html = requests.get(url, headers=self.headers).content
            soup = BeautifulSoup(html, 'lxml')
            ip_list = soup.find(id='ip_list')
            for odd in ip_list.find_all(class_='odd'):
                protocol = odd.find_all('td')[5].get_text().lower() + '://'
                self.proxies.append(protocol + ':'.join([x.get_text() for x in odd.find_all('td')[1:3]]))
            page += 1

    def get_proxies_nn(self):
        page = random.randint(1, 10)
        page_stop = page + self.page
        while page < page_stop:
            url = 'http://www.xicidaili.com/nn/%d' % page
            html = requests.get(url, headers=self.headers).content
            soup = BeautifulSoup(html, 'lxml')
            ip_list = soup.find(id='ip_list')
            for odd in ip_list.find_all(class_='odd'):
                protocol = odd.find_all('td')[5].get_text().lower() + '://'
                self.proxies.append(protocol + ':'.join([x.get_text() for x in odd.find_all('td')[1:3]]))
            page += 1

    def verify_proxies(self):
        # 没验证的代理
        old_queue = Queue()
        # 验证后的代理
        new_queue = Queue()
        print('verify proxy........')
        works = []
        for _ in range(15):
            works.append(Process(target=self.verify_one_proxy, args=(old_queue, new_queue)))
        for work in works:
            work.start()
        for proxy in self.proxies:
            old_queue.put(proxy)
        for work in works:
            old_queue.put(0)
        for work in works:
            work.join()
        self.proxies = []
        while 1:
            try:
                self.proxies.append(new_queue.get(timeout=1))
            except:
                break
        print('verify_proxies done!')

    def verify_one_proxy(self, old_queue, new_queue):
        while 1:
            proxy = old_queue.get()
            if proxy == 0: break
            protocol = 'https' if 'https' in proxy else 'http'
            proxies = {protocol: proxy}
            try:
                if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200:
                    print('success %s' % proxy)
                    new_queue.put(proxy)
            except:
                print('fail %s' % proxy)


if __name__ == '__main__':
    a = Proxies()
    a.verify_proxies()
    print(a.proxies)
    proxie = a.proxies
    with open('proxies.txt', 'a') as f:
        for proxy in proxie:
            f.write(proxy + '\n')

  修改代理文件middlewares.py的内容为如下:(其中with open中要改成你项目中生成的txt文件地址)

import random  
import scrapy  
from scrapy import log 

 
class ProxyMiddleWare(object):
    def process_request(self, request, spider):
        '''对request对象加上proxy'''
        proxy = self.get_random_proxy()
        print("this is request ip:" + proxy)
        request.meta['proxy'] = proxy

    def process_response(self, request, response, spider):
        '''对返回的response处理'''
        # 如果返回的response状态不是200,重新生成当前request对象
        if response.status != 200:
            proxy = self.get_random_proxy()
            print("this is response ip:" + proxy)
            # 对当前reque加上代理
            request.meta['proxy'] = proxy
            return request
        return response

    def get_random_proxy(self):
        '''随机从文件中读取proxy'''
        while 1:
            with open('此处为你项目中生成txt文件', 'r') as f:
                proxies = f.readlines()
            if proxies:
                break
            else:
                time.sleep(1)
        proxy = random.choice(proxies).strip()
        return proxy

  修改下settings文件,其中myproxies为你的项目名称

DOWNLOADER_MIDDLEWARES = {  
#    'myproxies.middlewares.MyCustomDownloaderMiddleware': 543,  
     'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':None,  
     'myproxies.middlewares.ProxyMiddleWare':125,  
     'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware':None  
}

相关资讯

代理IP对爬虫的重要性以及IP池的优质特性

大数据时代,网络数据非常多,我们即使要做个小小的数据分析,也是需要抓取非常多的网页数据来分析结果,这单靠人工获取数据是不现实的,因此大家都是使用各种采集器或者直

来源:互联网

2019-03-25 17:21:57

Python爬虫代理IP池

在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在

来源:互联网

2019-04-08 15:11:19

爬虫ip代理池搭建前需解决的问题及搭建思路

在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在

来源:互联网

2019-04-15 16:10:47

如何通过拨号VPS搭建自己的代理IP池

如何让爬虫畅通无阻地高效稳定地夜以继日地永不停息地工作,是无数爬虫工作者梦寐以求的愿望。事实再次证明,世上无难事只怕有心人,只要拥有一个独享IP池,就可以让爬虫

来源:互联网

2019-04-16 17:08:04

简述本地代理IP池的设计和日常维护

不管是爬取免费代理IP,还是购买付费代理IP,都可以在本地设计一个IP池。这样既方便使用,又可以提升工作效率。那么怎么在本地设计一个代理IP池呢?下文为大家简述

来源:挂机精灵

2019-04-22 16:41:51

独享IP池是什么?对比共享IP有哪些优势?

很多朋友都很疑惑,独享IP池是什么呢?其实从字面意思来理解很简单,独享IP池就是一个人独享的IP池,这些IP归你一个人使用,想怎么使用就怎么使用。那么独享代理I

来源:挂机精灵

2019-04-28 16:27:29

怎么设计和维护本地动态代理IP池

不管是爬取免费代理IP,还是购买付费代理IP,都可以在本地设计一个IP池。这样既方便使用,又可以提升工作效率。那么怎么设计和维护本地动态代理IP池呢?下文为大家

来源:挂机精灵

2019-06-01 15:15:39

Scrapy设置自动更新IP代理池的流程

在scrapy中新建一个proxies.py文件,执行一下把获取的IP保存到txt文件中去# *-* coding:utf-8 *

来源:挂机精灵

2019-12-05 15:12:05

SOCKS代理服务器设置流程

SOCKS代理服务器如何设置?实验室服务器不能联网,于是,如何通过我的电脑给服务器联网安装各种环境成为一大需求。(一)准备条件:硬件:一台可以SSH登录服务器的

来源:挂机精灵

2019-09-21 14:17:32

挂机精灵代理ip软件解决ip被封

   挂机精灵代理ip软件解决ip被封,现在市面上挂机软件如此之多,该怎么判断这个挂机软件是好用还是不好用呢?我们该如何选择一款适

来源:互联网

2019-02-11 15:16:07

代理ip地址隐藏自己的IP 保护隐私!

  代理ip地址隐藏自己的IP保护隐私!人们隐藏他们的IP地址的一个主要原因是,他们想在不被追踪的情况下浏览网页信息、下载一些资料等等,当然

来源:互联网

2019-02-15 16:29:03