代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

如何使用代理IP爬取到网站的指定数据

发布时间:2019-04-28 15:45:03 来源:挂机精灵

  如何使用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此IP地址已经存到了IP.txt中),我们就可以利用爬取到的IP来作为代理IP,进一步爬取这个网站上我们所需要的IP。

如何使用代理IP爬取到网站的指定数据

  代码如下:

from bs4 import BeautifulSoup
import re
import time
import requests
import random
from fake_useragent import UserAgent

def get_ip_list():
	f = open('IP.txt','r')
	ip_list = f.readlines()
	# print(ip_list)
	f.close()
	return ip_list

def get_random_ip(ip_list):
	proxy_ip = random.choice(ip_list)
	proxy_ip = proxy_ip.strip('\n')
	proxies = {'https': proxy_ip}
	return proxies

def get_content(url, ip_list):
	print("get_content函数执行!")
	try:
		try:
			time.sleep(1)
			proxies = get_random_ip(ip_list)
			headers = {'User-Agent':str(UserAgent().random)}
			print(proxies)

			req = requests.get(url=url, proxies=proxies,headers=headers,timeout=20)#, proxies=proxies,headers=headers,timeout=20
			print("requests请求成功")
		except:
			print("重新运行")
			time.sleep(10)
			proxies = get_random_ip(ip_list)
			headers = {'User-Agent':str(UserAgent().random)}
			req = requests.get(url=url, proxies=proxies,headers=headers,timeout=40)
	except:
		print("第二次重新运行")
		time.sleep(15)
		proxies = get_random_ip(ip_list)
		headers = {'User-Agent':str(UserAgent().random)}
		req = requests.get(url=url, proxies=proxies,headers=headers)
	req.encoding = 'utf-8'
	soup = BeautifulSoup(req.text, 'lxml')


	ips = soup.find_all('tr')
	ip_final_list = []
	for i in range(1, len(ips)):
		ip_info = ips[i]
		tds = ip_info.find_all('td')
		if not tds[7].find('div',class_='bar_inner fast') == None:
			#out = re.findall('<td>(.*?)</td>', str(tds[8]))
			if tds[8].text.find('天') != -1:
				tb = tds[8].text
				tb = tb[:-1]
				if int(tb) > 10:
					ip_final_list.append(tds[1].text + ':' + tds[2].text)
				#print(out)
	return ip_final_list			
if __name__ == '__main__':
	
	for i in range(1,2):
		url = 'http://www.xicidaili.com/wt/{}'.format(i)
		ip_list = get_ip_list()
		
		for ip in get_content(url, ip_list):
			
			f2 = open('NewFile.txt','a+')

			f2.write('http://'+ip)
			f2.write('\n')
			f2.close()

  其实大部分代码与爬取代理IP差不多,不同点在于,此代码我使用了代理IP来爬取以及我爬取到的IP要为存活时间大于10天并且连接时间的那一条要为绿色。

相关资讯

如何判断IP是否是网站真实IP?

我们自己搭建代理IP时,我们很难判断IP是是否是网站真实IP,那么小编在这里教大家几个判断方法。1、Nslookup法黑客一般nslookup想要查的域名,若是

来源:互联网

2019-02-27 15:25:16

网站SEO优化——更换服务器IP地址注意事项

大家在运营网站的过程中,可能会遇到需要更换网站主机IP的情况,原因可能有:1、IP被封,服务器IP在国内被封,比较常见;2、IP被搜索引擎惩罚,同IP下出现违规

来源:互联网

2019-03-21 14:45:27

如何通过代理IP增加某网站文章浏览量

很多时候,刚发布的文章没什么浏览量,为了吸引读者,很多朋友可能会使用代理IP来增加一些初始浏览量。我们知道,有些网站的文章并不是刷新几次就会增加几个浏览量,需要

来源:挂机精灵

2019-04-22 15:56:41

如何利用代理IP爬取京东网站手机数据

在爬虫过程中如果经常用自己的IP进行爬虫会出现IP被封的可能,这就要用到代理技术,通过爬取代理网站的IP地址,每次爬取页面就随机选择一个IP地址进行爬取,这样就

来源:挂机精灵

2019-04-28 15:18:07

如何使用代理IP爬取到网站的指定数据

如何使用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此I

来源:挂机精灵

2019-04-28 15:45:03

访问被封网站的几种常见代理服务器方式

被封、被屏蔽的网站可以通过国外代理服务器来访问,下面介绍访问被封网站的几种常见代理服务器方式。第一种:直接使用HTTP代理服务器的IP地址和端口(适用于IE、F

来源:挂机精灵

2019-05-05 16:24:18

如何提升网站排名?需要用换IP软件吗?

建立网站很简单,但是想要运营推广网站就比较复杂,有很多需要注意和操作的地方,像网站的推广优化,就需要使用很多平台和工具型产品,像百度指数、友盟数据统计、IP代理

来源:挂机精灵

2019-05-09 15:44:34

如何高效获取大数据?ip代理:用爬虫!

在不同的操作系统中,Python存在细微的差别,因此有几点您需要牢记在心。这里小编使用的是Python3版本。Python自带一个在终端窗口中运行的解释器,让您

来源:互联网

2019-03-22 16:27:55

为了营销批量注册账号,IP更换是如何操作的?

很多用户在做问答营销时都遇到过这些情况,比如在一些网站上面批量注册帐号、发布留言评论,或在使用一些即时通讯软件频繁发送消息等等这些行为都会遇到系统的IP限制,限

来源:互联网

2019-02-26 17:38:59

经常听人说动态IP和静态IP,你知到它们的区别吗?

动态IP地址和静态IP地址是局域网计算机设置地址的两种形式。经常听人说动态IP和静态IP,你知到它们的区别吗?1、动态IP上网,又叫做DHCP上网。自动获取IP

来源:互联网

2019-02-27 18:05:48

爬虫如何爬取大众点评团购信息的

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需

来源:互联网

2019-04-02 16:54:59

在线客服
大客户VIP渠道2
点击这里给我发消息
讨论QQ群
挂机精灵动态换IP
客服电话
400-998-9776转2