代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

爬虫如何爬取大众点评团购信息的

发布时间:2019-04-02 16:54:59 来源:互联网

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需要的标签信息。

爬虫如何爬取大众点评团购信息的


代码如下:


def getDealInfo(list,url,refer):


    path="D://deal_info.txt"


    headers=["团购id","团购名称","原价","团购价","销量","单项名称","单项数量","单项单价"]


    for id in list[:3]:  #数据太多,这里选前三条做demo


        try:


            info=[]


            deal_url=url+id


            html=getHtmlText(deal_url,refer)


            soup=BeautifulSoup(html,"html.parser")


 


            #爬取团购名称,原价,团购价,销量等信息


            main_info=soup.find("div",attrs={"class":"setmeal-box J_setmeal-box"})


            name=main_info.find("li")


            data=eval(name.attrs["data-eval-config"])#将字符串转换成字典格式


            info.append(id)#团购id


            info.append(data["title"])#团购名称


            info.append(data["marketPrice"])#原价


            info.append(data["price"])#团购价


            info.append(data["sold"])#销量


 


            #爬取团购里包含的各个项目的名称、单价等信息


            detail_info=soup.find("table",attrs={"class":"detail-table"})


            head=detail_info.find("thead")


            head_list=head.find_all("th")


            value=detail_info.find("tbody")


            value_list=value.find_all("td")


            item_num = int(len(value_list) / 3 - 1)  # 三个为一组减去最后一组价格组    num表示团购项目中单项的数量


            for i in range(item_num):


                for j in range(len(head_list)):


                    info.append(re.sub(r'[\r\n" "]', "", value_list[3 * i + j].text))  # 用正则表达式去除多余的\r\n和空格


            saveInfo(info,path,headers)


 


        except:


            # 显示错误信息


            traceback.print_exc()


            Continue


通过以上代码,我们就可以获得大众点评的相关团购信息了,比如:团购名称、价格、销量等。需要注意的是,在抓取数据的时候,我们要注意一下,被抓取的网站有没有对爬虫进行限制。如果有限制可以加一个请求头完全模拟浏览器的请求,也可以使用挂机精灵代理IP软件,换新的ip就能继续爬取数据了。


相关资讯

代理ip地址隐藏自己的IP 保护隐私!

  代理ip地址隐藏自己的IP保护隐私!人们隐藏他们的IP地址的一个主要原因是,他们想在不被追踪的情况下浏览网页信息、下载一些资料等等,当然

来源:互联网

2019-02-15 16:29:03

手机电脑怎么使用全国动态IP的方法

  有些需要更换IP的用户,不知道手机电脑怎么使用全国动态IP,其实方法非常简单,下载个挂机精灵代理IP软件即可,比手动拨号更换IP地址方便

来源:互联网

2019-02-18 17:42:49

七种适用于大部分游戏的防封策略

  智能手机的流行,各种游戏也跟着火爆起来,也有许多人通过游戏来赚钱,但是要注意一个问题,那就是游戏封号。辛辛苦苦练了个号,才开始赚点小钱,

来源:互联网

2019-02-20 15:46:48

挂机精灵是手游挂机的朋友梦寐以求的神器

挂机精灵是手游挂机的朋友梦寐以求的神器,想要挂机玩手游的朋友大致上可以分为两种类型:想要多开的玩家和专业玩手游赚钱的老哥,普通的玩家想通过挂机来减轻自己练级的负

来源:互联网

2019-02-26 16:30:57

为了营销批量注册账号,IP更换是如何操作的?

很多用户在做问答营销时都遇到过这些情况,比如在一些网站上面批量注册帐号、发布留言评论,或在使用一些即时通讯软件频繁发送消息等等这些行为都会遇到系统的IP限制,限

来源:互联网

2019-02-26 17:38:59

经常听人说动态IP和静态IP,你知到它们的区别吗?

动态IP地址和静态IP地址是局域网计算机设置地址的两种形式。经常听人说动态IP和静态IP,你知到它们的区别吗?1、动态IP上网,又叫做DHCP上网。自动获取IP

来源:互联网

2019-02-27 18:05:48

如何才能更好的挂机手游?使用挂机精灵

手游给人带来很乐趣,令人烦恼的是,手游漫长的练级的过程,解决这个烦恼的方法就是手游挂机,让其自动升级打怪。那么,如何才能玩手游呢?使用挂机精灵即可。如何才能更好

来源:互联网

2019-02-28 14:22:13

爬虫如何爬取大众点评团购信息的

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需

来源:互联网

2019-04-02 16:54:59

如何高效获取大数据?ip代理:用爬虫!

在不同的操作系统中,Python存在细微的差别,因此有几点您需要牢记在心。这里小编使用的是Python3版本。Python自带一个在终端窗口中运行的解释器,让您

来源:互联网

2019-03-22 16:27:55

代理服务器意味着什么

我们生活在安逸的环境中,这是事实,我们不能否认它。由于我们是孩子,他们教会我们尊重自己的利益并依靠自己的能力。这很好,但只是在某种程度上。即使我们都希望自给自足

来源:挂机精灵

2019-05-22 15:01:19

在线客服
大客户VIP渠道2
点击这里给我发消息
讨论QQ群
挂机精灵动态换IP
客服电话
400-998-9776转2