代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

爬虫如何爬取大众点评团购信息的

发布时间:2019-04-02 16:54:59 来源:互联网

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需要的标签信息。

爬虫如何爬取大众点评团购信息的


代码如下:


def getDealInfo(list,url,refer):


    path="D://deal_info.txt"


    headers=["团购id","团购名称","原价","团购价","销量","单项名称","单项数量","单项单价"]


    for id in list[:3]:  #数据太多,这里选前三条做demo


        try:


            info=[]


            deal_url=url+id


            html=getHtmlText(deal_url,refer)


            soup=BeautifulSoup(html,"html.parser")


 


            #爬取团购名称,原价,团购价,销量等信息


            main_info=soup.find("div",attrs={"class":"setmeal-box J_setmeal-box"})


            name=main_info.find("li")


            data=eval(name.attrs["data-eval-config"])#将字符串转换成字典格式


            info.append(id)#团购id


            info.append(data["title"])#团购名称


            info.append(data["marketPrice"])#原价


            info.append(data["price"])#团购价


            info.append(data["sold"])#销量


 


            #爬取团购里包含的各个项目的名称、单价等信息


            detail_info=soup.find("table",attrs={"class":"detail-table"})


            head=detail_info.find("thead")


            head_list=head.find_all("th")


            value=detail_info.find("tbody")


            value_list=value.find_all("td")


            item_num = int(len(value_list) / 3 - 1)  # 三个为一组减去最后一组价格组    num表示团购项目中单项的数量


            for i in range(item_num):


                for j in range(len(head_list)):


                    info.append(re.sub(r'[\r\n" "]', "", value_list[3 * i + j].text))  # 用正则表达式去除多余的\r\n和空格


            saveInfo(info,path,headers)


 


        except:


            # 显示错误信息


            traceback.print_exc()


            Continue


通过以上代码,我们就可以获得大众点评的相关团购信息了,比如:团购名称、价格、销量等。需要注意的是,在抓取数据的时候,我们要注意一下,被抓取的网站有没有对爬虫进行限制。如果有限制可以加一个请求头完全模拟浏览器的请求,也可以使用挂机精灵代理IP软件,换新的ip就能继续爬取数据了。


相关资讯

爬虫如何爬取大众点评团购信息的

今天我们就来看下,爬虫是如何爬取大众点评团购信息的。在抓取之前,我们首先打开大众点评团购页面,输入关键词进行搜索,在想要爬取的页面右键查看网页源代码,查找我们需

来源:互联网

2019-04-02 16:54:59

http代理是怎样爬取数据的

http代理是怎样爬取数据的?http代理存在2种形式,下面为大家简单的介绍一下。第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端

来源:互联网

2019-04-16 16:18:27

如何利用代理IP爬取京东网站手机数据

在爬虫过程中如果经常用自己的IP进行爬虫会出现IP被封的可能,这就要用到代理技术,通过爬取代理网站的IP地址,每次爬取页面就随机选择一个IP地址进行爬取,这样就

来源:挂机精灵

2019-04-28 15:18:07

http代理是如何爬取数据的

http代理是如何爬取数据的?http代理存在2种形式,下面为大家简单的介绍一下。第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端

来源:挂机精灵

2019-04-28 15:39:25

如何使用代理IP爬取到网站的指定数据

如何使用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此I

来源:挂机精灵

2019-04-28 15:45:03

使用动态IP代理爬取网站的都是哪些爬虫

使用动态IP代理爬取网站的都是哪些爬虫?在写爬虫程序的时候,当抓取频率较快或者抓取一些robots.txt禁爬路径,肯定会碰到被网站屏蔽的情况,这时候目标服务器

来源:挂机精灵

2019-05-14 15:33:00

为了营销批量注册账号,IP更换是如何操作的?

很多用户在做问答营销时都遇到过这些情况,比如在一些网站上面批量注册帐号、发布留言评论,或在使用一些即时通讯软件频繁发送消息等等这些行为都会遇到系统的IP限制,限

来源:互联网

2019-02-26 17:38:59

代理ip地址隐藏自己的IP 保护隐私!

  代理ip地址隐藏自己的IP保护隐私!人们隐藏他们的IP地址的一个主要原因是,他们想在不被追踪的情况下浏览网页信息、下载一些资料等等,当然

来源:互联网

2019-02-15 16:29:03

如何高效获取大数据?ip代理:用爬虫!

在不同的操作系统中,Python存在细微的差别,因此有几点您需要牢记在心。这里小编使用的是Python3版本。Python自带一个在终端窗口中运行的解释器,让您

来源:互联网

2019-03-22 16:27:55

手机电脑换ip软件哪个好用

我们想要换IP,需要根据项目而选定使用哪种换IP软件,手机电脑换ip软件哪个好用?我们先来说说有哪些换IP的方法。1.扫描免费IP直接在网络上扫描即可,使用之前

来源:挂机精灵

2019-06-04 14:36:17

在线客服
大客户VIP渠道2
点击这里给我发消息
讨论QQ群
挂机精灵动态换IP
客服电话
400-998-9776转2