代理ip软件

您的位置: 首页 > 新闻资讯 > 正文

大数据平台中如何实现IP地址归属地转换

发布时间:2019-12-31 14:35:05 来源:挂机精灵

  大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能,其中应用非常广泛的一种场景就是日志分析。在日志类型数据的清洗转换过程中把IP地址转换为归属地又是极为常见的一种场景。那么利用MaxCompute如何实现IP地址向归属地的转换呢?

  俗话说:巧妇难为无米之炊,要实现IP地址与归属地的转换必须要有IP地址库,不过好在互联网上已经有一些资源,而且还提供免费版本的IP数据库下载详见:www.ipip.net(请叫我雷锋^_^)。没错,我们首先要把它下载到本地,命名为ip.dat。

大数据平台中如何实现IP地址归属地转换

  米已经有了,接下来就考虑怎么下厨了。想要在MaxCompute中实现用户自定义逻辑的代码处理,最常用的就是MR和SQL UDF。考虑到大部分用户使用偏好以及工作成果的可重用性,此处我们给大家介绍通过UDF的实现方式。如果客官还对MaxCompute如何实现UDF不熟悉,请自行脑补:https://help.aliyun.com/document_detail/27866.html,文档中都有代码示例。UDF分为三种,分别是UDF、UDAF、UDTF,此处不过多介绍,毫无疑问这种需求场景需要采用第一种实现。

  实现用户自定义函数要继承com.aliyun.odps.udf.UDF,具体实现分两个步骤:

  1、实现setup方法加载IP地址库数据,并做初始化,代码片段如下图:

大数据平台中如何实现IP地址归属地转换

  2、实现evaluate方法,完成用户数据IP地址到归属地的转换逻辑,代码片段如下图:

大数据平台中如何实现IP地址归属地转换

  此处需要注意的是,MaxCompute中是采用UTF-8编码的,为了避免出现中文乱码,我们在输出是可以指定编码方式为UTF-8。

  Coding完成后编译打包,命名为getaddr.jar。而后我们需要把ip.dat以及getaddr.jar作为资源上传到MaxCompute项目空间。上传资源可以通过数加DataIDE中向导的方式,也可以通过Console中执行命令的方式。两种方式截图如下:

  方式一

大数据平台中如何实现IP地址归属地转换

  方式二

大数据平台中如何实现IP地址归属地转换

  资源上传完毕后需要创建Function,在控制台或者数加DataIDE窗口中执行命令,如图:

image.png

  至此,UDF已经实现完成,我们需要做个验证,比如我们可以通过UDF查询116.11.34.15这个IP地址的所属地,如下图:

大数据平台中如何实现IP地址归属地转换

  准确性验证,如下图:

大数据平台中如何实现IP地址归属地转换

  当然准确性一方面是我们解析匹配的逻辑,更重要的也取决于IP地址库本身是否准确。


相关资讯

什么是公网IP和内网IP?NAT转换又是什么?

搞网络通信应用开发的程序员,可能会经常听到外网IP(即互联网IP地址)和内网IP(即局域网IP地址),但他们的区别是什么?又有什么关系呢?另外,内行都知道,提到

来源:挂机精灵

2019-12-19 15:17:06

大数据平台中如何实现IP地址归属地转换

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能,其中应用非常广泛的一种场景就是日志分析。在日志类型数据的清洗转换过程中把IP地址转换为归属地

来源:挂机精灵

2019-12-31 14:35:05

如何高效获取大数据?ip代理:用爬虫!

在不同的操作系统中,Python存在细微的差别,因此有几点您需要牢记在心。这里小编使用的是Python3版本。Python自带一个在终端窗口中运行的解释器,让您

来源:互联网

2019-03-22 16:27:55

挂机精灵教你大数据最核心的关键技术——32个算法

奥地利符号计算研究所的ChristophKoutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选

来源:互联网

2019-04-15 16:04:09

大数据时代换IP软件该何去何从

大数据时代,企业的发展离不开数据的支持,那么,大数据时代换IP软件该何去何从呢?下面请看挂机精灵专家的分析。随着前两年大数据的概念提出,所有的行业都开始发生翻天

来源:互联网

2019-04-17 15:06:27

IP代理教你大数据最核心的关键技术——算法

IP代理教你大数据最核心的关键技术——算法。奥地利符号计算研究所的ChristophKoutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与

来源:挂机精灵

2019-05-10 15:08:36

如何选择合适的代理IP软件进行大数据营销

在大数据时代,企业的发展离不开数据的支持。企业通过爬虫收集数据信息,分析获取的数据,并制定适合他们的营销计划。在数据收集过程中,使用IP软件是必不可少的。尽管有

来源:挂机精灵

2019-05-14 14:57:24

挂机精灵代理ip软件解决ip被封

   挂机精灵代理ip软件解决ip被封,现在市面上挂机软件如此之多,该怎么判断这个挂机软件是好用还是不好用呢?我们该如何选择一款适

来源:互联网

2019-02-11 15:16:07

为了营销批量注册账号,IP更换是如何操作的?

很多用户在做问答营销时都遇到过这些情况,比如在一些网站上面批量注册帐号、发布留言评论,或在使用一些即时通讯软件频繁发送消息等等这些行为都会遇到系统的IP限制,限

来源:互联网

2019-02-26 17:38:59

为什么HTTP代理IP深受电商平台欢迎?

为什么HTTP代理IP深受电商平台欢迎?据专业机构统计,去年“双十一”购物狂潮销售规模将首次突破2000亿元,物流包裹超10亿件,均创历史新高。面对这些声势浩大

来源:挂机精灵

2019-06-25 15:46:12

http/https等爬虫代理ip的基本实现原理是什么

爬虫工作者在试用爬虫进行数据搜集的过程中经常会遇到这样的情况,刚开始的时候爬虫的运行情况是正常的,数据的抓取状况也在有条不紊的进行着,然而可能你一眼照顾不到就会

来源:互联网

2019-04-16 16:23:17