真实IP请求数-MRJob-Python数据分析(14)

  • A+
所属分类:python

1.1.?前言

本文地址:http://www.bhlaab.com/python/python-big-data-analysis-real-ip-req-count-mrjob/
文章摘要:真实IP请求数,信息举报新昏宴尔铁骑,水利水电土皇帝狐兔之悲。

我们计算真实IP经过这四个步骤:

Mapper: 将以行数据解析成 key=real_ip value=1的形式

Shuffle: 通过Shuffle后的结果会生成以 key 的值排序的 value迭代器

结果如: real_ip [1, 1, 1 ... 1, 1]

Reduce 1: 在这边我们计算出 real_ip 的访问量

输出如:?None [sum([1, 1, 1 ... 1, 1]), key]

Reduce 2:?对sum([1, 1, 1 ... 1, 1]) 进行排序并输出 TOP 100

输入如:?31943 ??"140.205.127.2"

1.2.?代码

运行统计和输出结果

昵称: HH

QQ: 275258836

ttlsa群交流沟通(QQ群②: 6690706 QQ群③: 168085569 QQ群④: 415230207(新) 微信公众号: ttlsacom)

感觉本文内容不错,读后有收获?

逛逛衣服店,鼓励作者写出更好文章。

微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论