CDN_IP请求数-MRJob-Python数据分析(12)

  • A+
所属分类:python

1.1.?前言

本文地址:http://www.bhlaab.com/python/python-big-data-analysis-cdn-ip-req-count-mrjob/
文章摘要:CDN_IP请求数,城域网油墨横渡,大藏悼心失图行会。

我们计算CDN IP请求数经过这四个步骤:

Mapper: 将以行数据解析成 key=cdn_ip value=1的形式

Shuffle: 通过Shuffle后的结果会生成以 key 的值排序的 value迭代器

结果如: cdn_ip [1, 1, 1 ... 1, 1]

Reduce 1: 在这边我们计算出 cdn_ip 的访问量

????输出如: None [sum([1, 1, 1 ... 1, 1]), key]

Reduce 2: 对sum([1, 1, 1 ... 1, 1]) 进行排序并输出 TOP 100

输入如:?31943 ??"140.205.127.2"

1.2.?代码

运行统计和输出结果

昵称: HH

QQ: 275258836

ttlsa群交流沟通(QQ群②: 6690706 QQ群③: 168085569 QQ群④: 415230207(新) 微信公众号: ttlsacom)

感觉本文内容不错,时时彩计划软件公式:读后有收获?

逛逛衣服店,鼓励作者写出更好文章。

微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论