tcpdump内容抓取和基于IP统计流量

  • A+
所属分类:Linux

一、内容抓取

被抓取机器A(各种系统,时时彩计划软件公式:各种盒子,各种电视机):

IP:192.168.100.111

网关:192.168.100.24

 

(tcpdump执行机)抓取机器B:

IP:192.168.100.24

B机器:

 

抓取的tcpdump.txt文档可以通过wireshark读取内容

 

二、基于IP统计流量

 

问题:基于ip统计流量。

硬件:学校集群

 

难点:

1.当使用高速网卡(千兆或IB)并且网卡满负荷时丢包率如何

2.程序的cpu占用率如何

3.日志文件过大

方案及分析:

1.抓包的实现方式有多种,如用libpcap库、采用零拷贝方式、使用PF_RING接口、直接使用系统函数

我看了一些文章并测试了netsniff-ng程序(基于零拷贝),我认为零拷贝方式效率最高,丢包率最低。但是我

测试tcpdump时发现其效率也较高(测试时网卡几乎满负荷),并且几乎没有丢包,又由于其方便使用等其他

因素最终选用tcpdump。

2.测试tcpdump抓包时cpu占用率4%左右

3.tcpdump由于记录每个数据包,虽然我们可以限制每个包记录的字节数(-s选项),但是由于网卡满负荷,

所以包的数量格外大。?如下,60秒已经抓到748168个包,导致pcap文件也格外大

Number of packets: 748168
File size: 58394582 bytes
Data size: 3900660165 bytes
Capture duration: 59.963470 seconds

因此,我使用-G选项每分钟记录一个pcap文件然后自己统计删减其中数据,最后删掉该pcap文件。即每分钟

生成一个如下的文件(时间间隔可以根据需要改)
File name: /public/home/wangvsa/software/tcp-audit/2012-07-16,12:54:54.pcap
File encapsulation: Ethernet
Number of packets: 748168
File size: 58394582 bytes
Data size: 3900660165 bytes
Capture duration: 59.963470 seconds
Start time: Mon Jul 16 12:54:53 2012
End time: Mon Jul 16 12:55:53 2012
Data rate: 65050607.75 bytes/s
Data rate: 520404861.98 bits/s

IPv4 total packet: 748037
source ip port dir dest ip port proto flow
10. 10. 10. 61: 9090 > 10. 10. 10. 49: 27884 tcp 1793
0. 0. 0. 0: 68 > 255.255.255.255: 67 UDP 5310
10. 10. 10. 49: - > 10. 10. 10. 62: - ICMP 234 10. 10. 10. 49: 22 > 10. 10. 10. 61: 47051 tcp 117124 10. 10. 10. 48: 38906 > 10. 10. 10. 49: 16797 tcp 44288974
10. 10. 10. 48: 64468 > 10. 10. 10. 49: 45094 tcp 171
10. 10. 10. 61: 47051 > 10. 10. 10. 49: 22 tcp 5406
10. 10. 10. 49: 27884 > 10. 10. 10. 61: 9090 tcp 2112
10. 10. 10. 49: 45094 > 10. 10. 10. 48: 64468 tcp 108
10. 10. 10. 62: - > 10. 10. 10. 49: - ICMP 234
10. 10. 10. 49: 16797 > 10. 10. 10. 48: 38906 tcp 3856230180
具体实现:

1.编写针对pcap文件的统计脚本(如果对效率要求高可以写成c语言程序),共两个文件tcp-audit.sh 和

tcp-reduce.sh。在tcp-audit.sh中调用了tcp-reduce.sh,自己不要直接调用。

先看tcp-audit.sh,这个文件从ready.txt中读取内容,每一行都是一个要统计的pcap文件的文件名,稍后

讨论如何得到的ready.txt文件。

再看tcp-reduce.sh,这个脚本完成了所有的统计操作并且输出到日志文件中。这个脚本中使用了grep和sed命令

来格式话pcap文件的输出方便之后awk程序的使用。还是用了capinfos这个程序提供的一些分析数据。

注:tcpdump 和 capinfos 版本不同,其参数选项要注意修改。如capinfos 的-x在旧版本中是用-i

2.接下来就是如何运行的问题,首先用root权限执行tcpdump抓包程序,我使用的命令如下:



参数分析:-i eth3 在eth3上抓包; -s 84每个包最多记录84字节; -G 60 每60秒就在打开一个文件记录;

-z? ./tcp-add.sh配合-G使用,每次记录完一个文件后执行./tcp-add.sh脚本(后面讲这个脚本)

-w %F,%T.pcap 输出,文件名有时间组成%F表示年月日,%T表示时分秒,如2012-07-16,12:54:54.pcap

再来看这个tcp-add.sh,这个脚本十分简单,实际就是将刚才的记录完的pcap文件名写到ready.txt文件中。

 

这样就会每分钟生成一个pcap文件,并将其文件名写到ready.txt文件中。

3.下面就要用到cron来定时执行我们的统计任务。在开启crond服务后执行如下命令

sudo crontab -e

此命令打开一个文件,在最后一行加入如下,之后保存退出
*/2 * * * * /home/wangchen/shell_ex/tcp-audit.sh
这一条表示每两分钟(时间随意定)执行一次tcp-audit.sh脚本。

 

(转载于http://www.bhlaab.com/558/wangvsa/archive/2012/07/16/2593551.html)

 

 

 

微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~

发表评论