了解过网络安全技术的人都知道一个名词“抓包”。先来说说,什么是抓包。这里简单说明一下。考虑到,大家的技术水平不一,我尽可能用非专业的口吻来说。抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,也用来检查网络安全。抓包也经常被用来进行数据截取等。黑客常常会用抓包软件获取你非加密的上网数据,然后通过分析,结合社会工程学进行攻击。所以,学会抓包,对于学好网络安全技术十分重要。
今天介绍两款抓包工具,这两款侧重点不同,但同样都是十分有效的抓包工具。
首先介绍第一款抓包工具Fiddler:
Fiddler是强大的抓包工具,它是基于web代理服务器的形式进行工作的,使用的代理地址是:127.0.0.1,端口默认为8888,我们也可以通过设置进行修改。
代理就是在客户端和服务器之间设置一道关卡,客户端先将请求数据发送出去后,代理服务器会将数据包进行拦截,代理服务器再冒充客户端发送数据到服务器;同理,服务器将响应数据返回,代理服务器也会将数据拦截,再返回给客户端。
Fiddler可以抓取支持http代理的任意程序的数据包,如果要抓取https会话,要先安装证书。
Fiddler的优势在于:
1、本地化的工具,是一个使用本地 127.0.0.1:8888 的 HTTP 代理(任何能够设置 HTTP 代理为 127.0.0.1:8888 的浏览器和应用程序都可以使用 Fiddler);
2、Fiddler本身对http协议支持较好,且操作简单容易上手;
3、具有抓包和分析功能,省去了安装其他工具的必要;
4、工具本身功能强大,如劫包、篡改数据、限速等。
爬虫 与 Fiddler 的关系
网络爬虫是自动爬取网页的程序,在爬取的过程中必然会涉及客户端与服务端之间的通信,也需要发送一些HTTP请求,并接受服务器返回的结果。
有些网址变化肉眼是看不出规律的,这时配合抓包软件会变得较容易。
操作实例:
在浏览一些图片网站时,浏览到最下面的时候会出现一个“查看更多”的字样,此时单击“查看更多”页面上显示更多内容,加载出来的内容跟原来的内容是在同一个网页上展示的。
我们直接看网址的变化是看不出任何规律的,便无法分析该请求是如何实现的,无法通过程序构造出该请求。
此时可以通过Fiddler 进行抓包,对这些数据进行分析,知道实现规律后,就可以通过编写程序构造出对应的请求,并由程序自动地实现这些请求的发送。
一、Fiddler 的基本原理
本地应用与服务器之间所有的Request 和Response都将经过Fiddler,由Fiddler进行转发,此时Fiddler以代理服务器的方式存在。
由于所有的网络数据都会经过Fiddler,因此Fiddler能够截获这些数据,实现网络数据的抓包。
二、抓Firefox上的https请求
Fiddler 默认是抓 http请求的,对于pc上的 https请求,会提示网页不安全,这时候需要在浏览器上安装证书。
解决办法:
1、检查Fiddler设置
·打开菜单栏:Tools>Fiddler Options>HTTPS
·勾选Decrypt HTTPS traffic,里面的子菜单也一起勾选了(检查没有问题)
2、导出证书
·点右上角Actions按钮(Tools>Fiddler Options>HTTPS)
·选第二个选项,导出到桌面,此时桌面上会多一个文件:FiddlerRoot.cer
3、导入到Firefox浏览器
·打开浏览器,工具>选项>高级>证书>查看证书>证书机构>导入
·下载证书弹出框,勾选三个选项,确定:
测试下结果,打开百度网页,成功了,接下来就可以进行抓包了。
三、使用QuickExec命令行
1、cls (或 clear) 清屏命令
清空会话列表中的所有会话;
2、select 筛选某一类型的会话命令
如 select html,输入命令后敲回车键,在会话列表中所有html类型的会话都已被选中:
3、 查找网址中包含某些字符的会话信息;
如 ?jianshu 可以查找出网址中包含“jianshu”字符串的会话信息,跟其他会话信息用不同颜色区分显示:
4、help 帮助命令
打开官方的使用页面介绍,所有的命令都会列出来;
5、bpu、bpuafter 断点命令
bpu:截获request
bpuafter 网址/会话名:中断某一具体的会话
如果想消除命令的话,在命令行中输入“bpuafter”。
Wireshark是另外一种抓包工具,这种工具比fiddler更强大,消息量更多。大家可能会问:有了fiddler,为什么还要用wireshark呢?这里说下,在测试中,发现用fiddler抓包,有些包是没有抓到的,比如在验证反作弊信息的时候,反作弊pingback信息的消息用fiddler就没抓到,用wireshark就抓到了。还有另外一种情况,就是在验证cna的时候,如果先用fiddler抓包,如果没有种下cna的时候,以后就永远没有cna了,情况很诡异。解决办法就是把包卸载了重新安装,第一次用wireshark抓包。
Wireshark优势:
1、强大的协议解析能力,一到七层全解码,一览无遗,对于协议细节的研究特别有帮助。
2、对于https加密流量,只要将浏览器的session key 自动导入wireshark,Wireshark可以自动解密https流量。
Wireshark不足之处:
尽管可以自定义过滤列表,但为了抓取一个特定TCP Flow /Session 流量需要写一个长长的过滤列表,这对于初学者很不友好。
操作实例:
wireshark是捕获机器上的某一块网卡的网络包,当你的机器上有多块网卡的时候,你需要选择一个网卡。
点击Caputre->Interfaces.. 出现下面对话框,选择正确的网卡。然后点击"Start"按钮, 开始抓包:
一、WireShark 界面
1、Display Filter(显示过滤器),用于过滤;
2、Packet List Pane(封包列表),显示捕获到的封包,有源地址和目标地址,端口号;
3、Packet Details Pane(封包详细信息), 显示封包中的字段;
4、Dissector Pane(16进制数据);
5、Miscellanous(地址栏,杂项)。
二、Wireshark 显示过滤
使用过滤是非常重要的, 初学者使用wireshark时,将会得到大量的冗余信息,在几千甚至几万条记录中,以至于很难找到自己需要的部分。搞得晕头转向。 过滤器会帮助我们在大量的数据中迅速找到我们需要的信息。
过滤器有两种:
1、一种是显示过滤器,就是主界面上那个,用来在捕获的记录中找到所需要的记录
2、一种是捕获过滤器,用来过滤捕获的封包,以免捕获太多的记录。 在Capture -> Capture Filters 中设置
三、保存过滤
在Filter栏上,填好Filter的表达式后,点击Save按钮, 取个名字。比如"Filter 102",Filter栏上就多了个"Filter 102" 的按钮。
四、过滤表达式的规则
表达式规则
1.协议过滤 比如TCP,只显示TCP协议。
2.IP 过滤
比如 ip.src ==192.168.1.102 显示源地址为192.168.1.102,ip.dst==192.168.1.102,目标地址为192.168.1.102。
3.端口过滤
tcp.port ==80, 端口为80的
tcp.srcport == 80, 只显示TCP协议的愿端口为80的。
4.Http模式过滤
5.逻辑运算符为 AND/ OR
五、封包列表(Packet List Pane)
封包列表的面板中显示,编号,时间戳,源地址,目标地址,协议,长度,以及封包信息。 你可以看到不同的协议用了不同的颜色显示。 你也可以修改这些显示颜色的规则, View ->Coloring Rules.
六、封包详细信息 (Packet Details Pane)
这个面板是我们最重要的,用来查看协议中的每一个字段。各行信息分别为
·Frame: 物理层的数据帧概况
·Ethernet II: 数据链路层以太网帧头部信息
·Internet Protocol Version 4: 互联网层IP包头部信息
·Transmission Control Protocol: 传输层T的数据段头部信息,此处是TCP
·Hypertext Transfer Protocol: 应用层的信息,此处是HTTP协议
七、Wireshark与对应的OSI七层模型
八、TCP包的具体内容
从下图可以看到wireshark捕获到的TCP包中的每个字段。
总结:
总的来说,两款抓包软件各有优缺点,选择的关键在于我们的需求是什么,当然,对于网络安全从业者来说,两款软件都是十分有必要学习的~
——END——
领取专属 10元无门槛券
私享最新 技术干货