网络流量分析之流量采集到流量还原_什么是流还原-程序员宅基地
技术标签： 网络流量分析 全流量 IDS NTA 网络安全 流量分析
网络流量贯穿业务流转的各个环节，从我们个人PC、手机，到IDC数据中心、WEB和APP应用等都需要通过网络流量完成数据交互。因此，根据"只要有攻击就会有流量产生"这样的朴素道理，无论是网络层的防DDoS、主机层的防入侵还是应用层防漏洞，都是围绕网络流量分析展开，基于NTA网络流量分析的安全产品在安全领域始终占据举足轻重的地位。
本文根据近来做IDS入侵检测流量分析相关的经验，基于流量分析的常见应用形式，总结流量分析常用的技术手段，包括流量采集常用的方法及工具，以及流量还原技术的基本原理。
为什么需要流量分析？
要了解网络真实的运行情况，及时发现运行中存在的问题，必须对网络流量有一个全面了解。不同的应用层面，流量分析起到的作用不同，比如运营商需要通过分析用户网络流量来计算网络消费、掌握用户对其他运营商的访问情况，为网络出口互联链路的设置提供决策数据支撑等；业务应用层如网站提供方则通过流量分析了解网站访客的数据，如IP地址、浏览器信息等，统计网站在线人数，了解用户所访问网站页面，通过分析出异常帮助网站管理员知道是否有滥用或者攻击现象，了解网站使用情况，提前应对网站服务器系统的负载问题等；而安全监测领域则通过流量分析实现对网络异常通信的监测，防范常见的网络入侵、DDOS攻击和疆木蠕感染传播等。
如何进行流量分析？
面对复杂多变的规模庞大的网络环境，需要一个能够适应不同环境和高效分析处理的系统。首先我们需要对不同的采集技术有初步的认识。
网络流量分析的常用技术手段：
- 基于硬件探针的流量分析技术
探针是专门用于获取网络链路流量数据的硬件设备。按实现方式可以分为软件架构和硬件架构。使用时是通过交换机流量镜像端口或直接将其串接在待观测的链路上，对链路上所有的数据报文进行处理，提取流量监测所需的协议字段甚至全部报文内容。最大特点是能够提供丰富的从物理层到应用层的详细信息，也就是目前基于NTA技术产品如IDS、NDR等最常用到的方案。 - 基于SNMP的流量分析技术
SNMP（SimpleNetworkManagementProtocol，简单网络管理协议）通常用于收集基本流量详细信息，例如字节/数据包，通过“利用网络管理网络”的方式，实现对网络设备的批量管理，从而提高设备管理效率。该方式仅能对网络设备端口的整体流量进行分析，能获取设备端口出入历史或实时的流量统计信息、不能深入分析包类型、流向信息，具有实现简单，标准统一，接口开放的特点。 - 基于Netflow的流量分析技术
NetFlow是Cisco公司开发的技术，它既是一种交换技术，又是一种流量分析技术，同时也是业界主流的计费技术之一。NetFlow可以对特定网络位置的每个数据包进行采样，可以详细统计IP流量的时间、地点、协议类型、包数量、字节数、流数量等。NetFlow会告诉您谁在消耗带宽以及消耗带宽的原因，相比SNMP更加细致，主要应用于骨干网流量采样、DDOS攻击检测等大流量分析领域。 - 基于实时抓包分析的流量分析技术
通过软件抓包工具如wireshark、tcpdump等进行实时抓包和分析，这也是个人用户做网络协议分析最常用的方式。该方式提供较为详细的从物理层到应用层的数据分析。但该方法主要侧重于协议分析，而非用户流量访问统计和趋势分析，仅能在短时间内对流经接口的数据包进行分析，无法满足大流量、长期的抓包和趋势分析的要求。
如何还原流量？
原始的网络流量以二进制方式呈现，无法直接读取和应用，因此需要通过相关工具和技术，把网络流量变成更加容易读取的数据信息，在这过程中就要对采集到的网络流量进行解码和分析，包括识别流量中的协议、业务、提取流量中的原始文件等。
流量数据包解析还原的过程，就是是对二进制比特流中各个位置的字段进行提取和解析重组的过程。当中使用了多种技术，包括端口匹配、流量特征检测、自动连接关联和行为特征分析。
1）端口匹配：在网络协议发展的过程当中，已经形成了一系列的标准协议规范， 其中规定了不同协议使用的端口如80端口的HTTP协议、53端口的DNS协议等等，另外很多广泛使用的应用程序虽然没有别标准化，但已经形成了事实上的标准端口。端口匹配就是根据这些标准或非标准的对应关系，根据TCP/UDP 的端口来识别应用。这种方式具有检测效率高的优点，弱点是容易被伪造， 因此在端口检测的基础上，还需要增加一些特征检测的判断和分析，来进一步分析这部分数据。
2）流量特征检测：相对于端口，不同的应用程序使用的协议也存在大量的共性。这些共性就是所谓的流量特征。对于流量特征的识别，大致分为两种：一种是有标准协议的识别如HTTP、DNS，TCP/IP作为标准的通信协议，在对数据包链路层、网络层、传输层进行解码时，只需要参照标准格式规范进行解码分析即可；另一种是私有协议的识别，如果协议基于TCP或UDP协议采用的标准接口格式，只需要参照标准的格式进行解码分析即可，否则可能需要通过逆向工程分析协议机制，直接或解密后通过报文流的特征字段来识别该通信流量。
3）自动连接关联：随着互联网应用的发展，在互联网上传输的数据越来越多，单个连接完成所有任务的模式也逐渐开始出现瓶颈，因此很多协议开始采用动态协商端口的方式进行传输，这种模式最早出现在标准的 FTP 协议上，后来逐渐在语音、视频和文件的传输上面被广泛使用。为了识别这种数据，需要根据控制链接上面的报文信息，自动关联到数据传输的链接并对其进行还原，这种技术称为自动连接关联。
4）行为特征分析：针对一些不便于还原的数据流量，可以采用行为特征的方法进行分析。这种方法不试图分析出链接上面的数据，而是使用链接的统计特征，如特定的特征字段、连接数、单个IP的连接模式、上下行流量的比例、数据包发送频率等指标来区分应用类型。如分析RDP或者SSH登陆等加密流量，可能无法完全还原流量通信内容，但是通过流量报文中的特定字段可以识别出该报文是主机登陆行为，一旦这类行为的报文异常高频出现，就能够判断可能出现登陆爆破的行为。
智能推荐
攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地
文章浏览阅读645次。这个肯定是末尾的IDAT了，因为IDAT必须要满了才会开始一下个IDAT，这个明显就是末尾的IDAT了。，对应下面的create_head()代码。，对应下面的create_tail()代码。不要考虑爆破，我已经试了一下，太多情况了。题目来源：UNCTF。_攻防世界困难模式攻略图文
达梦数据库的导出（备份）、导入_达梦数据库导入导出-程序员宅基地
文章浏览阅读2.9k次，点赞3次，收藏10次。偶尔会用到，记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录，执行导库操作 导出语句：./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释： cwy_init/init_123..._达梦数据库导入导出
js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件，可以删掉不需要要到的jsp，asp，asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件，在页面引入js文件：<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地
文章浏览阅读2.3k次，点赞6次，收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA，我们的数据线就会变为10101010，通过修改不同的内容，即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平，后半周期为低电平的状态。在SPI的通信模式中，CPHA配置会影响该实验，下图展示了不同采样位置的SPI时序图[1]。CPOL = 0，CPHA = 1：CLK空闲状态 = 低电平，数据在下降沿采样，并在上升沿移出CPOL = 0，CPHA = 0：CLK空闲状态 = 低电平，数据在上升沿采样，并在下降沿移出。_stm32g431cbu6
计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地
文章浏览阅读1.2k次，点赞2次，收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决？5.如果在数据链路层不进行帧定界，会发生什么问题？6.PPP协议的主要特点是什么？为什么PPP不使用帧的编号？PPP适用于什么情况？为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
软件测试工程师移民加拿大_无证移民，未受过软件工程师的教育（第1部分）-程序员宅基地
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民，未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
随便推点
Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地
文章浏览阅读304次。Thinkpad X250笔记本电脑，装的是FreeBSD，进入BIOS修改虚拟化配置（其后可能是误设置了安全开机），保存退出后系统无法启动，显示：secure boot failed ，把自己惊出一身冷汗，因为这台笔记本刚好还没开始做备份.....根据错误提示，到bios里面去找相关配置，在Security里面找到了Secure Boot选项，发现果然被设置为Enabled，将其修改为Disabled ，再开机，终于正常启动了。_安装完系统提示secureboot failure
C++如何做字符串分割（5种方法）_c++ 字符串分割-程序员宅基地
文章浏览阅读10w+次，点赞93次，收藏352次。1、用strtok函数进行字符串分割原型： char *strtok(char *str, const char *delim);功能：分解字符串为一组字符串。参数说明：str为要分解的字符串，delim为分隔符字符串。返回值：从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它：strtok函数线程不安全，可以使用strtok_r替代。示例：//借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯：无论如何都要记日记。他的日记有个与众不同的地方，他从不注明年月日，而是用一个整数代替，比如：4210后来人们知道，那个整数就是日期，它表示那一天是高斯出生后的第几天。这或许也是个好习惯，它时时刻刻提醒着主人：日子又过去一天，还有多少时光可以用于浪费呢？高斯出生于：1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地
文章浏览阅读851次，点赞17次，收藏22次。摘要：本文利用供需算法对核极限学习机(KELM)进行优化，并用于分类。
metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功，进入系统4、测试如下：二、MySQL弱密码登录：1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功，进入MySQL系统3、测试效果：三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
Python学习之路：从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南，从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文，您将能够掌握Python编程的核心概念，为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf