通信技术自以太网和IP技术出现以来,针对网络设备以及网络,包括现在的虚拟网络,云平台的测试技术也在一直发展中。其工作原理,简单来说就是通过专用仪表模拟产生并发送网络数据包来对网络设备和网络架构进行性能,压力,以及安全型测试。在这里仪表起到的作用是模拟现实网络流量环境,用于网络设备的研发,网络性能和安全的验证,各种网络通信技术实验室评估,以及各种检测机构的日常测试工作。这种用仪表来模拟网络环境流量的方式,在成本,技术实现,和测试可重复性方面都有着巨大的优势。
流量仿真测试技术的发展
测试仪表往往是随着网络设备的研发和演进而发展的。九十年代初以太网交换机刚刚出现时,美国的一位以太网交换机研发者为验证其交换机的性能,专门制作了一台能够发送以太网数据帧的数据包发生器,依据的测试方法主要是RFC1944以及后来的RFC2544,测试吞吐量,时延,丢包率等指标;
到九十年代末期,防火墙等网络安全产品成为网络技术的新关注点。同样的,对于防火墙这种新型的网络设备,采用何种方法来进行其性能测试也成了防火墙设备研发者面临的一道课题。为此,思科公司PIX防火墙系列研发团队经过种种努力制作了一台能够测试防火墙并发连接数以及模拟用户上网行为的设备,它能够支持的应用协议包括HTTP,FTP,DNS,Email等十几种。这也促成了RFC3511在2003年推出。其规定的HTTP新建/并发等测试指标,目前仍然是测试有状态流量设备的必测试项目。
时间进入二十一世纪,网络设备硬件处理技术不断提高。多核,NP技术的出现使得网络设备数据处理应用业务的能力大大提高。应用层识别技术成为焦点,尤其是DPI(深度报文检测)与内容感知(Content Aware)等技术的应用。“普通报文检测”仅分析IP包的4层以下的内容,包括源地址、目的地址、源端口、目的端口以及协议类型,而深度报文检测和内容感知技术除了对前面的层次分析外,还要分析识别各种应用及其内容;另外,网络安全成为人们的关注的另一个焦点。各种网络攻击此起彼伏,重要资料密码的失窃率大大提高,攻击技术通过伪装可以绕过防火墙和防护技术,攻击特征更难被发现,更难进行检测。面对出现的安全漏洞新类型,IT和安全管理人员需要不断用最新的补丁修补这些漏洞。面对这样的状况,需要一款新型仪表来来测设备和网络的内容识别和安全能力。2005年BreakingPoint的诞生,就是为了解决这个问题。
BreakingPoint率先把流量场景概念引入到了测试中,并且可以仿真出现网一样的高性能高带宽。流量场景是网络中各种应用,传输内容,流量形态按一定比例的混合。BreakingPoint通过自己的研究和第三方合作,已经在产品中内置了上百种典型的流量场景,如企业网流量场景,数据中心流量场景,校园网流量场景,移动网流量场景,等等。方便用户可以实验室里进行选择和测试。另外,用户也可以根据自己的研究和理解来实现自己想要的流量场景。BreakingPoint平台目前支持(截止2017年9月):400多种典型应用,3700多种典型应有库,8000多种特征攻击手法,180多种逃避技术,30000多种病毒和恶意软件,以及其它典型的Botnet,DDOS攻击手法。 为了实时跟踪网络中的最新动态,这些应用和攻击库还可以每2周得到一次更新。有了这些应用和攻击库的支撑,BreakingPoint就可以方便的构建出各种复杂的应用场景,攻击场景,并通过高性能测试仪表把发送出来。其基本过程如下图所示:
流量场景测试可以产生接近于真实网络流量形态,能够保证被测设备的测试指标与实际使用中的性能指标相符合,是衡量设备或网络在典型真实环境流量里表现的重要方法。也是目前业界进行安全和应用层测试的主流方法,和重要指标。比如,NSSLAB也在其系列测试方法学中规定了不同流量场景测试的具体方法。
BreakingPoint目前是最为常用的实验室进行流量场景仿真测试平台,但仍没有解决一个问题:就是如何针对一个具体客户,一个具体网络的流量情况在实验室能够完整的重现?而不仅仅是发送一些典型的流量场景。近期,TrafficRewind技术的出现,帮助用户实现了这样的要求。
在实验室内再现生产网络真实流量场景
在实验室环境内完整反映某特定生产网络流量在某个时间段的流量过程,被认为是一个相当有挑战和棘手的问题。各种机构和实验室为尝试复现真实网络流量状况也一直投入大量的时间和资源。早期的做法是,使用高性能网卡+大存储 去捕捉生产网流量,然后通过网卡高性能的进行回放。这种方法的主要问题是,花费高,回放流量无状态,测试不灵活,内容不可修改,结果也不可重复。
TrafficREWIND融合了Ixia流量可视化方案和专业测试工具能力,通过记录和再现生产网络流量,提供更加高效的服务与网络部署。具体的实现是将对生产网络流量形式的监听和记录转化为高度真实的测试流量配置, 所生成的测试配置文件用在BreakingPoint测试平台上,然后对产品和网络方案进行评估和测试。对生产网络的监听会充分利用应用与安全威胁情报处理器(Application and Threat Intelligence Processor,ATIP)技术,通过独特的NetFlow扩展来记录丰富的元数据,涉及各种网络应用,协议分布,流量行为,带宽变化等内容。
TrafficREWIND可在任意生产网络任意位置轻松部署,提供了可扩展的实时系统架构,以记录并合成较长时间段内(长达7天)的流量特征。由于不记录数据的Payload实际负载,所以不存在任何法律或合规问题。TrafficREWIND不仅能够复制现实世界中应用的流量状况,而且还前所未有地增加了在一定时期内流量构成动态变化的测试维度,进而对网络及应用的实时特征进行建模。
TrafficREWIND利用ATIP元数据在BreakingPoint测试台内重建生产网络流量形态
上图展示了整个TrafficREWIND系统的工作过程:左边的应用流量处理器大量实时侦听生产网络里的流量并记录流量形态,然后将流量形态的实时发送给中间的虚拟设备,虚拟设备经过过滤和选择来形成需要测试的流量摘要,然后以配置文件的形式发送给右边的BreakingPoint测试仪表,测试仪表重建流量模型,对被测设备/系统/网络进行测试。
从流量仿真测试技术的发展来看,其特点从最早的简单Bit级的测试,已经逐步过渡到了可以真实反映某个特定网络特定时间的流量情况测试。其更大的技术背景是:以太网和IP技术作为基础架构的网络,从原来的简单数据传送管道,已逐步过渡到一个安全的,业务识别的,高效的智能管道。流量仿真测试技术,不管是过去,现在,还是在未来,都是保障这个管道更加智能更加健壮的重要技术手段。
作者:Ixia应用和安全业务发展总监 孙震