论文部分内容阅读
摘 要 入侵检测系统是网络安全防护的关键设备，它从网络关键节点收集信息并通过模式匹配等方式，发现网络中的入侵。随着网络的发展，流量的激增与规则库膨胀这两大问题已经成为瓶颈。本文作者设计了一个深度并行的体系结构，通过分发模块将流量调度到多个检测引擎进行并行处理。系统主要包含分发策略模块、高速检测引擎和后台管理模块三个部分。并通过硬件开发将分发策略模块在NetMagic硬件平台上进行实现。测试表明，本作品通过深度并行体系结构较好地实现了高速入侵检测任务，且具有低成本、高安全性以及良好的可扩展性。
关键词 NetMagic；入侵检测；并行；负载均衡；证据保持
中图分类号：TP393 文献标识码：A 文章编号：1671—7597（2013）032-064-02
1 现代网络安全防护需要高速入侵检测系统
参照统一威胁管理（UTM）模型，网络安全防护采用的主流方案是防火墙与入侵检测系统的联动部署。其中的入侵检测系统从混杂模式的网络接口搜集网络层的IP报文，实时充分地提取数据包的数据，进行数据分析，有效的对本网段中的多个主机系统进行检测。但是随着网络的飞速发展，传统的入侵检测系统正面临严重的性能瓶颈。
对性能影响最大的因素有两个：一是网络攻击手段多样化，导致入侵检测系统的特征库迅速膨胀，报文处理效率迅速下降；二是随着网络基础设施不断发展，网络带宽增长迅速，进入入侵检测系统的流量迅猛增加。
2 高速入侵检测系统的深度并行结构技术要点突破
2.1 负载均衡
负载均衡是指，并行入侵检测系统的单个检测引擎的被分配的任务应与其处理能力相当。否则，就会出现能力强的检测引擎处于任务饥饿状态，资源得不到充分利用；同时，能力不足的引擎超负荷运行，导致系统丢包率增加。这些情况都会不同程度影响系统的检测能力。
本文作者设计了基于流间相关性的分发方案，即以数据流为单位，把属于同一条流的数据包分往一个检测引擎进行处理；把流间相关性强（所谓流间相关性，指的是根据数据报文之间的地址、端口、协议的相同程度来区分数据报文之间的关联性）的流交由同一个检测引擎的用一簇处理以捕获多连接攻击的证据。同时记录不同探测器的适时负载，对于超过负载阈值的探测器不予分配流量，而在没有超过阈值的探测器中，则采取随机方式进行分配。
2.2 攻击证据保持
某种攻击行为所表现的特征一般称为检测该攻击所需的证据。随着攻击手段的进步，多数黑客会将用于攻击的行为分布到多个报文中。这种情况下，基于简单的流量划分策略无法识别多个攻击报文之间的联系，从而破坏了攻击特征的完整性，入侵检测系统就无法识别攻击行为。所以，并行系统的有效性首先是能保证产生与传统入侵检测系统相同的检测结果。因此，流量划分策略首先要保证能够保持检测所有攻击所需的证据。一般有两种保障机制：简单的一种是首先识别攻击行为，并将相关的数据包分往同一检测引擎进行检测；复杂的一种是在每个检测引擎之间引入交流机制，维护同一个检测状态。
根据数据报文的IP地址、端口、协议的异同来量化流之间的相关性。保持单连接攻击证据的同时，考虑流之间的相关性，减少了流量划分带来的信息损失，能够有效检测多连接的攻击。稍有不足的是只考虑了报文头部的几个参数，未能对内容进行深度分析。
3 NetMagic在系统中的应用
NetMagic是国内某大学开发的面向下一代互联网络创新体系结构的网络交换实验平台。该实验平台具有硬件可重构性和软件控制可编程性的双重优势，该平台内部的计算存储模块和丰富的功能扩展接口提供了较强大的计算存储能力和扩展支持。在网络创新研究方面，NetMagic实验平台通过“部分可编程交换机系统”专利设计，提供了强大的可重构特性和线速报文转发能力。NetMagic平臺通过其可编程逻辑加商用高速交换芯片的独特设计，可以为大规模真实实验环境构建提供支持，同时，也可以方便的实现新型网络协议研究、业务和服务的快速部署。此外，此平台还提供了计算存储扩展能力，使得研究人员可以在实验节点上部署更加丰富的网络管理、处理和计算业务及服务。
NetMagic具有自主知识产权，相比于NetFPGA等可编程器件，NetMagic具有处理能力强、硬件安全保证、产品化迅速等优势。我们利用NetMagic进行硬件开发，实现了自主设计的负载均衡算法，完成了报文的抓取，报文的动态分发等功能。这使得我们的作品在性能、安全、价格、产品化等方面都具有较大的优势。
4 测试与小结
负载均衡算法基于流的相关性，所以我们构造具有相同五元组的数据包用以模拟具有强相关性的数据流，提取每个检测引擎的实时负载情况以判断负载均衡算法的效果。背景流：使用IXExplorer发送。协议为TCP；源、目的IP在192.168.123.0～192.168.123.255之间随机变动；源、目的MAC地址固定；端口随机变动；包长为64byte；流数=1条。攻击包：源、目的端口，源、目的IP以及协议完全相同的报文。使用SmartBits发送。Delay=1 ms。系统：多探头；规则全配；服务全开。根据算法，相关性强的数据包被分发到同一个探测引擎。但当该探测引擎负载超过预设的阈值时，数据包被调度到其他的探测引擎。
攻击证据保持测试，分为串行入侵与并行入侵两种形式对照进行。证据保持能力是指，应对两种形式的攻击，都能有效地检测。背景流等系统配置同上，攻击包：A.Land攻击包（串行攻击）。使用SmartBits发送。delay=100 ms，B.SYN Flood攻击包（并行攻击）。使用SmartBits发送。delay=100 ms。由于采用了基于流间相关性的分流算法，能够较好地保持攻击的证据。新系统对于并行的攻击能够有效地检测。但是流间相关性基于数据包的五元组划分，若攻击者了解了五元组在相关性计算中权值的划分，可能设计出流间相关性差的数据流，导致攻击证据的丢失。
模拟具有不同速度的网络环境，依次分析系统的检测能力。背景流等系统配置同上，100 Mbps流量下丢包率为0.556%，500 Mbps流量下丢包率为2.098%，1000 Mbps流量下丢包率为5.986%。随着网络流量的一步步增长，丢包率的变化并不明显。1000 M流量虽然已经远远超过了单探测引擎能处理的速度。但是，并行结构使得整个系统的丢包率很少。
本系统在测试过程中表现出了功能和运行的稳定性和正确性。在运用多种攻击手段的测试中，系统的证据保持和负载均衡都得到了保证，能够及时正确地检测出攻击并记录在日志中。面对千兆流量的高速网络环境下，入侵检测的漏报率和误报率都在正常范围之内，符合第三方IDS评测机构NSS 的安全测试标准，系统的有效性得到检验。
该系统运用了并行的方案，保证了系统工作的高效性和很强的扩展性；在开发过程中，选用了国产的高性能硬件进行开发，并进行了模块的整合和内陷，在保证系统有效性的同时，压缩了开发成本。在未来几年，随着网络流量的进一步增长，网络自主化建设的推进，本系统必将具有广阔的市场前景和较高的应用价值。
参考文献
[1]吴诚堃，殷建平，蔡志平，等.网络入侵检测系统中基于多核平台的模式匹配技术研究[J].计算机工程与科学，2009，31（9）：1-4.
[2]杨武，方滨兴，云晓春，张宏莉.基于骨干网的并行集群入侵检测系统[J].哈尔滨工业大学学报，2004，36（3）：273-276.
[3]蒋建春，马恒太，任党恩，卿斯汉.网络安全入侵检测：研究综述[J].软件学报，2000，11（11）：1460-1467.
关键词 NetMagic；入侵检测；并行；负载均衡；证据保持
中图分类号：TP393 文献标识码：A 文章编号：1671—7597（2013）032-064-02
1 现代网络安全防护需要高速入侵检测系统
参照统一威胁管理（UTM）模型，网络安全防护采用的主流方案是防火墙与入侵检测系统的联动部署。其中的入侵检测系统从混杂模式的网络接口搜集网络层的IP报文，实时充分地提取数据包的数据，进行数据分析，有效的对本网段中的多个主机系统进行检测。但是随着网络的飞速发展，传统的入侵检测系统正面临严重的性能瓶颈。
对性能影响最大的因素有两个：一是网络攻击手段多样化，导致入侵检测系统的特征库迅速膨胀，报文处理效率迅速下降；二是随着网络基础设施不断发展，网络带宽增长迅速，进入入侵检测系统的流量迅猛增加。
2 高速入侵检测系统的深度并行结构技术要点突破
2.1 负载均衡
负载均衡是指，并行入侵检测系统的单个检测引擎的被分配的任务应与其处理能力相当。否则，就会出现能力强的检测引擎处于任务饥饿状态，资源得不到充分利用；同时，能力不足的引擎超负荷运行，导致系统丢包率增加。这些情况都会不同程度影响系统的检测能力。
本文作者设计了基于流间相关性的分发方案，即以数据流为单位，把属于同一条流的数据包分往一个检测引擎进行处理；把流间相关性强（所谓流间相关性，指的是根据数据报文之间的地址、端口、协议的相同程度来区分数据报文之间的关联性）的流交由同一个检测引擎的用一簇处理以捕获多连接攻击的证据。同时记录不同探测器的适时负载，对于超过负载阈值的探测器不予分配流量，而在没有超过阈值的探测器中，则采取随机方式进行分配。
2.2 攻击证据保持
某种攻击行为所表现的特征一般称为检测该攻击所需的证据。随着攻击手段的进步，多数黑客会将用于攻击的行为分布到多个报文中。这种情况下，基于简单的流量划分策略无法识别多个攻击报文之间的联系，从而破坏了攻击特征的完整性，入侵检测系统就无法识别攻击行为。所以，并行系统的有效性首先是能保证产生与传统入侵检测系统相同的检测结果。因此，流量划分策略首先要保证能够保持检测所有攻击所需的证据。一般有两种保障机制：简单的一种是首先识别攻击行为，并将相关的数据包分往同一检测引擎进行检测；复杂的一种是在每个检测引擎之间引入交流机制，维护同一个检测状态。
根据数据报文的IP地址、端口、协议的异同来量化流之间的相关性。保持单连接攻击证据的同时，考虑流之间的相关性，减少了流量划分带来的信息损失，能够有效检测多连接的攻击。稍有不足的是只考虑了报文头部的几个参数，未能对内容进行深度分析。
3 NetMagic在系统中的应用
NetMagic是国内某大学开发的面向下一代互联网络创新体系结构的网络交换实验平台。该实验平台具有硬件可重构性和软件控制可编程性的双重优势，该平台内部的计算存储模块和丰富的功能扩展接口提供了较强大的计算存储能力和扩展支持。在网络创新研究方面，NetMagic实验平台通过“部分可编程交换机系统”专利设计，提供了强大的可重构特性和线速报文转发能力。NetMagic平臺通过其可编程逻辑加商用高速交换芯片的独特设计，可以为大规模真实实验环境构建提供支持，同时，也可以方便的实现新型网络协议研究、业务和服务的快速部署。此外，此平台还提供了计算存储扩展能力，使得研究人员可以在实验节点上部署更加丰富的网络管理、处理和计算业务及服务。
NetMagic具有自主知识产权，相比于NetFPGA等可编程器件，NetMagic具有处理能力强、硬件安全保证、产品化迅速等优势。我们利用NetMagic进行硬件开发，实现了自主设计的负载均衡算法，完成了报文的抓取，报文的动态分发等功能。这使得我们的作品在性能、安全、价格、产品化等方面都具有较大的优势。
4 测试与小结
负载均衡算法基于流的相关性，所以我们构造具有相同五元组的数据包用以模拟具有强相关性的数据流，提取每个检测引擎的实时负载情况以判断负载均衡算法的效果。背景流：使用IXExplorer发送。协议为TCP；源、目的IP在192.168.123.0～192.168.123.255之间随机变动；源、目的MAC地址固定；端口随机变动；包长为64byte；流数=1条。攻击包：源、目的端口，源、目的IP以及协议完全相同的报文。使用SmartBits发送。Delay=1 ms。系统：多探头；规则全配；服务全开。根据算法，相关性强的数据包被分发到同一个探测引擎。但当该探测引擎负载超过预设的阈值时，数据包被调度到其他的探测引擎。
攻击证据保持测试，分为串行入侵与并行入侵两种形式对照进行。证据保持能力是指，应对两种形式的攻击，都能有效地检测。背景流等系统配置同上，攻击包：A.Land攻击包（串行攻击）。使用SmartBits发送。delay=100 ms，B.SYN Flood攻击包（并行攻击）。使用SmartBits发送。delay=100 ms。由于采用了基于流间相关性的分流算法，能够较好地保持攻击的证据。新系统对于并行的攻击能够有效地检测。但是流间相关性基于数据包的五元组划分，若攻击者了解了五元组在相关性计算中权值的划分，可能设计出流间相关性差的数据流，导致攻击证据的丢失。
模拟具有不同速度的网络环境，依次分析系统的检测能力。背景流等系统配置同上，100 Mbps流量下丢包率为0.556%，500 Mbps流量下丢包率为2.098%，1000 Mbps流量下丢包率为5.986%。随着网络流量的一步步增长，丢包率的变化并不明显。1000 M流量虽然已经远远超过了单探测引擎能处理的速度。但是，并行结构使得整个系统的丢包率很少。
本系统在测试过程中表现出了功能和运行的稳定性和正确性。在运用多种攻击手段的测试中，系统的证据保持和负载均衡都得到了保证，能够及时正确地检测出攻击并记录在日志中。面对千兆流量的高速网络环境下，入侵检测的漏报率和误报率都在正常范围之内，符合第三方IDS评测机构NSS 的安全测试标准，系统的有效性得到检验。
该系统运用了并行的方案，保证了系统工作的高效性和很强的扩展性；在开发过程中，选用了国产的高性能硬件进行开发，并进行了模块的整合和内陷，在保证系统有效性的同时，压缩了开发成本。在未来几年，随着网络流量的进一步增长，网络自主化建设的推进，本系统必将具有广阔的市场前景和较高的应用价值。
参考文献
[1]吴诚堃，殷建平，蔡志平，等.网络入侵检测系统中基于多核平台的模式匹配技术研究[J].计算机工程与科学，2009，31（9）：1-4.
[2]杨武，方滨兴，云晓春，张宏莉.基于骨干网的并行集群入侵检测系统[J].哈尔滨工业大学学报，2004，36（3）：273-276.
[3]蒋建春，马恒太，任党恩，卿斯汉.网络安全入侵检测：研究综述[J].软件学报，2000，11（11）：1460-1467.