网络分流器是网络安全领域监控前端重要的基础装备,对于整个网络安全起到关键作用。
流量采集,主要是将网络流量通过物理层、数据链路层的信号解析和解帧,实现对IP原始报文的获取。骨干网核心网流量采集分流系统是一种对骨干网进行流量获取并分析的系统,主要使用在于政府网络管理、运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、网络监控、大中小型企业及学校医院等流量数据汇聚分流,大数据分析等领域。
随着以太网技术和光纤通信技术的应用,骨干网带宽的增长及规模逐步扩大,大规模的网络流量采集面临着数据规模庞大且流量日益复杂的挑战,面对这样的局面。传统的基于软件的流量采集技术的性能已然不足以满足现实需求。现有的高速骨干网流量采集方案大致上可以分为三类:
多核处理器可提供强大的并行计算能力,应用于流量采集系统的主要型号有博通,英特尔的。采用此方案的系统可编程实现流量采集,还可对报文做修改,有很高的灵活性。但系统CPU的解决能力有限,没办法真正实现线速处理,整体性能不会很高,而由于有处理器的参与,可以在一定程度上完成很复杂的相关处理,如流表的管理、应用层协议识别、Radius上线与性能不会很高,而由于有处理器的参与,可以在一定程度上完成很复杂的相关处理,如流表的管理、应用层协议识别、Radius上线与报文绑定等功能非常容易实现。
交换芯片的价格较便宜,且有成熟的套片解决方案可供参考。但其过滤功能非常弱,只支持格外的简单的精确多元组过滤,无法做深度报文检测(DPI: Deep Package Inspection),且无法支持POS和WAN等以太网接口,这也使得基于交换芯片的流量采集方案在实际应用场景范围上受到限制。
基于FPGA的解决方案目前较少,根本原因是FPGA芯片价格较贵,且需自行设计所有高速电路和过滤算法,技术门槛较高,需要深厚的研发能力。但其兼有多核系统的高灵活性和交换系统的高性能,优势也是很明显的。基于多核处理器+交换芯片的流量采集方案是目前应用最为普遍的方案,虽然系统整体价格略贵,但软硬件发开难度不大,入门门槛较低。
但随着FPGA的发展,其内部资源日益丰富,特别是内部嵌入了大量IP核,在处理速率、逻辑容量等方面不断的提高,基于FPGA的方案受到了慢慢的变多的关注,国内外许多研究机构及公司先后推出了基于FPGA的网络流量采集系统。常见基于FPGA的流量采集系统结构,流量采集及预处理平台获取网络端口送来的网络数据包,并对数据包进行流量统计和分析,最终根据流量分析的结果将网络数据包进行分流重新转发回网络中。系统采用硬件和软件协同实现设计思路,对于数据包的协议解析、数据预处理都由硬件电路实现;后端服务器进行流量的具体分析处理。通过预处理平台对流量进行分类归并和低负载数据传输,有实际效果的减少了后端服务器的工作量;服务器对预处理后的数据来进行处理,可以大大降低流量处理。