摘 要:本文通过介绍网络流量检测的主要方法,分析威胁当前网络重要应用的危害流量,介绍一种网络流量梳理的应用,并以星海音乐学院校园网为例,介绍关于网络流量监控和梳理技术的应用情况。
关键词:TCP UDP P2P DPI DFI 网络流量 流量梳理
危害网络的异常流量是指能对网络的正常运行造成危害的异常流量,异常流量可能会导致网络拥塞,网络设备处理性能下降,甚至影响网络的正常访问。病毒、网络攻击、不正当的网络配置和P2P的广泛应用都会造成网络异常,给本来网络带宽资源有限的校园网络带来很大压力。
通过对流量进行检测和分析,把流量解码、分类和统计后,通过技术策略把流量进行梳理,对危害流量进行限制优先级和阻隔,更有效地保护关键应用流量,使网络带宽资源得到更加合理的配置。
一、流量检测技术
目前流量控制设备采用的技术主要分为DPI、DFI以及这两种技术的综合:
1.DPI(Deep Packet Inspection)基于深度包检测技术,DPI技术在分析包头的基础上,增加了对应用层的分析,是一种基于应用层的流量检测和控制技术。当IP数据包、TCP或UDP数据流经过基于DPI技术的流量管理系统时,该系统通过深入读取IP包载荷的内容来对OSI7层协议中的应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。针对不同的协议类型,DPI识别技术可划分为以下三类:
(1)基于“特征字”的识别技术:不同的应用通常依赖于不同的协议,而不同的协议都有其特殊的“指纹”,这些“指纹”可能是特定的端口、特定的字符串或者特定的Bit序列。
(2)应用层网关识别技术:某些业务的控制流和业务流是分离的,业务流没有任何特征。应用层网关需要先识别出控制流,并根据控制流的协议通过特定的应用层网关对其进行解析,从协议内容中识别出相应的业务流。
(3)行为模式识别技术:行为模式识别技术基于对终端已经实施的行为进行分析,判断出用户正在进行的动作或者即将实施的动作。
2.DFI(Deep/Dynamic Flow Inspection)深度/动态流检测,与DPI进行应用层的载荷匹配不同,采用的是一种基于流量行为的应用识别技术,即不同的应用类型体现在会话连接或数据流上的状态各有不同。由于DPI技术与DFI技术实现机制不同,故它们在实现效果上各有优点,表现在如下几个方面:
(1)DFI处理速度相对快:采用DPI技术由于要逐包进行拆包操作,并与后台数据库进行匹配对比;采用DFI技术进行流量分析仅需将流量特征与后台流量模型比较即可。
(2)DFI维护成本相对较低:基于DPI技术的带宽管理系统,总是滞后新应用,需要紧跟新协议和新型应用的产生而不断升级后台应用数据库,否则就不能有效识别、管理新技术下的带宽,提高模式匹配效率;而基于DFI技术的系统在管理维护上的工作量要少于DPI系统,因为同一类型的新应用与旧应用的流量特征不会出现大的变化,因此不需要频繁升级流量行为模型。
(3)识别准确率方面各有千秋:由于DPI采用逐包分析、模式匹配技术,因此,可以对流量中的具体应用类型和协议做到比较准确的识别;而DFI仅对流量行为分析,因此只能对应用类型进行笼统分类。如果数据包是经过加密传输的,则采用DPI方式的流控技术则不能识别其具体应用,而DFI方式的流控技术则不受影响,因为应用流的状态行为特征不会因加密而根本改变。
3.其他技术。由于DPI和DFI技术各有优缺点,因此有些流控产品采用的技术则结合了DPI和DFI两者的优点。
二、星海音乐学院校园网出口流量监控和梳理
1.网络状况
目前网络出口带宽为100M,平常在线人数为1000人左右,高峰期在线人数为1600人左右,按照平均分配带宽的方式计算,就是用户平均分配到的网络流量为100kbps～63kbps之间。因此校园网的出口带宽在日常的使用情况下已经是很有限了,而用户对带宽的需求却因P2P、视频流等软件的广泛使用而在无限的增长。这个矛盾最终会导致带宽不够分,网速持续变慢,网络服务质量下降。
要解决这种矛盾,长期有效的方法就是对网络流量进行灵活的监测和梳理,利用技术手段抑制不良应用对网络带宽的占用,正确引导用户使用网络资源。
2.流量监控和梳理应用
目前我校采用PROCERA公司的PacketLogic 7720流控设备,该设备采用了厂家自行开发的DRDL流量识别和梳理技术,该技术结合了DPI和DFI的优点,能对流量进行精细识别和控制,同时对流量转发速度影响极小。
(1)流量梳理的实现
如图1所示是一个没有进行流量控制和梳理的网络边界。这种情况下,用户流量会超出网络外部连接的可用带宽。网络边界设备(如路由器)通常会维护一个缓冲队列,该队列保存了超出部分流量而未能转发出去的数据包。这个队列一般是先进先出队列,而且队列的大小有限制,当队列满了后,就会出现丢包情况。
而下面谈的流量梳理的实现,首要问题就是解决如何能采取有效的策略,使流量能畅通无阻得到转发,避免丢包的情况出现。
图2为网络在未有实现流量梳理时候的状况,所有流量消耗着大量的可用带宽和连接资源。网络中的关键应用流量(如图2黑色部分)往往只占有可用带宽的很小比例,即便如此,关键应用流量依然得不到有效的转发。即使某些关键应用被成功转发了部分流量,但某些延时敏感的关键应用(如语音业务)却由于延时的累积,使实际应用往往不能得到有效的保证。
由此可见,一种基于策略的流量梳理(能够判断出哪些流量需要立即转发,哪些流量可以延时转发),就变得很有必要了。
如图3,通过在网络边界出口前增加多个流量梳理队列,队列的数量和属性取决于流量管理策略。如图中的漏斗,就相当于一个梳理实体队列(梳理对象)。通过流量的检测和识别,把不同类型的流量分别转发到各个“漏斗”中。通过各个“漏斗”的优先级等属性设定对流量进行转发,最终保证关键应用流量的带宽,使带宽利用更加合理。
(2)流量监控和梳理的应用
在对流量监控和梳理的策略制定时,考虑到学校现有情况和流控设备的性能,设定相关的网络对象、时间对象、服务对象、属性对象、梳理对象和规则等,并通过各种对象的互相组合,制定符合实际环境的流量控制策略,以下是进行流量的控制和梳理的具体方法:
①通过控制特定网络对象中每个个体的流量、包速率、连接数、延时、队列大小等属性,达到在特定时间段内,实现对该网络对象中的个体流量控制策略。如对学生和教师的个体流量控制,使网络资源得到更公平的利用。
②通过控制特定网络对象整体的流量、包速率、连接数、延时、队列大小等属性,达到在特定时间段内,实现对该网络对象的整体流量控制策略。如在教学办公时间段内,对整个学生公寓区的流量进行整体控制,可以更有效保证教学办公区的带宽。
③通过控制特定服务对象中的某些服务的流量、包速率、连接数、延时、队列大小等属性,达到在特定时间段内,实现对某些特定服务和应用的流量控制策略。如在网络使用高峰期,限制P2P下载业务的流量或连接数,以保证其他正常网络应用的带宽。
④通过梯度流量控制策略,即对某一时间段内,用户流量累计达到设定的上限值时,采取流量控制变更的策略,从而更有效地引导用户合理利用网络资源。
⑤实现梳理队列的带宽借用技术。即在某一时间段内,当优先级高的梳理队列中有带宽富裕的时候,其他梳理队列可以向其借用带宽。使整体网络资源得到更加充分的利用。
流控设备作为透明网关的方式部署在网络出口上,经过对校园网的使用情况研究和长期的测试调试,制定了如下策略:
(1)总体策略
校园网出口带宽:上/下行:100Mbps
控制教师区个体带宽:上/下行:512kbps
控制P2P下载业务:上/下行:6Mbps;
连接数:20k
控制学生区视频流业务带宽:上/下行:18Mbps
(2)办公时间段
办公时间段为周一至五:9:00～17:00.
控制学生个体带宽:上/下行:256kbps
控制学生公寓总带宽:下行:85Mbp
(3)拥塞时间段
拥塞时间段为周一至五:21:30～23:59
控制学生个体带宽:上/下行:128kbps
(4)低峰时间段
拥塞时间段为周六、日:0:00～13:00、
周一至五:8:00～10:00
控制学生个体带宽:下行:1Mbps;
上行:512kbps
三、结束语
通过梳理和策略应用之后,校园网在不同时间段,针对不同用户对象做出不同的流量梳理策略,使带宽资源得到更充分和合理的利用;通过对个体带宽的合理限制,使带宽资源得到更加公平的分配;通过对危害流量的限制和阻隔,有效保证了关键应用和其他常用应用的带宽使用;通过流量的统计和各种技术指标的视图展示,能便捷地掌握整个校园网的网络状况,从而更好地对网络和流控梳理策略的调整和优化。最终整个校园网用户的上网行为意识将得到更正确的引导,在不增加带宽成本的情况下,带宽资源利用率将得到不断的提高。
参考文献
[1]Piero A.Bonatti,Daniel Olmedilla.Driving and Monitoring Provisional Trust Negotiation with Metapolicies[A].IEEE POLICY 2005[C].Stockholm, Sweden,2005:123～135
[2]BONATTI P,VIMERCATI S,SAMARATI P.An Algebra for Composing Access Control Policies[J].ACM Trans on Information and System Security,2002,5(1):1～35
[3]http://www.省略/products/drdl-technology.html