1. 故障现象:
学校校园网自2019年7-8月份开始出现办公室电脑ping核心网关地址出现不定时的连续的丢包现象。
下图为ping核心网关地址丢包:
ping核心丢包
2. 影响程度:
整个校园网网络时通时断、时好时坏,严重影响学校老师使用网络体验。
3. 排查过程:
根据学校老师的反馈,接入家用TP-link路由器后的网络ping核心网关IP地址丢包更为严重,因此怀疑TPlink路由器老化导致,更换新路由器后问题依然存在。
丢包依然存在
把无线路由器取掉,电脑直接接在接入交换机上测试,情况有好转,但是问题依然存在,还是持续不定时出现丢包。然后把电脑接入到汇聚交换机和核心交换机测试情况同样存在。由此判断不是无线路由器导致丢包。
然后提出其他方案:shutdown核心交换机上所有连接汇聚交换机的端口,然后逐个开启端口,在这个过程中一直ping网关IP,开启每个端口后等待5到10分钟,看是否会丢包直到出现丢包,看下开启那个端口导致。由于学校在大量使用网络无法断网操作。
由于无法通过断网的方式排查,所以只得在考虑其他方案,最后怀疑学校内网中某些电脑中病毒,向网络中大量发送流量数据包导致网络时断时续。然后启用抓包软件Wireshark抓包分析发现172.16.16.107的设备在向网络中疯狂的发送组播报文。
流量抓包
通过对其中的数据包分析发现Mac地址为:0013-1401-6110,IP地址为:172.16.16.107的设备发送大量组播数据包。
组播报文分析
通过mac地址查找该设备的来源,发现核心交换机GE1/0/14接口下设备。
查找设备来源
然后shutdown该端口后网络恢复正常,开启该端口后网络故障出现,再次shutdown该端口后网络恢复正常。
关闭接口
恢复正常
经过线缆标签排查发现是19年7、8月份新建的录播教室和校园电视台使用的超清视频直播服务器设备导致。
4. 故障原因:
1.172.16.16.107设备向网络中发送大量的组播报文,由于电脑性能比较好,对大量的组播报文可以处理,所以并没有产生很严重的影响,家用tpLink路由器性能较差,当wan口收到大量组播报文时无法及时处理,数据包被丢弃,从而导致经过家用路由器的网络出现比较严重的丢包情况。
5. 问题总结:
问题
全校校园网处于一个VLAN中,当某一处发生网络环路或者其他类似攻击行为会导致全校校园网故障,无法正常使用。
优化建议
1. 针对建筑区域或者功能区划分不同的vlan,可以有效的隔离网络中的广播风暴,减少大面积网络故障发生的概率。
2. 可以使用网络管理软件来监控和管理校园网的网络运行状况,做到出现故障快速发现和定位,解除故障。