admin 背景
有时，在测试系统性能时(特别是在高带宽情况下)，如果您正在测试小流量，则可以使用ifconfig命令检查数据包丢失3360。
Watch ifconfig eno2
[root@localhost ~]# ifconfig eno2
Eno2: flags=4419 up、broadcast、running、promisc、multicast MTU 1500
ether 78: AC :44:0 f :16:00 txqueuelen 1000(以太网)
rx packets 1445302589 bytes 255819232376 gib)
rx errors 0 dropped 4330140683 over runs 0 frame 0
TX packets 0 bytes 0 B)
tx errors 0 dropped 0 over runs 0 carrier 0 collisions 0
Dropped数据持续增长。
李分析
2.1实际网卡速度
没有错误，请看看支持卡的速度是多少，是否能满足现有要求：
[root @ localhost ~]# ethtool eno 2 | egrep ' speed | duplex '
Speed: 10000Mb/s
Duplex :全部
10Gbps大于测试速度。因为这个原因被排除在外。
2.2 ethtool特定数据包丢失原因分析
通过Ethtool -S查看数据包丢失原因：
[root @ localhost ~]# ethtool-s eno 2 | grep drop
Rx_dropped: 1996379212
Tx_dropped: 0 0
: 0
: 0
[root @ localhost ~]# ethtool-s eno 2 | grep error
Rx_errors: 0 0
Tx_errors: 0 0
Rx_length_errors: 0
Rx_crc_errors: 0
: 0
: 0
: 0
发现除了数据包丢失数据外，没有明显的错误。
####2.2.1 rx_missed_errors
原因是ring-buffer不够。可能比预期的速度更大，因此可以通过增加rx的ring-buffer大小来解决。其中ring-buffer大小是存储的帧数，而不是字节数。
# ethtool -g eno2
Ring parameters for eno2:
Pre-set maximums:
RX: 4096
Rx迷你3360 0 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 1024
Rx迷你3360 0 0
RX Jumbo: 0
TX: 512
2.2.2超限
这意味着数据包在到达ring buffer之前被物理网卡丢弃。可能是中断不平衡造成的。如果未设置线程绑定CPU，则必须确保打开中断平衡：
Service irqbalance status
如果指定为处理网络数据包的线程绑定特定的CPU，则必须关闭系统附带的中断均衡程序：
Service irqbalance stop
如果处理网络数据包的线程绑定CPU，就会发现网络数据包的中断就是这个线程处理，之后这个线程的优点是可以切换其他线程，重新使用缓存，而不会导致缓存失败。具体地说，NUMA体系结构参见方法：以将网卡属于NUMA节点的CPU绑定到线程
Lscpu
.
Numa node 0 CPU (s) : 0，2，4，6，8，10，12，14，16，18，20，22，24，26
Numa node 1 CPU (s) : 1，3，5，7，9，11，13，15，17，19，21，23，25，27
.
查看网卡所属的NUMA节点：
[root @ localhost ~]# cat/sys/class/net/eno 2/device/numa _ node
0
通过将NUMA节点0上的CPU绑定到线程，可以处理eno2网卡上的数据包。
如何把网卡的队列的中断处理绑定到特定的cpu上，虽然可以手工设置，但是比较麻烦，网上有个脚本：set_irq_affinity ，通过这个脚本可以方便地设置：
set_irq_affinity 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38 eno2
即用0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38 这些cpu来处理eno2网卡的中断。 我们可以将eno2的网卡队列改成了20，这样刚好可以一一对应，更改办法：
ethtool -L eno2 combined 20
负载均衡相关设置：
ethtool -K eno2 rxhash on
ethtool -K eno2 ntuple on
for proto in tcp4 udp4 ah4 esp4 sctp4 tcp6 udp6 ah6 esp6 sctp6
do
ethtool -N eno2 rx-flow-hash ${proto} sd
done
为了让一个流所属的双向包都均衡到同一个网卡队列中，需要设置对称哈希算法的key，设置方法如下：
ethtool -X eno2 hkey 6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A equal 20
2.2.3 rx_drop
这里面直观看是丢包数，其实不仅仅是丢包数，比较坑。 The RT and RHEL7 kernels contains code that updates the rx_dropped counter for other non-error conditions.
The softnet backlog full
Bad VLAN tags
Packets received with unknown or unregistered protocols
IPv6 frames when the server is configured only for ipv4
具体可以参考：
[]()
如果想看实际网卡上是否有丢包，可以通过ethtool -S eno2|grep error,想看下重传率，可以通过 netstat -s 查看：
奇怪的是，同样的包回放，如果不处理，只收包就不丢包，这样上面的原因就说不过去了，继续排查。
三 程序排查
3.1 首先是磁盘io排查
因为程序有大量写文件操作，所以看看是不是磁盘的IO满了造成的丢包。
iostat -x 1 10
磁盘IO并未达到瓶颈。
yum install iotop
iotop -oP
也未看到特别大的磁盘IO，排除这个问题。
3.2 CPU
线程是绑定cpu的方式，而且整体来说占用很均衡，说明不存在cpu不均衡导致中断处理不过来造成的丢包问题。
top -Hp pid
查看关键线程的cpu占用情况，比较均衡，无瓶颈。
3.3 内存查看
yum install numactl
#查看内存占用
numastat -m
没发现什么异常，内存占用很均衡。
3.4 排查中断
通过以下命令看下，软中断在各个cpu上是否均衡，如果不均衡按照overrun的办法均衡下。
watch cat /proc/softirqs
四 其他
目前该排查的都排查了，包括驱动程序，已经按照安装了最新的驱动程序，仍然存在丢包问题。 由于是采用netmap库抓包，所以下一步要进行源码或驱动排查。 如果不是网卡丢包，而是正常的网络丢包，可以参考下安装下dropwatch排查
#yum install dropwatch
#dropwatch -l kas
>start
具体可以参考下面第一个链接：
[]()
[]()