網(wǎng)卡

網(wǎng)卡工作在物理層和數(shù)據(jù)鏈路層，主要由PHY/MAC芯片、Tx/Rx FIFO、DMA等組成，其中網(wǎng)線通過變壓器接PHY芯片、PHY芯片通過MII接MAC芯片、MAC芯片接PCI總線

PHY芯片主要負(fù)責(zé)：CSMA/CD、模數(shù)轉(zhuǎn)換、編解碼、串并轉(zhuǎn)換

MAC芯片主要負(fù)責(zé)：

1. 比特流和幀的轉(zhuǎn)換：7字節(jié)的前導(dǎo)碼Preamble和1字節(jié)的幀首定界符SFD

2. CRC校驗

3. Packet Filtering：L2 Filtering、VLAN Filtering、Manageability / Host Filtering

Intel的千兆網(wǎng)卡以82575/82576為代表、萬兆網(wǎng)卡以82598/82599為代表

收發(fā)包過程圖

ixgbe_adapter包含ixgbe_q_vector數(shù)組（一個ixgbe_q_vector對應(yīng)一個中斷），ixgbe_q_vector包含napi_struct

硬中斷函數(shù)把napi_struct加入CPU的poll_list，軟中斷函數(shù)net_rx_action()遍歷poll_list，執(zhí)行poll函數(shù)

發(fā)包過程

1、網(wǎng)卡驅(qū)動創(chuàng)建tx descriptor ring（一致性DMA內(nèi)存），將tx descriptor ring的總線地址寫入網(wǎng)卡寄存器TDBA

2、協(xié)議棧通過dev_queue_xmit()將sk_buff下送網(wǎng)卡驅(qū)動

3、網(wǎng)卡驅(qū)動將sk_buff放入tx descriptor ring，更新TDT

4、DMA感知到TDT的改變后，找到tx descriptor ring中下一個將要使用的descriptor

5、DMA通過PCI總線將descriptor的數(shù)據(jù)緩存區(qū)復(fù)制到Tx FIFO

6、復(fù)制完后，通過MAC芯片將數(shù)據(jù)包發(fā)送出去

7、發(fā)送完后，網(wǎng)卡更新TDH，啟動硬中斷通知CPU釋放數(shù)據(jù)緩存區(qū)中的數(shù)據(jù)包

Tx Ring Buffer

收包過程

1、網(wǎng)卡驅(qū)動創(chuàng)建rx descriptor ring（一致性DMA內(nèi)存），將rx descriptor ring的總線地址寫入網(wǎng)卡寄存器RDBA

2、網(wǎng)卡驅(qū)動為每個descriptor分配sk_buff和數(shù)據(jù)緩存區(qū)，流式DMA映射數(shù)據(jù)緩存區(qū)，將數(shù)據(jù)緩存區(qū)的總線地址保存到descriptor

3、網(wǎng)卡接收數(shù)據(jù)包，將數(shù)據(jù)包寫入Rx FIFO

4、DMA找到rx descriptor ring中下一個將要使用的descriptor

5、整個數(shù)據(jù)包寫入Rx FIFO后，DMA通過PCI總線將Rx FIFO中的數(shù)據(jù)包復(fù)制到descriptor的數(shù)據(jù)緩存區(qū)

6、復(fù)制完后，網(wǎng)卡啟動硬中斷通知CPU數(shù)據(jù)緩存區(qū)中已經(jīng)有新的數(shù)據(jù)包了，CPU執(zhí)行硬中斷函數(shù)：

• NAPI（以e1000網(wǎng)卡為例）：e1000_intr() -> __napi_schedule() -> __raise_softirq_irqoff(NET_RX_SOFTIRQ)
• 非NAPI（以dm9000網(wǎng)卡為例）：dm9000_interrupt() -> dm9000_rx() -> netif_rx() -> napi_schedule() -> __napi_schedule() -> __raise_softirq_irqoff(NET_RX_SOFTIRQ)

7、ksoftirqd執(zhí)行軟中斷函數(shù)net_rx_action()：

• NAPI（以e1000網(wǎng)卡為例）：net_rx_action() -> e1000_clean() -> e1000_clean_rx_irq() -> e1000_receive_skb() -> netif_receive_skb()
• 非NAPI（以dm9000網(wǎng)卡為例）：net_rx_action() -> process_backlog() -> netif_receive_skb()

8、網(wǎng)卡驅(qū)動通過netif_receive_skb()將sk_buff上送協(xié)議棧

Rx Ring Buffer

軟件(SW)向從next_to_use開始的N個descriptor補(bǔ)充sk_buff，next_to_use += N，tail = next_to_use - 1（設(shè)置網(wǎng)卡寄存器RDT）

硬件(HW)向從head開始的M個descriptor的sk_buff復(fù)制數(shù)據(jù)包并設(shè)置DD，head += M

SW將從next_to_clean的開始的L個sk_buff移出Rx Ring Buffer交給協(xié)議棧，next_to_clean += L，向從next_to_use開始的L個descriptor補(bǔ)充sk_buff，next_to_use += L，tail = next_to_use - 1

注意：每次補(bǔ)充完sk_buff以后，tail、next_to_use、next_to_clean三者都是緊挨著的

中斷上下部

do_IRQ()是CPU處理硬中斷的總?cè)肟?#xff0c;在do_IRQ()中調(diào)用硬中斷函數(shù)

netif_rx()

在netif_rx()中把skb加入CPU的softnet_data

RSS + FDIR

FDIR（Flow Director）的優(yōu)先級高于RSS（Receive Side Scaling）

RSS通過計算包的五元組（sip、sport、dip、dport、protocol）的hash并取余，得到隊列的index，然后將包放入這個隊列，實現(xiàn)了數(shù)據(jù)包在各個隊列之間的負(fù)載均衡，不過RSS不能保證回包也落在同一個隊列上

對稱hash（sip/sport和dip/dport交換后hash不變）可以部分解決該問題，但是對于一些需要做NAT的設(shè)備（比如負(fù)載均衡）就失效了，FDIR可以完全解決該問題，參見https://tech.meituan.com/MGW.html

總結(jié)

以上是生活随笔為你收集整理的网卡驱动收发包过程图解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。