一、背景介紹

在 Linux 內(nèi)核網(wǎng)絡(luò)開發(fā)過程中，網(wǎng)絡(luò)丟包問題是一個常見的挑戰(zhàn)。傳統(tǒng)的網(wǎng)絡(luò)抓包工具（如 tcpdump）雖然能夠幫助開發(fā)者定位問題，但其效率較低，且在深度網(wǎng)絡(luò)問題定位方面能力有限。隨著 eBPF 技術(shù)的快速發(fā)展，出現(xiàn)了更高級的問題跟蹤能力。字節(jié)跳動 STE 團隊基于此技術(shù)開發(fā)了下一代內(nèi)核網(wǎng)絡(luò)抓包工具：netcap（net capture，內(nèi)部原名：xcap），并正式對外開源，GitHub 地址：https://github.com/bytedance/netcap。

與 tcpdump 工具只能作用于內(nèi)核網(wǎng)絡(luò)協(xié)議棧準備發(fā)包和收包的固定點相比，netcap 可以幾乎跟蹤整個內(nèi)核網(wǎng)絡(luò)協(xié)議棧（有skb作為參數(shù)的函數(shù)）。字節(jié)跳動 STE 團隊使用 tcpdump 語法作為過濾條件，以 skb（socket buffer）為上下文，可以輕松掌握整個報文在內(nèi)核網(wǎng)絡(luò)協(xié)議棧的完整蹤跡，從而幫助開發(fā)者大大提高內(nèi)核網(wǎng)絡(luò)丟包問題的定位效率。

二、使用舉例

例1：查看 ip 10.227.0.45 的 icmp 包是否到達內(nèi)核預(yù)期的函數(shù)調(diào)用點， 這樣做的好處是：在定位排查網(wǎng)絡(luò)問題的時候，可以方便的縮小懷疑范圍，提高效率。

netcap skb -f icmp_rcv@1 -i eth0 -e "host 10.227.0.45" -t "-nnv"

其中 -f 后面的參數(shù)是 kprobe 或者 tracepoint 的具體函數(shù)（默認是kprobe），并且需要告訴 netcap，skb 在這個函數(shù)(本例是 icmp_rcv )的第幾個參數(shù)（從1開始），本例是第1個。

• -i 后面是指skb的dev參數(shù)對應(yīng)的網(wǎng)卡，這里要謹慎使用，因為有些函數(shù)的 skb 是沒有設(shè)置 dev 的。
• -e 的參數(shù)是 tcpdump 的過濾語法。
• -t 的參數(shù)是 tcpdump 的顯示方式，netcap 并沒有自己顯示數(shù)據(jù)包內(nèi)容，而是借用了 tcpdump 的顯示方式。

例2：查看內(nèi)核對于 tcp 端口 9000 的報文的丟包位置

netcap skb -f tracepoint:skb:kfree_skb -e "tcp port 9000" -S

其中 -f 后面的參數(shù)是 kprobe 或者 tracepoint 的具體函數(shù)，tracepoint 不需要傳遞 skb 是第幾個參數(shù)。

-S 表示連帶著打印出此調(diào)用的 stack，本例中通過 stack 可以看到是哪里丟包的。

舉個例子，在機器上配置一個丟包的 iptables 規(guī)則把來訪的 tcp 9000 的包丟掉，如下圖所示：

iptables -A INPUT -p tcp --dport 9000 -j DROP

然后使用 netcap上面的命令觀察丟包情況：

其它命令行參數(shù)可以通過閱讀開源代碼的 README 或命令 netcap help skb 來詳細了解。

三、設(shè)計與實現(xiàn)

主體框架

netcap 通過 kprobe / tracepoint 方式實現(xiàn)函數(shù)的 hook，通過函數(shù)參數(shù)獲取 skb 和 sock 關(guān)鍵結(jié)構(gòu)體，拿到網(wǎng)絡(luò)包的數(shù)據(jù)，通過 bpf map 和用戶態(tài)進行數(shù)據(jù)傳遞。

實現(xiàn)原理

netcap 的 工作原理大體如下：在 eBPF 程序中完成數(shù)據(jù)包的過濾，找出 tcpdump 語法過濾的包，然后把這個包給到 netcap 應(yīng)用程序，netcap 應(yīng)用程序再把這個包發(fā)去給 tcpdump 顯示，或者直接輸出 pcap 文件。如下圖所示：

1. 如何按 tcpdump 語法過濾

tcpdump 的過濾語法是基于 cBPF的，使用開源庫：https://github.com/cloudflare/cbpfc 這里可以把 tcpdump 的過濾語法轉(zhuǎn)化成一個 C 函數(shù)，這個 C 函數(shù)可以嵌入到 netcap 的 eBPF 的程序中。轉(zhuǎn)成 C 函數(shù)的基本原理如下：先利用 libpcap 庫把 tcpdump 過濾語法轉(zhuǎn)成 cBPF 指令碼，然后基于此指令碼轉(zhuǎn)化成 C 語言的函數(shù)。如下圖所示：

2. 如何把數(shù)據(jù)包內(nèi)容用 tcpdump 顯示出來

netcap 程序啟動后，也會啟動一個 tcpdump 的程序，tcpdump 的標(biāo)準輸入接收 pcap 格式的輸入流，然后以不同的參數(shù)（例如 -e 是顯示 mac 地址）從其標(biāo)準輸出打印出解析后的格式。如下圖所示：

3. 如何找到數(shù)據(jù)包的內(nèi)容

在內(nèi)核中，是用 skb 來描述數(shù)據(jù)包的，找到 skb 中所指定的不同 header 的位置，就可以找到整個數(shù)據(jù)包，skb 的結(jié)構(gòu)大體如下所示：

4. 發(fā)送方向數(shù)據(jù)包不完整，如何過濾數(shù)據(jù)包

在發(fā)送數(shù)據(jù)包的時候，例如 __ip_finish_output 函數(shù)，有時未填充完整的 eth頭、ip 頭、tcp 頭，那么是怎么得到完整的包呢？

netcap 會盡力根據(jù) skb 的 sock 結(jié)構(gòu)來推導(dǎo)，還原數(shù)據(jù)包，此時抓出來的包有些非關(guān)鍵信息會與實際情況不一致（比如 ip 頭的 id 字段）。skb 通過sock來推導(dǎo)數(shù)據(jù)包內(nèi)容的邏輯大體如下圖所示：

四、其他用法及擴展

多Trace點匯總分析

netcap 可以統(tǒng)計數(shù)據(jù)包經(jīng)過多個點的時間，然后匯總輸出，從而分析性能，舉個例子，使用下面的命令：

netcap skb -f tracepoint:net:netif_receive_skb,ip_local_deliver@1,ip_local_deliver_finish@3,icmp_rcv@1 -e "host 10.227.0.72 and icmp" -i eth0  --gather --gather-output-color cyan

可以觀察到輸出如下，根據(jù)到達 trace 點的時間，就能夠分析出數(shù)據(jù)包性能損耗在哪里，或者在哪里可能引入了延遲。

擴展功能

用戶可以自定義自己的過濾函數(shù)和輸出函數(shù)，這里舉例如下，

netcap skb -f icmp_rcv@1 -e "host 10.227.0.72" -i eth0 --user-filter skb_user_filter.c --user-action skb_user_action.c --user-output-color green

其中擴展過濾文件 skb_user_filter.c 如下：

// Return 0 means it's not need, pls filter out it.
static inline int xcap_user_filter(void *ctx, void *pkt, u16 trace_index) 
{
    return 1;
}

這個擴展函數(shù)的返回值如果是 0，表示在 tcpdump 語法的過濾后，再進行一次用戶自定義過濾，比如可以方便的寫幾行腳本，然后按照 skb->mark 來過濾。

其中擴展輸出文件 skb_user_action.c 如下：

struct  xcap_user_extend {
    int         a; // format: 0x%x
    uint32_t    b; // 


    int64_t     c;     
    uint8_t       x1; // format: %c
    uint8_t       x2; // format: 0x%x
    uint16_t      x3; // format: 0x%x
};


// Return 0 means not need to ouput
static inline int xcap_user_action(void *ctx, void *pkt, u32 pkt_len, struct xcap_user_extend *user, u16 trace_index)
{
    user->a = 0x12345678;
    user->b = 1000;
    user->c = 2002;
    user->x1 = 'M';
    user->x2 = 0x11;
    user->x3 = 0xabcd;


    return 1;
}

其中 struct xcap_user_extend 是用戶自定義的結(jié)構(gòu)體，想輸出什么信息，就在這個結(jié)構(gòu)體定義并賦值即可。結(jié)構(gòu)體可支持的類型如下 (注:不支持指針，也不支持數(shù)組)：int8_t, uint8_t, char, int16_t, uint16_t, int, uint32_t,int64_t, uint64_t 。

這樣就可以附帶一些信息輸出了，如下圖：

五、未來展望

在開發(fā)者的日常工作中，網(wǎng)絡(luò)抓包工具成為了網(wǎng)絡(luò)工程師、測試工程師等必備的技能之一，字節(jié)跳動 STE 團隊開源的 netcap 網(wǎng)絡(luò)抓包工具，期望能夠幫助大家提高定位內(nèi)核網(wǎng)絡(luò)丟包問題的效率，非常歡迎開發(fā)者們一起加入并貢獻 PR，共同推進開源項目發(fā)展。未來我們也將在以下幾個方向進行優(yōu)化，敬請關(guān)注。

• 對 DPDK 的進一步支持，由于 usdt 的上游庫存在問題，故無法支持應(yīng)用程序的 usdt，有興趣的讀者可以修改支持。
• 對多內(nèi)核版本的統(tǒng)一支持。
• 在自定義輸出的時候，數(shù)據(jù)包較多的情況下，會出現(xiàn)打印錯亂，原因是 tcpdump 的輸出信息和用戶自定義的輸出信息共同使用了標(biāo)準輸出，未來也將針對該問題做后續(xù)優(yōu)化。