[[385591]]

本文轉(zhuǎn)載自微信公眾號「Linux內(nèi)核那些事」，作者songsong001 。轉(zhuǎn)載本文請聯(lián)系Linux內(nèi)核那些事公眾號。

Linux 的 網(wǎng)橋 是一種虛擬設(shè)備(使用軟件實現(xiàn))，可以將 Linux 內(nèi)部多個網(wǎng)絡(luò)接口連接起來，如下圖所示：

而將網(wǎng)絡(luò)接口連接起來的結(jié)果就是，一個網(wǎng)絡(luò)接口接收到網(wǎng)絡(luò)數(shù)據(jù)包后，會復制到其他網(wǎng)絡(luò)接口中，如下圖所示：

如上圖所示，當網(wǎng)絡(luò)接口A接收到數(shù)據(jù)包后，網(wǎng)橋 會將數(shù)據(jù)包復制并且發(fā)送給連接到 網(wǎng)橋 的其他網(wǎng)絡(luò)接口(如上圖中的網(wǎng)卡B和網(wǎng)卡C)。

Docker 就是使用 網(wǎng)橋 來進行容器間通訊的，我們來看看 Docker 是怎么利用 網(wǎng)橋 來進行容器間通訊的，原理如下圖：

Docker 在啟動時，會創(chuàng)建一個名為 docker0 的 網(wǎng)橋，并且把其 IP 地址設(shè)置為 172.17.0.1/16(私有 IP 地址)。然后使用虛擬設(shè)備對 veth-pair 來將容器與 網(wǎng)橋 連接起來，如上圖所示。而對于 172.17.0.0/16 網(wǎng)段的數(shù)據(jù)包，Docker 會定義一條 iptables NAT 的規(guī)則來將這些數(shù)據(jù)包的 IP 地址轉(zhuǎn)換成公網(wǎng) IP 地址，然后通過真實網(wǎng)絡(luò)接口(如上圖的 ens160 接口)發(fā)送出去。

接下來，我們主要通過代碼來分析 網(wǎng)橋 的實現(xiàn)。

網(wǎng)橋的實現(xiàn)

1. 網(wǎng)橋的創(chuàng)建

我們可以通過下面命令來添加一個名為 br0 的 網(wǎng)橋 設(shè)備對象：

[root@vagrant]# brctl addbr br0 

然后，我們可以通過命令 brctl show 來查看系統(tǒng)中所有的 網(wǎng)橋 設(shè)備列表，如下：

[root@vagrant]# brctl show 
bridge name     bridge id               STP enabled     interfaces 
br0             8000.000000000000       no 
docker0         8000.000000000000       no 

當使用命令創(chuàng)建一個新的 網(wǎng)橋 設(shè)備時，會觸發(fā)內(nèi)核調(diào)用 br_add_bridge() 函數(shù)，其實現(xiàn)如下：

int br_add_bridge(char *name) 
{ 
    struct net_bridge *br; 
 
    if ((br = new_nb(name)) == NULL) // 創(chuàng)建一個網(wǎng)橋設(shè)備對象 
        return -ENOMEM; 
 
    if (__dev_get_by_name(name) != NULL) { // 設(shè)備名是否已經(jīng)注冊過? 
        kfree(br); 
        return -EEXIST; // 返回錯誤, 不能重復注冊相同名字的設(shè)備 
    } 
 
    // 添加到網(wǎng)橋列表中 
    br->next = bridge_list; 
    bridge_list = br; 
    ... 
    register_netdev(&br->dev); // 把網(wǎng)橋注冊到網(wǎng)絡(luò)設(shè)備中 
 
    return 0; 
} 

br_add_bridge() 函數(shù)主要完成以下幾個工作：

• 調(diào)用 new_nb() 函數(shù)創(chuàng)建一個 網(wǎng)橋 設(shè)備對象。
• 調(diào)用 __dev_get_by_name() 函數(shù)檢查設(shè)備名是否已經(jīng)被注冊過，如果注冊過返回錯誤信息。
• 將 網(wǎng)橋 設(shè)備對象添加到 bridge_list 鏈表中，內(nèi)核使用 bridge_list 鏈表來保存所有 網(wǎng)橋 設(shè)備。
• 調(diào)用 register_netdev() 將網(wǎng)橋設(shè)備注冊到網(wǎng)絡(luò)設(shè)備中。

從上面的代碼可知，網(wǎng)橋 設(shè)備使用了 net_bridge 結(jié)構(gòu)來描述，其定義如下：

struct net_bridge 
{ 
    struct net_bridge           *next;               // 連接內(nèi)核中所有的網(wǎng)橋?qū)ο?nbsp;
    rwlock_t                    lock;                // 鎖 
    struct net_bridge_port      *port_list;          // 網(wǎng)橋端口列表 
    struct net_device           dev;                 // 網(wǎng)橋設(shè)備信息 
    struct net_device_stats     statistics;          // 信息統(tǒng)計 
    rwlock_t                    hash_lock;           // 用于鎖定CAM表 
    struct net_bridge_fdb_entry *hash[BR_HASH_SIZE]; // CAM表 
    struct timer_list           tick; 
 
    /* STP */ 
    ... 
}; 

在 net_bridge 結(jié)構(gòu)中，比較重要的字段為 port_list 和 hash：

• port_list：網(wǎng)橋端口列表，保存著綁定到 網(wǎng)橋 的網(wǎng)絡(luò)接口列表。
• hash：保存著以網(wǎng)絡(luò)接口 MAC地址 為鍵值，以網(wǎng)橋端口為值的哈希表。

網(wǎng)橋端口 使用結(jié)構(gòu)體 net_bridge_port 來描述，其定義如下：

struct net_bridge_port 
{ 
    struct net_bridge_port  *next;   // 指向下一個端口 
    struct net_bridge       *br;     // 所屬網(wǎng)橋設(shè)備對象 
    struct net_device       *dev;    // 網(wǎng)絡(luò)接口設(shè)備對象 
    int                     port_no; // 端口號 
 
    /* STP */ 
    ... 
}; 

而 net_bridge_fdb_entry 結(jié)構(gòu)用于描述網(wǎng)絡(luò)接口設(shè)備 MAC地址 與 網(wǎng)橋端口 的對應關(guān)系，其定義如下：

struct net_bridge_fdb_entry 
{ 
    struct net_bridge_fdb_entry *next_hash; 
    struct net_bridge_fdb_entry **pprev_hash; 
    atomic_t                    use_count; 
    mac_addr                    addr;  // 網(wǎng)絡(luò)接口設(shè)備MAC地址 
    struct net_bridge_port      *dst;  // 網(wǎng)橋端口 
    ... 
}; 

這三個結(jié)構(gòu)的對應關(guān)系如下圖所示：

可見，要將 網(wǎng)絡(luò)接口設(shè)備 綁定到一個 網(wǎng)橋 上，需要使用 net_bridge_port 結(jié)構(gòu)來關(guān)聯(lián)的，下面我們來分析怎么將一個 網(wǎng)絡(luò)接口設(shè)備 綁定到一個 網(wǎng)橋 中。

網(wǎng)橋是工作在 TCP/IP 協(xié)議棧的第二層，也就是說，網(wǎng)橋能夠根據(jù)目標 MAC 地址對數(shù)據(jù)包進行廣播或者單播。當目標 MAC 地址能夠從網(wǎng)橋的 hash 表中找到對應的網(wǎng)橋端口，說明此數(shù)據(jù)包是單播的數(shù)據(jù)包，否則就是廣播的數(shù)據(jù)包。

2. 將網(wǎng)絡(luò)接口綁定到網(wǎng)橋

要將一個 網(wǎng)絡(luò)接口設(shè)備 綁定到一個 網(wǎng)橋 上，可以使用以下命令：

[root@vagrant]# brctl addif br0 eth0 

上面的命令讓網(wǎng)絡(luò)接口 eth0 綁定到網(wǎng)橋 br0 上。

當調(diào)用命令將網(wǎng)絡(luò)接口設(shè)備綁定到網(wǎng)橋上時，內(nèi)核會觸發(fā)調(diào)用 br_add_if() 函數(shù)來實現(xiàn)，其代碼如下：

int br_add_if(struct net_bridge *br, struct net_device *dev) 
{ 
    struct net_bridge_port *p; 
    ... 
    write_lock_bh(&br->lock); 
 
    // 創(chuàng)建一個新的網(wǎng)橋端口對象, 并添加到網(wǎng)橋的port_list鏈表中 
    if ((p = new_nbp(br, dev)) == NULL) {  
        write_unlock_bh(&br->lock); 
        dev_put(dev); 
        return -EXFULL; 
    } 
 
    // 設(shè)置網(wǎng)絡(luò)接口設(shè)備為混雜模式 
    dev_set_promiscuity(dev, 1); 
    ... 
    // 添加到網(wǎng)絡(luò)接口MAC地址與網(wǎng)橋端口對應的哈希表中 
    br_fdb_insert(br, p, dev->dev_addr, 1); 
    ... 
    write_unlock_bh(&br->lock); 
 
    return 0; 
} 

br_add_if() 函數(shù)主要完成以下工作：

• 調(diào)用 new_nbp() 函數(shù)創(chuàng)建一個新的 網(wǎng)橋端口 并且添加到 網(wǎng)橋 的 port_list 鏈表中。
• 將網(wǎng)絡(luò)接口設(shè)備設(shè)置為 混雜模式。
• 調(diào)用 br_fdb_insert() 函數(shù)將新建的 網(wǎng)橋端口 插入到網(wǎng)絡(luò)接口 MAC地址 對應的哈希表中。

也就是說，br_add_if() 函數(shù)主要建立 網(wǎng)絡(luò)接口設(shè)備 與 網(wǎng)橋 的關(guān)系。

3. 網(wǎng)橋中的網(wǎng)絡(luò)接口接收數(shù)據(jù)

當某個 網(wǎng)絡(luò)接口 接收到數(shù)據(jù)包時，會判斷這個 網(wǎng)絡(luò)接口 是否綁定到某個 網(wǎng)橋 上，如果綁定了，那么就調(diào)用 handle_bridge() 函數(shù)處理這個數(shù)據(jù)包。handle_bridge() 函數(shù)實現(xiàn)如下：

static int __inline__ 
handle_bridge(struct sk_buff *skb, struct packet_type *pt_prev) 
{ 
    int ret = NET_RX_DROP; 
    ... 
    br_handle_frame_hook(skb); 
    return ret; 
} 

br_handle_frame_hook 是一個函數(shù)指針，其指向 br_handle_frame() 函數(shù)，我們來分析 br_handle_frame() 函數(shù)的實現(xiàn)：

void br_handle_frame(struct sk_buff *skb) 
{ 
    struct net_bridge *br; 
 
    br = skb->dev->br_port->br; // 獲取設(shè)備連接的網(wǎng)橋?qū)ο?nbsp;
 
    read_lock(&br->lock);   // 對網(wǎng)橋上鎖 
    __br_handle_frame(skb); // 調(diào)用__br_handle_frame()函數(shù)處理數(shù)據(jù)包 
    read_unlock(&br->lock); 
} 

br_handle_frame() 函數(shù)的實現(xiàn)比較簡單，首先對 網(wǎng)橋 進行上鎖操作，然后調(diào)用 __br_handle_frame() 處理數(shù)據(jù)包，我們來分析 __br_handle_frame() 函數(shù)的實現(xiàn)：

static void __br_handle_frame(struct sk_buff *skb) 
{ 
    struct net_bridge *br; 
    unsigned char *dest; 
    struct net_bridge_fdb_entry *dst; 
    struct net_bridge_port *p; 
    int passedup; 
 
    dest = skb->mac.ethernet->h_dest; // 目標MAC地址 
    p = skb->dev->br_port;            // 網(wǎng)絡(luò)接口綁定的端口 
    br = p->br; 
    passedup = 0; 
    ... 
    // 將學習到的MAC地址插入到網(wǎng)橋的hash表中 
    if (p->state == BR_STATE_LEARNING || p->state == BR_STATE_FORWARDING) 
        br_fdb_insert(br, p, skb->mac.ethernet->h_source, 0); 
    ... 
    if (dest[0] & 1) {        // 如果是一個廣播包 
        br_flood(br, skb, 1); // 把數(shù)據(jù)包發(fā)送給連接到網(wǎng)橋上的所有網(wǎng)絡(luò)接口 
        if (!passedup) 
            br_pass_frame_up(br, skb); 
        else 
            kfree_skb(skb); 
        return; 
    } 
 
    dst = br_fdb_get(br, dest);    // 獲取目標MAC地址對應的網(wǎng)橋端口 
    ... 
    if (dst != NULL) {             // 如果目標MAC地址對應的網(wǎng)橋端口存在 
        br_forward(dst->dst, skb); // 那么只將數(shù)據(jù)包轉(zhuǎn)發(fā)給此端口 
        br_fdb_put(dst); 
        return; 
    } 
 
    br_flood(br, skb, 0); // 否則發(fā)送給連接到此網(wǎng)橋上的所有網(wǎng)絡(luò)接口 
    return; 
    ... 
} 

__br_handle_frame() 函數(shù)主要完成以下幾個工作：

• 首先將從數(shù)據(jù)包中學習到的MAC地址插入到網(wǎng)橋的hash表中。
• 如果數(shù)據(jù)包是一個廣播包(目標MAC地址的第一位為1)，那么調(diào)用 br_flood() 函數(shù)把數(shù)據(jù)包發(fā)送給連接到網(wǎng)橋上的所有網(wǎng)絡(luò)接口。
• 調(diào)用 br_fdb_get() 獲取目標MAC地址對應的網(wǎng)橋端口，如果目標MAC地址對應的網(wǎng)橋端口存在，那么調(diào)用 br_forward() 函數(shù)把數(shù)據(jù)包轉(zhuǎn)發(fā)給此端口。
• 否則調(diào)用 調(diào)用 br_flood() 函數(shù)把數(shù)據(jù)包發(fā)送給連接到網(wǎng)橋上的所有網(wǎng)絡(luò)接口。

函數(shù) br_forward() 用于把數(shù)據(jù)包發(fā)送給指定的網(wǎng)橋端口，其實現(xiàn)如下：

static void __br_forward(struct net_bridge_port *to, struct sk_buff *skb) 
{ 
    skb->dev = to->dev; 
    dev_queue_xmit(skb); 
} 
 
void br_forward(struct net_bridge_port *to, struct sk_buff *skb) 
{ 
    if (should_forward(to, skb)) { // 端口是否能夠接收數(shù)據(jù)? 
        __br_forward(to, skb); 
        return; 
    } 
    kfree_skb(skb); 
} 

br_forward() 函數(shù)通過調(diào)用 __br_forward() 函數(shù)來發(fā)送數(shù)據(jù)給指定的網(wǎng)橋端口，__br_forward() 函數(shù)首先將數(shù)據(jù)包的輸出接口設(shè)備設(shè)置為網(wǎng)橋端口綁定的設(shè)備，然后調(diào)用 dev_queue_xmit() 函數(shù)將數(shù)據(jù)包發(fā)送出去。

而 br_flood() 函數(shù)用于將數(shù)據(jù)包發(fā)送給綁定到 網(wǎng)橋 上的所有網(wǎng)絡(luò)接口設(shè)備，其實現(xiàn)如下：

void br_flood(struct net_bridge *br, struct sk_buff *skb, int clone) 
{ 
    struct net_bridge_port *p; 
    struct net_bridge_port *prev; 
    ... 
    prev = NULL; 
 
    p = br->port_list; 
    while (p != NULL) {              // 遍歷綁定到網(wǎng)橋的所有網(wǎng)絡(luò)接口設(shè)備 
        if (should_forward(p, skb)) { // 端口是否能夠接收數(shù)據(jù)包? 
            if (prev != NULL) { 
                struct sk_buff *skb2; 
 
                // 克隆一個數(shù)據(jù)包 
                if ((skb2 = skb_clone(skb, GFP_ATOMIC)) == NULL) {  
                    br->statistics.tx_dropped++; 
                    kfree_skb(skb); 
                    return; 
                } 
 
                __br_forward(prev, skb2); // 把數(shù)據(jù)包發(fā)送給設(shè)備 
            } 
 
            prev = p; 
        } 
 
        p = p->next; 
    } 
 
    if (prev != NULL) { 
        __br_forward(prev, skb); 
        return; 
    } 
 
    kfree_skb(skb); 
} 

br_flood() 函數(shù)的實現(xiàn)也比較簡單，主要是遍歷綁定到網(wǎng)橋的所有網(wǎng)絡(luò)接口設(shè)備，然后調(diào)用 __br_forward() 函數(shù)將數(shù)據(jù)包轉(zhuǎn)發(fā)給設(shè)備對應的端口。