代理的核心功能可以用一句話概括：接受客戶端的請求，轉發(fā)到后端服務器，獲得應答之后返回給客戶端。

代理的功能有很多，事實上整個互聯(lián)網(wǎng)到處都充斥著代理服務器。如果所有的 HTTP 訪問都是客戶端和服務器端直接進行的話，我們的網(wǎng)絡不僅會變得緩慢，而且性能會大打折扣。

代理服務器根據(jù)不同的配置和使用，可能會有不同的功能，這些功能主要包括：

• 內容過濾：代理可以根據(jù)一定的規(guī)則限制某些請求的連接。比如有些公司會設置內部網(wǎng)絡無法訪問某些購物、游戲網(wǎng)站，或者學校的網(wǎng)絡不讓學生訪問色情暴力的網(wǎng)站等
• 節(jié)省成本：代理服務器可以作為緩存使用，對于某些資源只需要第一次訪問的時候去下載，以后代理直接把緩存的結果返回給客戶端，節(jié)約網(wǎng)絡帶寬的開銷。
• 提高性能：通過代理服務器的緩存（比如 CDN）和負載均衡（比如 nginx lb）功能，服務器端可以加速請求的訪問，在更快的時間內返回結果）。
• 增加安全性：公司可以在內網(wǎng)和外網(wǎng)之間通過代理進行轉發(fā)，這樣不僅對外隱藏了實現(xiàn)的細節(jié)，而且可以在代理層對爬蟲、病毒性請求進行過濾，保護內部服務。

所有的這些功能的實現(xiàn)都依賴于代理的特性，它可以在客戶端和服務器端做一些事情，根據(jù)代理做的事情不同，它的角色和功能也就不同。

那么，代理具體可以做哪些事情呢？比如：

修改 HTTP 請求：url、header、body

過濾請求：根據(jù)一定的規(guī)則丟棄、過濾請求

決定轉發(fā)到哪個后端（可以是靜態(tài)定義的，也可以是動態(tài)決定）

保存服務器的應答，后續(xù)的請求可以直接使用保存的應答

修改應答：對應答做一些格式的轉換，修改數(shù)據(jù)，甚至返回完全不一樣的應答數(shù)據(jù)

重試機制，如果后端服務器暫時無法響應，隔一段時間重試

正向代理和反向代理

代理可以分為正向代理和反向代理兩種。

正向代理需要客戶端來配置，一般來說我們會通過瀏覽器或者操作系統(tǒng)提供的工具或者界面來配置。

這個時候，代理對客戶端不是透明的，客戶端需要知道代理的地址并且手動配置。配置了代理，瀏覽器在發(fā)送請求的時候會對報文做特殊的修改。

反向代理對客戶端是透明的，也就是說客戶端一般不知道代理的存在，認為自己是直接和服務器通信。

我們大部分訪問的網(wǎng)站就是反向代理服務器，反向代理服務器會轉發(fā)到真正的服務器，一般在反向代理這一層實現(xiàn)負載均衡和高可用的功能。而且這里也可以看到，客戶端是不會知道真正服務器端的 ip 地址和端口的，這在一定程度上起到了安全保護的作用。

代理服務器怎么知道目的服務器的地址？

在反向代理中，代理服務器要轉發(fā)的服務器地址都是事先知道的（包括靜態(tài)配置和動態(tài)配置）。比如 使用 nginx 來配置負載均衡 。

而對于正向代理來說，客戶端可能訪問的服務器地址是無法事先知道的。因為HTTP 協(xié)議活動在應用層，它無法獲取網(wǎng)絡層（IP層）信息，那么該協(xié)議要有一個地方可以拿到這個信息。

HTTP 中可能保存這個信息的地方有兩個：URL 和 header。默認情況下，HTTP 請求的 status line 有三部分組成：方法、uri 和協(xié)議版本，比如：

GET /index.html HTTP/1.0
User-Agent: gohttp 1.0

如果客戶端（比如瀏覽器）知道自己在通過正向代理進行報文傳輸，那么它會在 status line 加上要訪問服務器的真實地址。這個時候發(fā)送的報文是：

GET http://www.marys-antiques.com/index.html HTTP/1.0
User-Agent: gohttp 1.0

代理路徑客戶端不管是通過代理服務器，還是直接訪問后端服務器對于最終的結果是沒有區(qū)別的，也就是說大多數(shù)情況下客戶端根本不關心它訪問的到底是什么，只需要（準確快速地）拿到想要的信息就夠了。

但是有時候，我們還是希望知道請求到底在中間經歷了哪些代理，比如用來調試網(wǎng)絡異常，或者做數(shù)據(jù)統(tǒng)計，而 HTTP 協(xié)議也提供了響應的功能。

雖然 RFC 2616 定義了 Via 頭部字段來跟蹤 HTTP 請求經過的代理路徑，但在實際中用的更多的還是 X-Forwarded-For 字段， X-Forwarded-For 是 Squid 緩存代理服務軟件引入的，目前已經在規(guī)范化在 RFC 7239 文檔。

X-Forwarded-For 頭部格式也比較簡單，比如某個服務器接受到請求的對應頭部可能是：

X-Forwarded-For: client, proxy1, proxy2

對應的值有多個字段，每個字段代表中間的一個節(jié)點，它們之間由逗號和空格隔開，從左到右距離當前節(jié)點越來越近。

每個代理服務器會在 X-Forwarded-For 頭部填上前一個節(jié)點的 ip 地址，這個地址可以通過 TCP 請求的 remote address 獲取。為什么每個代理服務器不填寫自己的 ip 地址呢？

有兩個原因，如果由代理服務器填寫自己的 ip 地址，那么代理可以很簡單地偽造這個地址，而上一個節(jié)點的 remote address 是根據(jù) TCP 連接獲取的（如果不建立正確的 TCP 連接是無法進行 HTTP 通信的）；另外一個原因是如果由當前節(jié)點填寫 X-Forwarded-For ，那么很多情況客戶端無法判斷自己是否會通過代理的。

NOTE：

1、最終客戶端或者服務器端接受的請求，X-Forwarded-For 是沒有最鄰近節(jié)點的 ip 地址的，而這個地址可以通過 remote address 獲取

2、每個節(jié)點（不管是客戶端、代理服務器、真實服務器）都可以隨便更改 X-Forwarded-For 的值，因此這個字段只能作為參考

代理服務器實現(xiàn)這個部分我們會介紹如何用 golang 來實現(xiàn) HTTP 代理服務器，需要讀者了解一些 HTTP 服務器端編程的知識。

正向代理按照我們之前介紹的代理原理，我們可以編寫出這樣的代碼：

package main
import (
    "fmt"
    "io"
    "net"
    "net/http"
    "strings"
)
type Pxy struct {}
func (p *Pxy) ServeHTTP(rw http.ResponseWriter, req *http.Request) {
    fmt.Printf("Received request %s %s %s\n", req.Method, req.Host, req.RemoteAddr)
    transport :=  http.DefaultTransport
    // step 1
    outReq := new(http.Request)
    *outReq = *req // this only does shallow copies of maps
    if clientIP, _, err := net.SplitHostPort(req.RemoteAddr); err == nil {
        if prior, ok := outReq.Header["X-Forwarded-For"]; ok {
            clientIP = strings.Join(prior, ", ") + ", " + clientIP
        }
        outReq.Header.Set("X-Forwarded-For", clientIP)
    }
    // step 2
    res, err := transport.RoundTrip(outReq)
    if err != nil {
        rw.WriteHeader(http.StatusBadGateway)
        return
    }
    // step 3
    for key, value := range res.Header {
        for _, v := range value {
            rw.Header().Add(key, v)
        }
    }
    rw.WriteHeader(res.StatusCode)
    io.Copy(rw, res.Body)
    res.Body.Close()
}
func main() {
    fmt.Println("Serve on :8080")
    http.Handle("/", &Pxy{})
    http.ListenAndServe("0.0.0.0:8080", nil)
}

這段代碼比較直觀，只包含了最核心的代碼邏輯，完全按照最上面的代理圖例進行組織。一共分成幾個步驟：

1、代理接收到客戶端的請求，復制了原來的請求對象，并根據(jù)數(shù)據(jù)配置新請求的各種參數(shù)（添加上 X-Forward-For 頭部等）

2、把新請求發(fā)送到服務器端，并接收到服務器端返回的響應

3、代理服務器對響應做一些處理，然后返回給客戶端

上面的代碼運行之后，會在本地的 8080 端口啟動代理服務。修改瀏覽器的代理為 127.0.0.1：:8080 再訪問網(wǎng)站，可以驗證代理正常工作，也能看到它在終端打印出所有的請求信息。

雖然這段代碼非常簡短，但是你可以添加更多的邏輯實現(xiàn)非常有用的功能。比如在請求發(fā)送之前進行過濾，根據(jù)一定的規(guī)則直接阻止某些請求的訪問；或者對請求進行限流，某個客戶端在一定的時間里執(zhí)行的請求有最大限額；統(tǒng)計請求的數(shù)據(jù)進行分析等等。

這個代理目前不支持 HTTPS 協(xié)議，因為它只提供了 HTTP 請求的轉發(fā)功能，并沒有處理證書和認證有關的內容。

如果了解 HTTPS 協(xié)議的話，你會明白這種模式下是無法完成 HTTPS 握手的，雖然代理可以和真正的服務器建立連接（知道了對方的公鑰和證書），但是代理無法代表服務器和客戶端建立連接，因為代理服務器無法知道真正服務器的私鑰。

反向代理編寫反向代理按照上面的思路當然沒有問題，只需要在第二步的時候，根據(jù)之前的配置修改 outReq 的 URL Host 地址可以了。

不過 Golang 已經給我們提供了編寫代理的框架：httputil.ReverseProxy 。我們可以用非常簡短的代碼來實現(xiàn)自己的代理，而且內部的細節(jié)問題都已經被很好地處理了。

這部分我們會實現(xiàn)一個簡單的反向代理，它能夠對請求實現(xiàn)負載均衡，隨機地把請求發(fā)送給某些配置好的后端服務器。使用 httputil.ReverseProxy 編寫反向代理最重要的就是實現(xiàn)自己的 Director 對象，這是 GoDoc 對它的介紹：

看代碼：

package main
import (
        "log"
        "math/rand"
        "net/http"
        "net/http/httputil"
        "net/url"
)
func NewMultipleHostsReverseProxy(targets []*url.URL) *httputil.ReverseProxy {
        director := func(req *http.Request) {
                target := targets[rand.Int()%len(targets)]
                req.URL.Scheme = target.Scheme
                req.URL.Host = target.Host
                req.URL.Path = target.Path
        }
        return &httputil.ReverseProxy{Director: director}
}
func main() {
        proxy := NewMultipleHostsReverseProxy([]*url.URL{
                {
                        Scheme: "http",
                        Host:   "localhost:9091",
                },
                {
                        Scheme: "http",
                        Host:   "localhost:9092",
                },
        })
        log.Fatal(http.ListenAndServe(":9090", proxy))
}

我們讓代理監(jiān)聽在 9090 端口，在后端啟動兩個返回不同響應的服務器分別監(jiān)聽在 9091 和 9092 端口，通過 curl 訪問，可以看到多次請求會返回不同的結果。

?  curl http://127.0.0.1:9090
116064a9eb83
?  curl http://127.0.0.1:9090
8f7ccc11718f

同樣的，這段代碼也只是一個 demo，存在著很多問題，比如沒有錯誤處理機制，如果后端某個服務器掛了，代理會返回 502 錯誤，更好的做法是把請求轉發(fā)到另外的可用服務器。當然也可以添加更多的特性讓它更好用，比如動態(tài)地添加后端服務器列表；根據(jù)后端服務器的負載情況進行負載轉發(fā)等等。