當(dāng)初我要是這么學(xué)習(xí)Nginx就好了!(多圖詳解)
原創(chuàng)【51CTO.com原創(chuàng)稿件】本文主要幫助大家熟悉 Nginx 有哪些應(yīng)用場(chǎng)景、Nginx 特點(diǎn)和架構(gòu)模型以及相關(guān)流程、Nginx 定制化開(kāi)發(fā)的幾種模塊分類(lèi)。讀完本文你將對(duì) Nginx 有一定的認(rèn)識(shí)。
圖片來(lái)自 Pexels
本文將圍繞如下幾個(gè)部分進(jìn)行講解：
- Nginx 簡(jiǎn)介及特點(diǎn)
- Nginx 應(yīng)用場(chǎng)景
- Nginx 框架模型介紹
- Nginx 內(nèi)部流程介紹
- Nginx 自定義模塊開(kāi)發(fā)介紹
- Nginx 核心時(shí)間點(diǎn)模塊介紹
- Nginx 分流模塊介紹
- Nginx 動(dòng)態(tài) upstream 模塊介紹
- Nginx query_upstrem 模塊介紹
- Nginx query_conf 模塊介紹
- Nginx 共享內(nèi)存支持 Redis 協(xié)議模塊介紹
- Nginx 日志回放壓測(cè)工具介紹
Nginx 簡(jiǎn)介以及特點(diǎn)
Nginx (engine x) 是一個(gè)高性能的 Web 服務(wù)器和反向代理服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 服務(wù)器：
- 它由俄羅斯程序員 Igor Sysoev 于 2002 年開(kāi)始開(kāi)發(fā)。
- Nginx 是增長(zhǎng)最快的 Web 服務(wù)器，市場(chǎng)份額已達(dá) 33.3%。
- 全球使用量排名第二，2011 年成立商業(yè)公司。
Nginx 社區(qū)分支：
- Openresty：作者 @agentzh(章宜春)開(kāi)發(fā)的，最大特點(diǎn)是引入了 ngx_lua 模塊，支持使用 Lua 開(kāi)發(fā)插件，并且集合了很多豐富的模塊，以及 Lua 庫(kù)。
- Tengine：主要是淘寶團(tuán)隊(duì)開(kāi)發(fā)。特點(diǎn)是融入了因淘寶自身的一些業(yè)務(wù)帶來(lái)的新功能。
- Nginx 官方版本，更新迭代比較快，并且提供免費(fèi)版本和商業(yè)版本。
Nginx 源碼結(jié)構(gòu)(代碼量大約 11 萬(wàn)行 C 代碼)：
- 源代碼目錄結(jié)構(gòu) Core(主干和基礎(chǔ)設(shè)置)
- Event(事件驅(qū)動(dòng)模型和不同的 IO 復(fù)用模塊)
- HTTP(HTTP 服務(wù)器和模塊)
- Mail(郵件代理服務(wù)器和模塊)
- OS(操作系統(tǒng)相關(guān)的實(shí)現(xiàn))
- Misc(雜項(xiàng))
Nginx 特點(diǎn)如下：
- 反向代理，負(fù)載均衡器
- 高可靠性、單 Master 多 Worker 模式
- 高可擴(kuò)展性、高度模塊化
- 非阻塞
- 事件驅(qū)動(dòng)
- 低內(nèi)存消耗
- 熱部署
Nginx 應(yīng)用場(chǎng)景
Nginx 的應(yīng)用場(chǎng)景如下：
- 靜態(tài)文件服務(wù)器
- 反向代理，負(fù)載均衡
- 安全防御
- 智能路由(企業(yè)級(jí)灰度測(cè)試、地圖 POI 一鍵切流)
- 灰度發(fā)布
- 靜態(tài)化
- 消息推送
- 圖片實(shí)時(shí)壓縮
- 防盜鏈
Nginx 框架模型介紹
進(jìn)程組件角色：
- Master 進(jìn)程：監(jiān)視工作進(jìn)程的狀態(tài);當(dāng)工作進(jìn)程死掉后重啟一個(gè)新的;處理信號(hào)和通知工作進(jìn)程。
- Worker 進(jìn)程：處理客戶(hù)端請(qǐng)求，從主進(jìn)程處獲得信號(hào)做相應(yīng)的事情。
- Cache Loader 進(jìn)程：加載緩存索引文件信息，然后退出。
- Cache Manager進(jìn)程：管理磁盤(pán)的緩存大小，超過(guò)預(yù)定值大小后最少使用數(shù)據(jù)將被刪除。
Nginx 的框架模型如下圖：
框架模型流程如下圖：
Nginx 內(nèi)部流程介紹
Nginx 框架模型流程如下圖：
Master 初始化流程，如下圖：
Worker 初始化：
Worker 初始化流程圖如下：
靜態(tài)文件請(qǐng)求 IO 流程如下圖：
HTTP 請(qǐng)求流程如下圖：
HTTP 請(qǐng)求 11 個(gè)階段，如下圖所示：
upstream模塊：
- 訪問(wèn)第三方 Server 服務(wù)器
- 底層 HTTP 通信非常完善
- 異步非阻塞
- 上下游內(nèi)存零拷貝，節(jié)省內(nèi)存
- 支持自定義模塊開(kāi)發(fā)
upstream 框架流程，如下圖：
upstream 內(nèi)部流程，如下圖：
反向代理流程，如下圖：
Nginx 定制化模塊開(kāi)發(fā)
Nginx 的模塊化設(shè)計(jì)特點(diǎn)如下：
- 高度抽象的模塊接口
- 模塊接口非常簡(jiǎn)單，具有很高的靈活性
- 配置模塊的設(shè)計(jì)
- 核心模塊接口的簡(jiǎn)單化
- 多層次、多類(lèi)別的模塊設(shè)計(jì)
內(nèi)部核心模塊：
Handler 模塊：接受來(lái)自客戶(hù)端的請(qǐng)求并構(gòu)建響應(yīng)頭和響應(yīng)體。
Filter 模塊：過(guò)濾(filter)模塊是過(guò)濾響應(yīng)頭和內(nèi)容的模塊，可以對(duì)回復(fù)的頭和內(nèi)容進(jìn)行處理。它的處理時(shí)間在獲取回復(fù)內(nèi)容之后，向用戶(hù)發(fā)送響應(yīng)之前。
Upstream 模塊：使 Nginx 跨越單機(jī)的限制，完成網(wǎng)絡(luò)數(shù)據(jù)的接收、處理和轉(zhuǎn)發(fā)，純異步的訪問(wèn)后端服務(wù)。
Load_Balance：負(fù)載均衡模塊，實(shí)現(xiàn)特定的算法，在眾多的后端服務(wù)器中，選擇一個(gè)服務(wù)器出來(lái)作為某個(gè)請(qǐng)求的轉(zhuǎn)發(fā)服務(wù)器。
ngx_lua 模塊：
- 腳本語(yǔ)言
- 內(nèi)存開(kāi)銷(xiāo)小
- 運(yùn)行速度快
- 強(qiáng)大的 Lua 協(xié)程
- 非阻塞
- 業(yè)務(wù)邏輯以自然邏輯書(shū)寫(xiě)
定制化開(kāi)發(fā) Demo
Handler 模塊：
- 編寫(xiě) config 文件
- 編寫(xiě)模塊產(chǎn)生內(nèi)容響應(yīng)信息
- #配置文件：
- server {
- ...
- location test {
- test_counter on;
- }
- }
- #config
- ngx_addon_name=ngx_http_test_module
- HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
- NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
- #ngx_http_test_module.c
- static ngx_int_t
- ngx_http_test_handler(ngx_http_request_t *r)
- {
- ngx_int_t rc;
- ngx_buf_t *b;
- ngx_chain_t out;
- ngx_http_test_conf_t *lrcf;
- ngx_str_t ngx_test_string = ngx_string("hello test");
- lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
- if ( lrcf->test_counter == 0 ) {
- return NGX_DECLINED;
- }
- /* we response to 'GET' and 'HEAD' requests only */
- if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
- return NGX_HTTP_NOT_ALLOWED;
- }
- /* discard request body, since we don't need it here */
- rc = ngx_http_discard_request_body(r);
- if ( rc != NGX_OK ) {
- return rc;
- }
- /* set the 'Content-type' header */
- /*
- *r->headers_out.content_type.len = sizeof("text/html") - 1;
- *r->headers_out.content_type.data = (u_char *)"text/html";
- */
- ngx_str_set(&r->headers_out.content_type, "text/html");
- /* send the header only, if the request type is http 'HEAD' */
- if ( r->method == NGX_HTTP_HEAD ) {
- r->headers_out.status = NGX_HTTP_OK;
- r->headers_out.content_length_n = ngx_test_string.len;
- return ngx_http_send_header(r);
- }
- /* set the status line */
- r->headers_out.status = NGX_HTTP_OK;
- r->headers_out.content_length_n = ngx_test_string.len;
- /* send the headers of your response */
- rc = ngx_http_send_header(r);
- if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
- return rc;
- }
- /* allocate a buffer for your response body */
- b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
- if ( b == NULL ) {
- return NGX_HTTP_INTERNAL_SERVER_ERROR;
- }
- /* attach this buffer to the buffer chain */
- out.buf = b;
- out.next = NULL;
- /* adjust the pointers of the buffer */
- b->pos = ngx_test_string.data;
- b->last = ngx_test_string.data + ngx_test_string.len;
- b->memory = 1; /* this buffer is in memory */
- b->last_buf = 1; /* this is the last buffer in the buffer chain */
- /* send the buffer chain of your response */
- return ngx_http_output_filter(r, &out);
- }
Nginx 核心時(shí)間點(diǎn)模塊介紹
解決接入層故障定位慢的問(wèn)題，幫助 OP 快速判定問(wèn)題根因，優(yōu)先自證清白，提高接入層高效的生產(chǎn)力。
Nginx 分流模塊介紹
Nginx 分流模塊特點(diǎn)如下：
- 實(shí)現(xiàn)非常靈活的動(dòng)態(tài)的修改策略從而進(jìn)行切流量。
- 實(shí)現(xiàn)平滑無(wú)損的方式進(jìn)行流量的切換。
- 通過(guò)秒級(jí)切換流量可以縮小影響范圍，從而減少損失。
- 按照某一城市或者某個(gè)特征，秒級(jí)進(jìn)行切換流量或者禁用流量。
- 容忍單機(jī)房級(jí)別容量故障，縮短了單機(jī)房故障的止損時(shí)間。
- 快速的將流量隔離或者流量抽樣。
- 高效的灰度測(cè)試，提高生產(chǎn)力。
Nginx 動(dòng)態(tài) upstream 模塊介紹
讓接入層可以適配動(dòng)態(tài)調(diào)度的云環(huán)境，實(shí)現(xiàn)服務(wù)的平滑上下線(xiàn)、彈性擴(kuò)/縮容。
從而提高接入層高效的生產(chǎn)力以及穩(wěn)定性，保證業(yè)務(wù)流量的平滑無(wú)損。
Nginx query_upstream 模塊介紹
鏈路追蹤，梳理接口到后端鏈路的情況。查詢(xún) location 接口對(duì)應(yīng) upstream server 信息。
Nginx query_conf 模塊介紹
獲取 Nginx 配置文件格式化為 json 格式信息：
Nginx 共享內(nèi)存支持 Redis 協(xié)議模塊介紹
根據(jù)配置文件來(lái)動(dòng)態(tài)的添加共享內(nèi)存：
- https://github.com/lidaohang/ngx_shm_dict
ngx_shm_dict：共享內(nèi)存核心模塊(紅黑樹(shù)，隊(duì)列)
ngx_shm_dict_manager：添加定時(shí)器事件，定時(shí)的清除共享內(nèi)存中過(guò)期的 Key，添加讀事件，支持 Redis 協(xié)議，通過(guò) redis-cli get，set，del，ttl
ngx_shm_dict_view：共享內(nèi)存查看
Nginx 日志回放壓測(cè)工具
解析日志進(jìn)行回放壓測(cè)，模擬后端服務(wù)器慢等各種異常情況 ：
- https://github.com/lidaohang/playback-testing
方案說(shuō)明：
- 客戶(hù)端解析 access.log 構(gòu)建請(qǐng)求的 host，port，url，body。
- 把后端響應(yīng)時(shí)間，后端響應(yīng)狀態(tài)碼，后端響應(yīng)大小放入 header 頭中。
- 后端服務(wù)器獲取相應(yīng)的 header，進(jìn)行模擬響應(yīng) body 大小，響應(yīng)狀態(tài)碼，響應(yīng)時(shí)間。
使用方式：
- 拷貝需要測(cè)試的 access.log 的日志到 logs 文件夾里面。
- 搭建需要測(cè)試的 Nginx 服務(wù)器，并且配置 upstream 指向后端服務(wù)器斷端口
- 啟動(dòng)后端服務(wù)器實(shí)例
- server/backserver/main.go
- 進(jìn)行壓測(cè)
- bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】
