[[404462]]

Redis 作為一個(gè)非常成功的數(shù)據(jù)庫(kù)，提供了非常豐富的數(shù)據(jù)類型和命令，使用這些，我們可以輕易而高效地完成很多緩存操作，可是總有一些比較特殊問(wèn)題或需求需要解決，這時(shí)候可能就需要我們自己定制自己的 Redis 數(shù)據(jù)結(jié)構(gòu)和命令。

Redis命令問(wèn)題

“線程安全”問(wèn)題

我們都知道 Redis 是單線程的，可是它怎么會(huì)有線程安全問(wèn)題呢？

我們正常理解的線程安全問(wèn)題是指單進(jìn)程多線程模型內(nèi)部多個(gè)線程操作進(jìn)程內(nèi)共享內(nèi)存導(dǎo)致的數(shù)據(jù)資源充突。而 Redis 的線程安全問(wèn)題的產(chǎn)生，并不是來(lái)自于 Redis 服務(wù)器內(nèi)部。

Redis 作為數(shù)據(jù)服務(wù)器，就相當(dāng)于多個(gè)客戶端的共享內(nèi)存，多個(gè)客戶端就相當(dāng)于同一進(jìn)程下的多個(gè)線程，如果多個(gè)客戶端之間沒(méi)有良好的數(shù)據(jù)同步策略，就會(huì)產(chǎn)生類似線程安全的問(wèn)題。

典型場(chǎng)景是：

•  Redis 內(nèi)存儲(chǔ)了一個(gè)用戶的狀態(tài)：user5277=idle；
•  客戶端連接 A 讀取了用戶狀態(tài)，獲取到用戶的空閑狀態(tài) status = get("user5277")；
•  客戶端連接 B 也同樣讀取了用戶狀態(tài)；
•  客戶端連接 A 給用戶安排了一個(gè)任務(wù)，并將 Redis 內(nèi)用戶狀態(tài)置為忙碌 set("user5277", "busy")；
•  客戶端連接 B 同樣設(shè)置用戶為忙碌狀態(tài)。
•  可是此時(shí)用戶卻被同時(shí)分配了兩個(gè)任務(wù)。

導(dǎo)致這個(gè)問(wèn)題的原因就是雖然 Redis 是單線程的，能保證命令的序列化，但由于其執(zhí)行效率很高，多個(gè)客戶端的命令之間不做好請(qǐng)求同步，同樣會(huì)造成命令的順序錯(cuò)亂。

當(dāng)然這個(gè)問(wèn)題也很好解決，給用戶狀態(tài)加鎖就行了，使同一時(shí)間內(nèi)只能有一個(gè)客戶端操作用戶狀態(tài)。不過(guò)加鎖我們就需要考慮鎖粒度、死鎖等問(wèn)題了，無(wú)疑添加了程序的復(fù)雜性，不利于維護(hù)。

效率問(wèn)題

Redis 作為一個(gè)極其高效的內(nèi)存數(shù)據(jù)服務(wù)器，其命令執(zhí)行速度極快，之前看過(guò)阿里云 Redis 的一個(gè)壓測(cè)結(jié)果，執(zhí)行效率可以達(dá)到 10W寫(xiě)QPS， 60W讀QPS，那么，它的效率問(wèn)題又來(lái)自何處呢？

答案是網(wǎng)絡(luò)，做 Web 的都知道，效率優(yōu)化要從網(wǎng)絡(luò)做起，服務(wù)端又是優(yōu)化代碼，又是優(yōu)化數(shù)據(jù)庫(kù)，不如網(wǎng)絡(luò)連接的一次優(yōu)化，而網(wǎng)絡(luò)優(yōu)化最有效的就是減少請(qǐng)求數(shù)。我們要知道執(zhí)行一次內(nèi)存訪問(wèn)的耗時(shí)約是 100ns，而不同機(jī)房之間來(lái)回一次約需要 500000ns，其中的差距可想而知。

Redis在單機(jī)內(nèi)效率超高，但工業(yè)化部署總不會(huì)把服務(wù)器和 Redis 放在同一臺(tái)機(jī)器上，如果觸碰到效率瓶頸的話，那就是網(wǎng)絡(luò)。Spring Boot 學(xué)習(xí)筆記，推薦看下。

典型場(chǎng)景就是我們從 Redis 里讀出一條數(shù)據(jù)，再使用這條數(shù)據(jù)做鍵，讀取另外一條數(shù)據(jù)。這樣來(lái)來(lái)回回，便有兩次網(wǎng)絡(luò)往返。

導(dǎo)致這種問(wèn)題的原因就是 Redis 的普通命令沒(méi)有服務(wù)端計(jì)算的能力，無(wú)法在服務(wù)器進(jìn)行復(fù)合命令操作，雖然有 Redis 也提供了 pipeline 的特性，但它需要多個(gè)命令的請(qǐng)求和響應(yīng)之間沒(méi)有依賴關(guān)系。想簡(jiǎn)化多個(gè)相互依賴的命令就只能將數(shù)據(jù)拉回客戶端，由客戶端處理后再請(qǐng)求 Redis。

綜上，我們要更高效更方便的使用 Redis 就需要自己“定制”一些命令了。另外，Redis 面試題和答案都整理好了，微信搜索公眾號(hào)：Java技術(shù)棧，在后臺(tái)回復(fù)面試獲致。

內(nèi)嵌Lua的執(zhí)行

萬(wàn)幸 Redis 內(nèi)嵌了 Lua 執(zhí)行環(huán)境，支持 Lua 腳本的執(zhí)行，通過(guò)執(zhí)行 Lua 腳本，我們可以把多個(gè)命令復(fù)合為一個(gè) Lua 腳本，通過(guò) Lua 腳本來(lái)實(shí)現(xiàn)上文中提到的 Redis 命令的次序性和 Redis 服務(wù)端計(jì)算。

Lua

Lua 是一個(gè)簡(jiǎn)潔、輕量、可擴(kuò)展的腳本語(yǔ)言，它的特性有：

•  輕量：源碼包只有核心庫(kù)，編譯后體積很小。
•  高效：由 ANSI C 寫(xiě)的，啟動(dòng)快、運(yùn)行快。
•  內(nèi)嵌：可內(nèi)嵌到各種編程語(yǔ)言或系統(tǒng)中運(yùn)行，提升靜態(tài)語(yǔ)言的靈活性。如 OpenResty 就是將 Lua 嵌入到 nginx 中執(zhí)行。

而且完全不需要擔(dān)心語(yǔ)法問(wèn)題，Lua 的語(yǔ)法很簡(jiǎn)單，分分鐘使用不成問(wèn)題。

執(zhí)行步驟

Redis 在 2.6 版本后，啟動(dòng)時(shí)會(huì)創(chuàng)建 Lua 環(huán)境、載入 Lua 庫(kù)、定義 Redis 全局表格、存儲(chǔ) redis.pcall 等 Redis 命令，以準(zhǔn)備 Lua 腳本的執(zhí)行。

一個(gè)典型的 Lua 腳本執(zhí)行步驟如下：

1.  檢查腳本是否執(zhí)行過(guò)，沒(méi)執(zhí)行過(guò)使用腳本的 sha1 校驗(yàn)和生成一個(gè) Lua 函數(shù)；
2.  為函數(shù)綁定超時(shí)、錯(cuò)誤處理勾子；
3.  創(chuàng)建一個(gè)偽客戶端，通過(guò)這個(gè)偽客戶端執(zhí)行 Lua 中的 Redis 命令；
4.  處理偽客戶端的返回值，最終返回給客戶端；

雖然 Lua 腳本使用的是偽客戶端，但 Redis 處理它會(huì)跟普通客戶端一樣，也會(huì)將執(zhí)行的 Redis 命令進(jìn)行 rdb aof 主從復(fù)制等操作。

使用

Lua 腳本的使用可以通過(guò) Redis 的 EVAL 和 EVALSHA 命令。

EVAL 適用于單次執(zhí)行 Lua 腳本，執(zhí)行腳本前會(huì)由腳本內(nèi)容生成 sha1 校驗(yàn)和，在函數(shù)表內(nèi)查詢函數(shù)是否已定義，如未定義執(zhí)行成功后 Redis 會(huì)在全局表里緩存這個(gè)腳本的校驗(yàn)和為函數(shù)名，后續(xù)再次執(zhí)行此命令就不會(huì)再創(chuàng)建新的函數(shù)了。

而要使用 EVALSHA 命令，就得先使用 SCRIPT LOAD 命令先將函數(shù)加載到 Redis，Redis 會(huì)返回此函數(shù)的 sha1 校驗(yàn)和， 后續(xù)就可以直接使用這個(gè)校驗(yàn)和來(lái)執(zhí)行命令了。

以下是使用上述命令的例子： 

127.0.0.1:6379> EVAL "return 'hello'" 0 0  
"hello"  
127.0.0.1:6379> SCRIPT LOAD "return redis.pcall('GET', ARGV[1])"  
"20b602dcc1bb4ba8fca6b74ab364c05c58161a0a"  
127.0.0.1:6379> EVALSHA 20b602dcc1bb4ba8fca6b74ab364c05c58161a0a 0 test  
"zbs" 

EVAL 命令的原型是 EVAL script numkeys key [key ...] arg [arg ...]，在 Lua 函數(shù)內(nèi)部可以使用 KEYS[N] 和 ARGV[N] 引用鍵和參數(shù)，需要注意 KEYS 和 ARGV 的參數(shù)序號(hào)都是從 1 開(kāi)始的。

還需要注意在 Lua 腳本中，Redis 返回為空時(shí)，結(jié)果是 false，而 不是 nil；

Lua 腳本實(shí)例

下面寫(xiě)幾個(gè) Lua 腳本的實(shí)例，用來(lái)介紹語(yǔ)法的，僅供參考。

Redis 里 hashSet A 的 字段 B 的值是 C，取出 Redis 里鍵為 C 的值。 

// 使用: EVAL script 2 A B  
local tmpKey = redis.call('HGET', KEYS[1], KEYS[2]);  
return redis.call('GET', tmpKey); 

一次 lpop 出多個(gè)值，直到值為 n，或 list 為空（pipeline 也可輕易實(shí)現(xiàn)）； 

// 使用: EVAL script 2 list count  
local list = {};  
local item = false;  
local num = tonumber(KEYS[2]);  
while (num > 0)  
do  
    item = redis.call('LPOP', KEYS[1]);  
    if item == false then  
        break;  
    end;  
    table.insert(list, item);  
    numnum = num - 1;  
end;  
return list; 

獲取 zset 內(nèi) score 最多的 n 個(gè)元素 對(duì)應(yīng) hashset 中的詳細(xì)信息； 

local elements = redis.call('ZRANK', KEYS[1], 0, KEY[2]);  
local detail = {};  
for index,ele in elements do  
 local info = redis.call('HGETALL', ele);  
 table.insert(detail, info);  
end;  
return detail; 

基本使用語(yǔ)法就是如此，更多應(yīng)用就看各個(gè)具體場(chǎng)景了。

一些思考

實(shí)現(xiàn)之外，還要一些東西要思考：

使用場(chǎng)景

首先來(lái)總結(jié)一下 Redis 中 Lua 的使用場(chǎng)景：

•  可以使用 Lua 腳本實(shí)現(xiàn)原子性操作，避免不同客戶端訪問(wèn) Redis 服務(wù)器造成的數(shù)據(jù)沖突。
•  在前后多次請(qǐng)求的結(jié)果有依賴時(shí)，可以使用 Lua 腳本把多個(gè)請(qǐng)求整合為一個(gè)請(qǐng)求。

注意點(diǎn)

使用 Lua 腳本，我們還需要注意：

•  要保證安全性，在 Lua 腳本中不要使用全局變量，以免污染 Lua 環(huán)境，雖然使用全局變量全報(bào)錯(cuò)，Lua 腳本停止執(zhí)行，但還是在定義變量時(shí)添加 local 關(guān)鍵字。
•  要注意 Lua 腳本的時(shí)間復(fù)雜度，Redis 的單線程同樣會(huì)阻塞在 Lua 腳本的執(zhí)行中。
•  使用 Lua 腳本實(shí)現(xiàn)原子操作時(shí)，要注意如果 Lua 腳本報(bào)錯(cuò)，之前的命令同樣無(wú)法回滾。
•  一次發(fā)出多個(gè) Redis 請(qǐng)求，但請(qǐng)求前后無(wú)依賴時(shí)，使用 pipeline，比 Lua 腳本方便。

小結(jié)

最近工作有了較大的變動(dòng)，從業(yè)務(wù)到技術(shù)棧都跟原來(lái)完全不同了，所有代碼和業(yè)務(wù)都脫離了自己掌控的感覺(jué)真的很不爽，工作中全是“開(kāi)局一個(gè)搜索引擎，語(yǔ)法全靠查”，每天還要熬到很晚熟悉新的東西，有點(diǎn)小累，果然換工作就是找罪受啊。

不過(guò)走出舒適區(qū)后的充實(shí)感也在提醒自己正在不停進(jìn)步，倒也挺有成就感的。另外，關(guān)注公眾號(hào)Java技術(shù)棧，在后臺(tái)回復(fù)：面試，可以獲取我整理的 Redis 系列面試題和答案，非常齊全。