圖解Redis,談?wù)凴edis的持久化,RDB快照與AOF日志

今天分享一下Redis的持久化、事務(wù)、管道相關(guān)的知識點,實現(xiàn)快速入門,豐富個人簡歷,提高面試level,給自己增加一點談資,秒變面試小達人,BAT不是夢。
Redis是一個鍵值對數(shù)據(jù)庫,服務(wù)器中通常包含著任意個非空數(shù)據(jù)庫,而每個非空數(shù)據(jù)庫中又可以包含任意個鍵值對,我們將是服務(wù)器中的非空數(shù)據(jù)庫以及它們的鍵值對統(tǒng)稱為數(shù)據(jù)庫狀態(tài)。

Redis是內(nèi)存數(shù)據(jù)庫,它將數(shù)據(jù)存儲在內(nèi)存中,如果不能將內(nèi)存中的數(shù)據(jù)持久化到磁盤中,Redis突然宕機,會導(dǎo)致數(shù)據(jù)丟失。
為了解決這個問題,Redis提供了RDB持久化功能,RDB持久化會將Redis在內(nèi)存中的數(shù)據(jù)庫狀態(tài)保存到磁盤中,避免數(shù)據(jù)意外丟失。
一、RDB持久化
RDB,英文全稱Redis DataBase,在指定的時間間隔,將內(nèi)存中的數(shù)據(jù)寫入磁盤,待恢復(fù)時再將磁盤中的數(shù)據(jù)寫入內(nèi)存。
1、自動觸發(fā)
redis.conf配置文件中,save <seconds> <changes>,比如 save 60 20,在60秒內(nèi)修改20次就自動觸發(fā)RDB備份。
2、手動觸發(fā)
通過save和bgsave手動觸發(fā)RDB備份。
(1)save,在主程序中執(zhí)行會阻塞當前Redis服務(wù)器,直到RDB持久化完成,也就是說save持久化期間,Redis就不能用了,禁止使用。
(2)bgsave,不阻塞當前Redis服務(wù)器,Redis會fork一個子進程,異步進行快照操作。
禁用快照:redis-cli config set save ""。
3、設(shè)置保存條件
服務(wù)器程序會根據(jù)save選項所設(shè)置的保存條件,設(shè)置服務(wù)器狀態(tài)redisServer結(jié)構(gòu)的saveparams屬性。
dirty計數(shù)器記錄距離上次成功執(zhí)行save命令后,服務(wù)器對數(shù)據(jù)狀態(tài)進行了多少次修改。
lastsave屬性是一個UNIX時間戳,記錄了服務(wù)器上一次成功執(zhí)行save命令的時間。
屬性是一個數(shù)組,數(shù)組中的每個元素都是一個saveparam結(jié)構(gòu),每個saveparam結(jié)構(gòu)都保存了一個save選項設(shè)置的保存條件。

以上就是Redis服務(wù)器根據(jù)save選項所設(shè)置的保存條件,自動執(zhí)行bgsave命令,進行間隔性數(shù)據(jù)保存的實現(xiàn)原理。
4、加解密
RDB持久化功能所生成的RDB文件是一個經(jīng)過壓縮的二進制文件,通過該文件可以還原生成RDB文件時的數(shù)據(jù)庫狀態(tài)。
5、RDB持久化優(yōu)缺點
(1)優(yōu)點
- 適合大規(guī)模的數(shù)據(jù)備份、恢復(fù)。
 - 可以定時備份。
 - 對數(shù)據(jù)一致性、完整性要求不高的場景可以使用。
 - RDB文件在內(nèi)存中的加載速度要比AOF塊。
 
(2)缺點
- 因為是定時備份,如果Redis宕機的話,會丟失一部分數(shù)據(jù)。
 - 因為是數(shù)據(jù)的全量同步,如果數(shù)據(jù)量過大,會產(chǎn)生大量IO,嚴重影響服務(wù)器性能。
 - RDB持久化時,會fork一個子進程,如果數(shù)據(jù)過大, 可能會導(dǎo)致服務(wù)器的瞬間延遲;fork的時候內(nèi)存中的數(shù)據(jù)會被克隆一份,是否會造成內(nèi)存溢出,值得考慮。
 
6、哪些情況會觸發(fā)RDB持久化?
(1)redis.conf中的定時配置。
(2)手動執(zhí)行save、bgsave命令。
(3)執(zhí)行flushall、flushdb命令,產(chǎn)生的.rdb文件是空的。
(4)執(zhí)行shutdown命令,且沒有設(shè)置AOF持久化。
(5)主動復(fù)制時,主節(jié)點自動觸發(fā)。
注意:save和bgsave不能同時執(zhí)行,如果bgsave命令正在執(zhí)行,那么客戶端發(fā)送的save命令會被拒絕執(zhí)行,服務(wù)器禁止save和bgsave同時執(zhí)行是為了避免父進程和子進程同時執(zhí)行兩個rdbSave調(diào)用,防止產(chǎn)生競爭條件。
創(chuàng)建RDB文件的實際工作是由rdb.c/rdbSave函數(shù)完成,save和bgsave會以不同的方式調(diào)用這個函數(shù)。
二、AOF持久化
AOF,Append Only File,以日志的方式記錄每一個操作命令,只追加不修改,Redis啟動時會讀取該文件,重新執(zhí)行一遍之前的寫操作命令,達到恢復(fù)數(shù)據(jù)的效果。
默認不開啟,需要更改為appendonly yes,開啟AOF快照功能。
1、AOF持久化過程
(1)在執(zhí)行Redis命令時,Redis會將這些命令放入AOF緩存中,AOF緩存是位于內(nèi)存中的一個區(qū)域,AOF緩存中的命令達到一定數(shù)量后,批量寫入磁盤,避免頻繁的磁盤IO操作。
(2)根據(jù)AOF緩沖區(qū)同步文件的三種寫回策略,將命令寫到磁盤的AOF文件中。
(3)隨著寫入AOF內(nèi)容的增加,會根據(jù)規(guī)則進行命令的合并,起到壓縮AOF文件的效果。
(4)當Redis重啟時,會根據(jù)AOF文件,依此執(zhí)行命令,恢復(fù)內(nèi)存數(shù)據(jù)。
很多人會問,如果加入到AOF緩存的數(shù)據(jù)還沒寫入磁盤,此時服務(wù)器宕機了,數(shù)據(jù)不會產(chǎn)生丟失嗎?
系統(tǒng)提供了fsync和fdatasync兩個同步函數(shù),他們可以強制操作系統(tǒng)立即將緩存區(qū)中的數(shù)據(jù)寫入到磁盤里,確保寫入數(shù)據(jù)的完整性。
2、appendfsync的選項值
(1)Always,同步寫回,每個寫命令執(zhí)行完立刻同步到磁盤;最多只會丟失一個命令的數(shù)據(jù),最安全,但是效率最低。
(2)everysec,每秒寫回;它最多丟失1秒的數(shù)據(jù)。
(3)no,操作系統(tǒng)控制的寫回,每個命令執(zhí)行完,存到AOF緩存中,由操作系統(tǒng)決定,啥時候?qū)⒚顚懭氲酱疟PAOF文件中。
3、AOF持久化優(yōu)缺點
(1)優(yōu)點
更好的保護數(shù)據(jù)不丟失,性能高,可做緊恢復(fù)。
(2)缺點
- 等量級的命令,AOF持久化文件要大于RDB持久化文件。
 - 恢復(fù)速度慢于RDB;
 
4、數(shù)據(jù)恢復(fù)順序和加載流程
當同時開啟AOF和RDB的時候,會優(yōu)先加載AOF文件來恢復(fù)數(shù)據(jù),因為通常情況下AOF文件比RDB文件備份的數(shù)據(jù)要完整。

三、Redis事務(wù)
1、Redis事務(wù)是什么?
可以一次性順序執(zhí)行多個命令,不可被其它命令插隊,但是,Redis的事務(wù)不能回滾。
2、Redis事務(wù)常用命令
(1)discard,取消事務(wù),放棄執(zhí)行事務(wù)內(nèi)的所有命令。
(2)exec,執(zhí)行所有命令。
(3)multi,標記一個事務(wù)塊的開始。
(4)unwatch,取消watch命令對所有key的監(jiān)視。
(5)watch key,監(jiān)視某個key,如果這個key在事務(wù)執(zhí)行之前被其它命令改動,那么事務(wù)將被打斷。
3、事務(wù)命令執(zhí)行順序

4、事務(wù)的ACID特性
在Redis中,事務(wù)總是具有原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation),并且Redis運行在某些特殊模式下,也具有持久性(Durability)。
(1)原子性
事務(wù)具有原子性,指的是事務(wù)中的多個操作當做一個整體來執(zhí)行,服務(wù)器要么就執(zhí)行事務(wù)中的全部操作,要么就一個操作也不執(zhí)行。
(2)一致性
如果數(shù)據(jù)庫在執(zhí)行事務(wù)之前是一致的,那么在事務(wù)執(zhí)行之后,無論事務(wù)執(zhí)行是否成功,數(shù)據(jù)庫也應(yīng)該是一致的。
(3)隔離性
隔離性指即使數(shù)據(jù)庫中有多個事務(wù)并發(fā)地執(zhí)行,各個事務(wù)之間也不會互相影響,并且在并發(fā)狀態(tài)下執(zhí)行的事務(wù)和串行執(zhí)行的事務(wù)產(chǎn)生的結(jié)果完全相同。
(4)持久性
當一個事務(wù)執(zhí)行完畢時,執(zhí)行這個事務(wù)所得的結(jié)果已經(jīng)被保存到硬盤里,即使服務(wù)器此時宕機,執(zhí)行事務(wù)所得的結(jié)果也不會丟失。
四、Redis管道
1、Redis管道釋義
Redis是一種基于客戶端-服務(wù)端模型以及請求響應(yīng)協(xié)議的TCP服務(wù),每個請求會遵循如下操作:
(1)客戶端向服務(wù)端發(fā)送命令,① 發(fā)送命令;② 命令排隊;③ 命令執(zhí)行;④ 返回結(jié)果,監(jiān)聽Socket返回,通常以阻塞模
(2)式等待服務(wù)端響應(yīng)。
服務(wù)端處理命令,并將結(jié)果返回給客戶端。
上面兩步走,稱為RTT,數(shù)據(jù)往返于兩端的時間,Round Trip Time。
如果需要執(zhí)行大量命令,那么新的命令要等待上一個命令執(zhí)行完畢才能執(zhí)行,會頻繁的調(diào)用系統(tǒng)IO,頻繁發(fā)送網(wǎng)絡(luò)請求,同時需要Redis調(diào)用多次read()和write()系統(tǒng)方法,系統(tǒng)方法會將數(shù)據(jù)從用戶態(tài)轉(zhuǎn)移到內(nèi)核態(tài),性能不佳。
2、注意事項
(1)pipeline緩存的指令只會依此執(zhí)行,不保證原子性,如果執(zhí)行中發(fā)生異常,也會繼續(xù)執(zhí)行后面的指令。
(2)使用pipeline組裝的命令個數(shù)不能太多,不然可能會造成阻塞時間過長的現(xiàn)象,同時服務(wù)端也會被迫回復(fù)一個隊列答復(fù),占用過多內(nèi)存。
3、代碼實戰(zhàn)
編寫一個命令腳本,添加幾個不同類型的數(shù)據(jù)。
通過 cat run.txt | redis-cli -a 111111 --pipe 命令,體驗Redis管道效果。

Redis管道
本文轉(zhuǎn)載自微信公眾號「哪吒編程」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系哪吒編程公眾號。
















 
 
 













 
 
 
 