int expireIfNeeded(redisDb *db, robj *key) {
獲取主鍵的失效時間
long long when = getExpire(db,key);
假如失效時間為負數(shù),說明該主鍵未設置失效時間(失效時間默認為-1),直接返回0
if (when < 0) return 0;
假如Redis服務器正在從RDB文件中加載數(shù)據(jù),暫時不進行失效主鍵的刪除,直接返回0
if (server.loading) return 0;
假如當前的Redis服務器是作為Slave運行的,那么不進行失效主鍵的刪除,因為Slave
上失效主鍵的刪除是由Master來控制的,但是這里會將主鍵的失效時間與當前時間進行
一下對比,以告知調用者指定的主鍵是否已經(jīng)失效了
if (server.masterhost != NULL) {
return mstime() > when;
}
如果以上條件都不滿足,就將主鍵的失效時間與當前時間進行對比,如果發(fā)現(xiàn)指定的主鍵
還未失效就直接返回0
if (mstime() <= when) return 0;
如果發(fā)現(xiàn)主鍵確實已經(jīng)失效了,那么首先更新關于失效主鍵的統(tǒng)計個數(shù),然后將該主鍵失
效的信息進行廣播,最后將該主鍵從數(shù)據(jù)庫中刪除
server.stat_expiredkeys++;
propagateExpire(db,key);
return dbDelete(db,key);
}
代碼段三:
void propagateExpire(redisDb *db, robj *key) {
robj *argv[2];
shared.del是在Redis服務器啟動之初就已經(jīng)初始化好的一個常用Redis對象,即DEL命令
argv[0] = shared.del;
argv[1] = key;
incrRefCount(argv[0]);
incrRefCount(argv[1]);
檢查Redis服務器是否開啟了AOF,如果開啟了就為失效主鍵記錄一條DEL日志
if (server.aof_state != REDIS_AOF_OFF)
feedAppendOnlyFile(server.delCommand,db->id,argv,2);
檢查Redis服務器是否擁有Slave,如果是就向所有Slave發(fā)送DEL失效主鍵的命令,這就是
上面expireIfNeeded函數(shù)中發(fā)現(xiàn)自己是Slave時無需主動刪除失效主鍵的原因了,因為它
只需聽從Master發(fā)送過來的命令就OK了
if (listLength(server.slaves))
replicationFeedSlaves(server.slaves,db->id,argv,2);
decrRefCount(argv[0]);
decrRefCount(argv[1]);
}
以上我們通過對expireIfNeeded函數(shù)的介紹了解了Redis是如何以一種消極的方式刪除失效主鍵的,但是僅僅通過這種方式顯然是不夠的,因為如果某些失效的主鍵遲遲等不到再次訪問的話,Redis就永遠不會知道這些主鍵已經(jīng)失效,也就永遠也不會刪除它們了,這無疑會導致內存空間的浪費。因此,Redis還準備了一招積極的刪除方法,該方法利用Redis的時間事件來實現(xiàn),即每隔一段時間就中斷一下完成一些指定操作,其中就包括檢查并刪除失效主鍵。這里我們說的時間事件的回調函數(shù)就是serverCron,它在Redis服務器啟動時創(chuàng)建,每秒的執(zhí)行次數(shù)由宏定義REDIS_DEFAULT_HZ來指定,默認每秒鐘執(zhí)行10次。代碼段四給出該時間事件創(chuàng)建時的程序代碼,該代碼在redis.c文件的initServer函數(shù)中。實際上,serverCron這個回調函數(shù)不僅要進行失效主鍵的檢查與刪除,還要進行統(tǒng)計信息的更新、客戶端連接超時的控制、BGSAVE和AOF的觸發(fā)等等,這里我們僅關注刪除失效主鍵的實現(xiàn),也就是函數(shù)activeExpireCycle。
void activeExpireCycle(void) {
因為每次調用activeExpireCycle函數(shù)不會一次性檢查所有Redis數(shù)據(jù)庫,所以需要記錄下
每次函數(shù)調用處理的最后一個Redis數(shù)據(jù)庫的編號,這樣下次調用activeExpireCycle函數(shù)
還可以從這個數(shù)據(jù)庫開始繼續(xù)處理,這就是current_db被聲明為static的原因,而另外一
個變量timelimit_exit是為了記錄上一次調用activeExpireCycle函數(shù)的執(zhí)行時間是否達
到時間限制了,所以也需要聲明為static
static unsigned int current_db = 0;
static int timelimit_exit = 0;
unsigned int j, iteration = 0;
每次調用activeExpireCycle函數(shù)處理的Redis數(shù)據(jù)庫個數(shù)為REDIS_DBCRON_DBS_PER_CALL
unsigned int dbs_per_call = REDIS_DBCRON_DBS_PER_CALL;
long long start = ustime(), timelimit;
如果當前Redis服務器中的數(shù)據(jù)庫個數(shù)小于REDIS_DBCRON_DBS_PER_CALL,則處理全部數(shù)據(jù)庫,
如果上一次調用activeExpireCycle函數(shù)的執(zhí)行時間達到了時間限制,說明失效主鍵較多,也
會選擇處理全部數(shù)據(jù)庫
if (dbs_per_call > server.dbnum || timelimit_exit)
dbs_per_call = server.dbnum;
執(zhí)行activeExpireCycle函數(shù)的最長時間(以微秒計),其中REDIS_EXPIRELOOKUPS_TIME_PERC
是單位時間內能夠分配給activeExpireCycle函數(shù)執(zhí)行的CPU時間比例,默認值為25,server.hz
即為一秒內activeExpireCycle的調用次數(shù),所以這個計算公式更明白的寫法應該是這樣的,即
(1000000 * (REDIS_EXPIRELOOKUPS_TIME_PERC / 100)) / server.hz
timelimit = 1000000*REDIS_EXPIRELOOKUPS_TIME_PERC/server.hz/100;
timelimit_exit = 0;
if (timelimit <= 0) timelimit = 1;
遍歷處理每個Redis數(shù)據(jù)庫中的失效數(shù)據(jù)
for (j = 0; j < dbs_per_call; j++) {
int expired;
redisDb *db = server.db+(current_db % server.dbnum);
此處立刻就將current_db加一,這樣可以保證即使這次無法在時間限制內刪除完所有當前
數(shù)據(jù)庫中的失效主鍵,下一次調用activeExpireCycle一樣會從下一個數(shù)據(jù)庫開始處理,
從而保證每個數(shù)據(jù)庫都有被處理的機會
current_db++;
開始處理當前數(shù)據(jù)庫中的失效主鍵
do {
unsigned long num, slots;
long long now;
如果expires字典表大小為0,說明該數(shù)據(jù)庫中沒有設置失效時間的主鍵,直接檢查下
一數(shù)據(jù)庫
if ((num = dictSize(db->expires)) == 0) break;
slots = dictSlots(db->expires);
now = mstime();
如果expires字典表不為空,但是其填充率不足1%,那么隨機選擇主鍵進行檢查的代價
會很高,所以這里直接檢查下一數(shù)據(jù)庫
if (num && slots > DICT_HT_INITIAL_SIZE &&
(num*100/slots < 1)) break;
expired = 0;
如果expires字典表中的entry個數(shù)不足以達到抽樣個數(shù),則選擇全部key作為抽樣樣本
if (num > REDIS_EXPIRELOOKUPS_PER_CRON)
num = REDIS_EXPIRELOOKUPS_PER_CRON;
while (num--) {
dictEntry *de;
long long t;
隨機獲取一個設置了失效時間的主鍵,檢查其是否已經(jīng)失效
if ((de = dictGetRandomKey(db->expires)) == NULL) break;
t = dictGetSignedIntegerVal(de);
if (now > t) {
發(fā)現(xiàn)該主鍵確實已經(jīng)失效,刪除該主鍵
sds key = dictGetKey(de);
robj *keyobj = createStringObject(key,sdslen(key));
同樣要在刪除前廣播該主鍵的失效信息
propagateExpire(db,keyobj);
dbDelete(db,keyobj);
decrRefCount(keyobj);
expired++;
server.stat_expiredkeys++;
}
}
每進行一次抽樣刪除后對iteration加一,每16次抽樣刪除后檢查本次執(zhí)行時間是否
已經(jīng)達到時間限制,如果已達到時間限制,則記錄本次執(zhí)行達到時間限制并退出
iteration++;
if ((iteration & 0xf) == 0 &&
(ustime()-start) > timelimit)
{
timelimit_exit = 1;
return;
}
如果失效的主鍵數(shù)占抽樣數(shù)的百分比大于25%,則繼續(xù)抽樣刪除過程
} while (expired > REDIS_EXPIRELOOKUPS_PER_CRON/4);
}
}
三、Memcached刪除失效主鍵的方法與Redis有何異同?首先,Memcached在刪除失效主鍵時也是采用的消極方法,即Memcached內部也不會監(jiān)視主鍵是否失效,而是在通過Get訪問主鍵時才會檢查其是否已經(jīng)失效。其次,Memcached與Redis在主鍵失效機制上的最大不同是,Memcached不會像Redis那樣真正地去刪除失效的主鍵,而只是簡單地將失效主鍵占用的空間回收。這樣當有新的數(shù)據(jù)寫入到系統(tǒng)中時,Memcached會優(yōu)先使用那些失效主鍵的空間。如果失效主鍵的空間用光了,Memcached還可以通過LRU機制來回收那些長期得不到訪問的空間,因此Memcached并不需要像Redis中那樣的周期性刪除操作,這也是由Memcached使用的內存管理機制決定的。同時,這里需要指出的是Redis在出現(xiàn)OOM時同樣可以通過配置maxmemory-policy這個參數(shù)來決定是否采用LRU機制來回收內存空間(感謝@Jonathan_Dai同學在博文http://xenojoshua.com/2013/07/redis-lru/中對原文的指正[[114289]][[114289]][[114289]])!
四、Redis的主鍵失效機制會不會影響系統(tǒng)性能?通過以上對Redis主鍵失效機制的介紹,我們知道雖然Redis會定期地檢查設置了失效時間的主鍵并刪除已經(jīng)失效的主鍵,但是通過對每次處理數(shù)據(jù)庫個數(shù)的限制、activeExpireCycle函數(shù)在一秒鐘內執(zhí)行次數(shù)的限制、分配給activeExpireCycle函數(shù)CPU時間的限制、繼續(xù)刪除主鍵的失效主鍵數(shù)百分比的限制,Redis已經(jīng)大大降低了主鍵失效機制對系統(tǒng)整體性能的影響,但是如果在實際應用中出現(xiàn)大量主鍵在短時間內同時失效的情況還是會使得系統(tǒng)的響應能力降低,所以這種情況無疑應該避免。
參考文獻鏈接:http://redis.io/commands/expire & http://redis.io/topics/latency &