偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

面試官:Redis 大 Key 要如何處理?

數(shù)據(jù)庫 Redis
釋放內(nèi)存只是第一步,為了更加高效地管理內(nèi)存空間,在應用程序釋放內(nèi)存時,操作系統(tǒng)需要把釋放掉的內(nèi)存塊插入一個空閑內(nèi)存塊的鏈表,以便后續(xù)進行管理和再分配。這個過程本身需要一定時間,而且會阻塞當前釋放內(nèi)存的應用程序。

今天來聊聊,關于 Redis 大 key 的四個問題。

  • 什么是 Redis 大 key?
  • 大 key 會造成什么問題?
  • 如何找到大 key ?
  • 如何刪除大 key?

什么是 Redis 大 key?

大 key 并不是指 key 的值很大,而是 key 對應的 value 很大。

一般而言,下面這兩種情況被稱為大 key:

  • String 類型的值大于 10 KB;
  • Hash、List、Set、ZSet 類型的元素的個數(shù)超過 5000個;

大 key 會造成什么問題?

大 key 會帶來以下四種影響:

  • 客戶端超時阻塞。由于 Redis 執(zhí)行命令是單線程處理,然后在操作大 key 時會比較耗時,那么就會阻塞 Redis,從客戶端這一視角看,就是很久很久都沒有響應。
  • 引發(fā)網(wǎng)絡阻塞。每次獲取大 key 產(chǎn)生的網(wǎng)絡流量較大,如果一個 key 的大小是 1 MB,每秒訪問量為 1000,那么每秒會產(chǎn)生 1000MB 的流量,這對于普通千兆網(wǎng)卡的服務器來說是災難性的。
  • 阻塞工作線程。如果使用 del 刪除大 key 時,會阻塞工作線程,這樣就沒辦法處理后續(xù)的命令。
  • 內(nèi)存分布不均。集群模型在 slot 分片均勻情況下,會出現(xiàn)數(shù)據(jù)和查詢傾斜情況,部分有大 key 的 Redis 節(jié)點占用內(nèi)存多,QPS 也會比較大。

如何找到大 key ?

1.redis-cli --bigkeys 查找大key

可以通過 redis-cli --bigkeys 命令查找大 key:

redis-cli -h 127.0.0.1 -p6379 -a "password" -- bigkeys

使用的時候注意事項:

  • 最好選擇在從節(jié)點上執(zhí)行該命令。因為主節(jié)點上執(zhí)行時,會阻塞主節(jié)點;
  • 如果沒有從節(jié)點,那么可以選擇在 Redis 實例業(yè)務壓力的低峰階段進行掃描查詢,以免影響到實例的正常運行;或者可以使用 -i 參數(shù)控制掃描間隔,避免長時間掃描降低 Redis 實例的性能。

該方式的不足之處:

  • 這個方法只能返回每種類型中最大的那個 bigkey,無法得到大小排在前 N 位的 bigkey;
  • 對于集合類型來說,這個方法只統(tǒng)計集合元素個數(shù)的多少,而不是實際占用的內(nèi)存量。但是,一個集合中的元素個數(shù)多,并不一定占用的內(nèi)存就多。因為,有可能每個元素占用的內(nèi)存很小,這樣的話,即使元素個數(shù)有很多,總內(nèi)存開銷也不大;

2.使用 SCAN 命令查找大 key

使用 SCAN 命令對數(shù)據(jù)庫掃描,然后用 TYPE 命令獲取返回的每一個 key 的類型。

對于 String 類型,可以直接使用 STRLEN 命令獲取字符串的長度,也就是占用的內(nèi)存空間字節(jié)數(shù)。

對于集合類型來說,有兩種方法可以獲得它占用的內(nèi)存大?。?/p>

  • 如果能夠預先從業(yè)務層知道集合元素的平均大小,那么,可以使用下面的命令獲取集合元素的個數(shù),然后乘以集合元素的平均大小,這樣就能獲得集合占用的內(nèi)存大小了。List 類型:LLEN? 命令;Hash 類型:HLEN? 命令;Set 類型:SCARD? 命令;Sorted Set 類型:ZCARD 命令;
  • 如果不能提前知道寫入集合的元素大小,可以使用MEMORY USAGE 命令(需要 Redis 4.0 及以上版本),查詢一個鍵值對占用的內(nèi)存空間。

3.使用 RdbTools 工具查找大 key

使用 RdbTools 第三方開源工具,可以用來解析 Redis 快照(RDB)文件,找到其中的大 key。

比如,下面這條命令,將大于 10 kb 的  key  輸出到一個表格文件。

rdb dump.rdb -c memory --bytes 10240 -f redis.csv

如何刪除大 key?

刪除操作的本質(zhì)是要釋放鍵值對占用的內(nèi)存空間,不要小瞧內(nèi)存的釋放過程。

釋放內(nèi)存只是第一步,為了更加高效地管理內(nèi)存空間,在應用程序釋放內(nèi)存時,操作系統(tǒng)需要把釋放掉的內(nèi)存塊插入一個空閑內(nèi)存塊的鏈表,以便后續(xù)進行管理和再分配。這個過程本身需要一定時間,而且會阻塞當前釋放內(nèi)存的應用程序。

所以,如果一下子釋放了大量內(nèi)存,空閑內(nèi)存塊鏈表操作時間就會增加,相應地就會造成 Redis 主線程的阻塞,如果主線程發(fā)生了阻塞,其他所有請求可能都會超時,超時越來越多,會造成 Redis 連接耗盡,產(chǎn)生各種異常。

因此,刪除大 key 這一個動作,我們要小心。具體要怎么做呢?這里給出兩種方法:

  • 分批次刪除
  • 異步刪除(Redis 4.0版本以上)

1.分批次刪除

對于刪除大 Hash,使用 hscan 命令,每次獲取 100 個字段,再用 hdel 命令,每次刪除 1 個字段。

Python代碼:

def del_large_hash():
r = redis.StrictRedis(host='redis-host1', port=6379)
large_hash_key ="xxx" #要刪除的大hash鍵名
cursor = '0'
while cursor != 0:
# 使用 hscan 命令,每次獲取 100 個字段
cursor, data = r.hscan(large_hash_key, cursor=cursor, count=100)
for item in data.items():
# 再用 hdel 命令,每次刪除1個字段
r.hdel(large_hash_key, item[0])

對于刪除大 List,通過 ltrim 命令,每次刪除少量元素。

Python代碼:

def del_large_list():
r = redis.StrictRedis(host='redis-host1', port=6379)
large_list_key = 'xxx' #要刪除的大list的鍵名
while r.llen(large_list_key)>0:
#每次只刪除最右100個元素
r.ltrim(large_list_key, 0, -101)

對于刪除大 Set,使用 sscan 命令,每次掃描集合中 100 個元素,再用 srem 命令每次刪除一個鍵。

Python代碼:

def del_large_set():
r = redis.StrictRedis(host='redis-host1', port=6379)
large_set_key = 'xxx' # 要刪除的大set的鍵名
cursor = '0'
while cursor != 0:
# 使用 sscan 命令,每次掃描集合中 100 個元素
cursor, data = r.sscan(large_set_key, cursor=cursor, count=100)
for item in data:
# 再用 srem 命令每次刪除一個鍵
r.srem(large_size_key, item)

對于刪除大 ZSet,使用 zremrangebyrank 命令,每次刪除 top 100個元素。

Python代碼:

def del_large_sortedset():
r = redis.StrictRedis(host='large_sortedset_key', port=6379)
large_sortedset_key='xxx'
while r.zcard(large_sortedset_key)>0:
# 使用 zremrangebyrank 命令,每次刪除 top 100個元素
r.zremrangebyrank(large_sortedset_key,0,99)

2.異步刪除

從 Redis 4.0 版本開始,可以采用異步刪除法,用 unlink 命令代替 del 來刪除。

這樣 Redis 會將這個 key 放入到一個異步線程中進行刪除,這樣不會阻塞主線程。

責任編輯:武曉燕 來源: 小林coding
相關推薦

2024-11-26 08:09:58

2021-01-18 05:13:04

TomcatHttp

2024-04-03 00:00:00

Redis集群代碼

2024-04-09 10:40:04

2024-10-22 16:39:07

2024-02-28 10:14:47

Redis數(shù)據(jù)硬盤

2015-08-13 10:29:12

面試面試官

2021-11-02 09:05:25

Redis

2023-02-16 08:10:40

死鎖線程

2022-07-06 13:48:24

RedisSentinel機制

2021-07-06 07:27:45

React元素屬性

2022-08-11 18:27:50

面試Redis分布式鎖

2024-02-20 14:10:55

系統(tǒng)緩存冗余

2024-03-18 14:06:00

停機Spring服務器

2010-08-12 16:28:35

面試官

2024-09-11 22:51:19

線程通訊Object

2021-07-06 07:08:18

管控數(shù)據(jù)數(shù)倉

2025-03-17 00:00:00

2023-11-20 10:09:59

2020-11-06 07:11:40

內(nèi)存虛擬Redis
點贊
收藏

51CTO技術棧公眾號