MySQL SQL慢查詢優(yōu)化經(jīng)歷與處理方案
當MySQL服務器出現(xiàn)異常(慢),首先要考慮是否因,SQL語句引起數(shù)據(jù)庫慢,如果情況比較緊急,我們就要立刻 SHOW FULL PROCESSLIST; 去查看,但我建議大家使用-e參數(shù),采用非交互的方式,因為這樣可以使用grep等命令,對結果進行過濾,更方便直觀的看到結果。
一、抓SQL慢查詢語句的方法,有2種:
1,臨時緊急抓取
SHOW FULL PROCESSLIST; #查看MySQL 在運行的線程;多執(zhí)行幾次,有相同語句,就可能是SQL慢查詢語句;
這個命令中最關鍵的就是state列,mysql列出的狀態(tài)主要有以下幾種:
Checking table #正在檢查數(shù)據(jù)表(這是自動的)。
Closing tables #正在將表中修改的數(shù)據(jù)刷新到磁盤中,同時正在關閉已經(jīng)用完的表。這是一個很快的操作,如果不是這樣的話,就應該確認磁盤空間是否已經(jīng)滿了或者磁盤是否正處于重負中。
Connect Out #復制從服務器正在連接主服務器。
Copying to tmp table on disk #由于臨時結果集大于 tmp_table_size,正在將臨時表從內存存儲轉為磁盤存儲以此節(jié)省內存。
Creating tmp table #正在創(chuàng)建臨時表以存放部分查詢結果。
deleting from main table #服務器正在執(zhí)行多表刪除中的***部分,剛刪除***個表。
deleting from reference tables #服務器正在執(zhí)行多表刪除中的第二部分,正在刪除其他表的記錄。
Flushing tables #正在執(zhí)行 FLUSH TABLES,等待其他線程關閉數(shù)據(jù)表。
Killed #發(fā)送了一個kill請求給某線程,那么這個線程將會檢查kill標志位,同時會放棄下一個kill請求。MySQL會在每次的主循環(huán)中檢查kill標志
位,不過有些情況下該線程可能會過一小段才能死掉。如果該線程程被其他線程鎖住了,那么kill請求會在鎖釋放時馬上生效。
Locked #被其他查詢鎖住了。
Sending data #正在處理 SELECT 查詢的記錄,同時正在把結果發(fā)送給客戶端。
Sorting for group #正在為 GROUP BY 做排序。
Sorting for order #正在為 ORDER BY 做排序。
Opening tables #這個過程應該會很快,除非受到其他因素的干擾。例如,在執(zhí) ALTER TABLE 或 LOCK TABLE 語句行完以前,數(shù)據(jù)表無法被其他線程打開。 正嘗試打開一個表。
Removing duplicates #正在執(zhí)行一個 SELECT DISTINCT 方式的查詢,但是MySQL無法在前一個階段優(yōu)化掉那些重復的記錄。因此,MySQL需要再次去掉重復的記錄,然后再把結果發(fā)送給客戶端。
Reopen table #獲得了對一個表的鎖,但是必須在表結構修改之后才能獲得這個鎖。已經(jīng)釋放鎖,關閉數(shù)據(jù)表,正嘗試重新打開數(shù)據(jù)表。
Repair by sorting #修復指令正在排序以創(chuàng)建索引。
Repair with keycache #修復指令正在利用索引緩存一個一個地創(chuàng)建新索引。它會比 Repair by sorting 慢些。
Searching rows for update #正在講符合條件的記錄找出來以備更新。它必須在 UPDATE 要修改相關的記錄之前就完成了。
Sleeping #正在等待客戶端發(fā)送新請求.
System lock #正在等待取得一個外部的系統(tǒng)鎖。如果當前沒有運行多個mysqld服務器同時請求同一個表,那么可以通過增加 --skip-external-locking參數(shù)來禁止外部系統(tǒng)鎖。
Upgrading lock
INSERT DELAYED #正在嘗試取得一個鎖表以插入新記錄。
Updating #正在搜索匹配的記錄,并且修改它們。
INSERT DELAYED #已經(jīng)處理完了所有待處理的插入操作,正在等待新的請求。
總結:
一般簡單查詢都應該2秒內完成,如果超時可能就存在異常
另外,上面的狀態(tài) 大多數(shù)都是出現(xiàn)問題后,為排錯提供,類似錯誤碼;
2,定期分析-記錄慢查詢日志的方式
我工作中,一般會在配置文件里,設置3個參數(shù)
log-slow-queries = /data/3306/slow.log #慢查詢日志路徑, log文件在my.cnf定義
long_query_time = 2 #記錄SQL查詢超過2s的語句
log-queries-not-using-indexes = 1 #記錄沒有使用索引的sql
通過上述3個參數(shù),收集慢查詢日志,通過寫腳本 ,mysqladmin 進行日志切割,在使用msyqlsla工具進行分析,然后每天8點 通過定時任務去執(zhí)行,定期將結果以郵件方式,發(fā)送給公司的DBA,或自己,核心開發(fā),抄送CTO
二、我們抓到慢查詢了,如何進行優(yōu)化?
創(chuàng)建索引
explian命令 # 查看sql語句使用索引情況
SQL-no-cache \G, #看看SQL語句 是不是走索引
注意其中有個key,真正顯示是否走索引的,如果沒有走索引的話,就要進行設置,那如何設置呢???
例如,我們查詢當前系統(tǒng)所有用戶,這個查詢語句啟用的是PRIMARY 主鍵索引(看key)
- mysql> explain select user,host from mysql.user \G
- *************************** 1. row ***************************
- id: 1
- select_type: SIMPLE
- table: user
- type: index
- possible_keys: NULL
- key: PRIMARY
- key_len: 228
- ref: NULL
- rows: 6
- Extra: Using index
- 1 row in set (0.00 sec)
查看表結構(RPI主鍵索引)
- mysql> desc mysql.user;
- +------------------------+-----------------------------------+------+-----+-----------------------+-------+
- | Field | Type | Null | Key | Default | Extra |
- +------------------------+-----------------------------------+------+-----+-----------------------+-------+
- | Host | char(60) | NO | PRI | | |
- | User | char(16) | NO | PRI | | |
三、如何創(chuàng)建索引?
我們可以針對 where 后 的條件 這種列做索引,盡量選唯一值多的大表上的列做索引,(例如男女性別列唯一值少,不是適合建立索引),如果條件列有好幾列,唯一值有很少,我們可以建立聯(lián)合索引來達到優(yōu)化目的, 聯(lián)合索引有前綴特性,查詢頻繁的列要放在前面,細節(jié)就不在說了,確認如何建立索引后,我們就開始創(chuàng)建索引
1,創(chuàng)建索引有2 種方法:
alter table student change id id int primary key auto_increment; #增加自增主鍵索引
alter table student add index index_name(name) #增加普通索引
create index index_dept on student(dept(8)); #創(chuàng)建指定字符數(shù)索引
數(shù)據(jù)量特別大的情況下,我們盡量選擇數(shù)據(jù)庫處于低谷或 選擇晚上進行,以免影響站點訪問,緊急情況除外;
四、更高級的優(yōu)化
還可以使用select profile功能 ,對SQL語句的每一個細節(jié),查看進行優(yōu)化,這里我使用也不是很多,一般是公司專業(yè)DBA來進行處理。
當然也會遇到特別的長的sql語句,優(yōu)化的余力也不大,我會sql語句發(fā)給核心開發(fā),進行處理,比如1條語句很慢,我可以變?yōu)?條,分別走索引,有可能有會很高,也可以用過改善產(chǎn)品,改善架構的方式,例如這條語句沒有優(yōu)化的余地,我們可以放到內部的從庫上進行查詢;