硬盤的原理以及SQL Server如何利用硬盤原理減少IO
簡(jiǎn)介
硬盤作為現(xiàn)在計(jì)算機(jī)內(nèi)部***的機(jī)械存儲(chǔ)部件,速度相比較內(nèi)存和Cache而言會(huì)慢好幾個(gè)數(shù)量級(jí)。但所幸的是,硬盤的成本是遠(yuǎn)遠(yuǎn)低于內(nèi)存的。因此硬盤作為***存儲(chǔ)器是比較合適的,所幸的是為了克服硬盤慢速帶來的問題,操作系統(tǒng)會(huì)對(duì)硬盤的使用有一個(gè)優(yōu)化,下面讓我們先來看硬盤的原理。
硬盤的原理簡(jiǎn)介
一個(gè)典型的硬盤如圖1所示。
圖1.一個(gè)典型的硬盤
由圖1可以看到,硬盤上磁盤進(jìn)行高速旋轉(zhuǎn),磁頭臂在磁盤上來回移動(dòng)進(jìn)行數(shù)據(jù)的讀取和寫入。這也是為什么我們說硬盤是一個(gè)機(jī)械部件的原因。通過圖2我們可以更抽象的來看磁盤讀取數(shù)據(jù)的方式。磁盤由圓心向外被劃分為多個(gè)磁道,所謂擺臂在磁道上來回移動(dòng)也就是擺臂在磁道間的來回移動(dòng),
圖2.更抽象的硬盤原理
除了磁道之外,一個(gè)磁道還會(huì)被劃分為多個(gè)扇區(qū),如圖3所示。
圖3.磁道,扇區(qū)和簇
我們可以看到,扇區(qū)是硬盤尋址的最小單位,但實(shí)際上分配空間時(shí)最小的單位是簇(Clusters)。這也就是為什么硬盤上文件的實(shí)際大小和占用空間不同的原因。
磁盤讀寫數(shù)據(jù)所花費(fèi)的時(shí)間
在了解了硬盤的基本原理之后,不難推算出,磁盤上數(shù)據(jù)讀取和寫入所花費(fèi)的時(shí)間可以分為三個(gè)部分。
1.尋道時(shí)間
所謂尋道時(shí)間,其實(shí)就是磁臂移動(dòng)到指定磁道所需要的時(shí)間,這部分時(shí)間又可以分為兩部分:
尋道時(shí)間=啟動(dòng)磁臂的時(shí)間+常數(shù)*所需移動(dòng)的磁道數(shù)
其中常數(shù)和驅(qū)動(dòng)器的的硬件相關(guān),啟動(dòng)磁臂的時(shí)間也和驅(qū)動(dòng)器的硬件相關(guān)
2.旋轉(zhuǎn)延遲
旋轉(zhuǎn)延遲指的是把扇區(qū)移動(dòng)到磁頭下面的時(shí)間。這個(gè)時(shí)間和驅(qū)動(dòng)器的轉(zhuǎn)數(shù)有關(guān),我們通常所說的7200轉(zhuǎn)的硬盤的轉(zhuǎn)就是這個(gè)。
平均旋轉(zhuǎn)延遲=1/(2*轉(zhuǎn)數(shù)每秒)
比如7200轉(zhuǎn)的硬盤的平均旋轉(zhuǎn)延遲等于1/2*120≈4.17ms
旋轉(zhuǎn)延遲只和硬件有關(guān)。
3.傳輸時(shí)間
傳輸時(shí)間指的是從磁盤讀出或?qū)?shù)據(jù)寫入磁盤的時(shí)間。
這個(gè)時(shí)間等于:所需要讀寫的字節(jié)數(shù)/每秒轉(zhuǎn)速*每扇區(qū)的字節(jié)數(shù)
磁盤調(diào)度算法
通過上面硬盤讀寫數(shù)據(jù)所分的三部分時(shí)間不難看出,大部分參數(shù)是和硬件相關(guān)的,操作系統(tǒng)無力優(yōu)化。只有所需移動(dòng)的磁道數(shù)是可以通過操作系統(tǒng)來進(jìn)行控制的,所以減少所需移動(dòng)的磁道數(shù)是減少整個(gè)硬盤的讀寫時(shí)間的唯一辦法。
因?yàn)椴僮飨到y(tǒng)內(nèi)可能會(huì)有很多進(jìn)程需要調(diào)用磁盤進(jìn)行讀寫,因此合理的安排磁頭的移動(dòng)以減少尋道時(shí)間就是磁盤調(diào)度算法的目的所在,幾種常見的磁盤調(diào)度算法如下。
1.先來先服務(wù)算法(FCFS)
這種算法將對(duì)磁盤的IO請(qǐng)求進(jìn)行排隊(duì),按照先后順序依次調(diào)度磁頭。這種算法的特點(diǎn)是簡(jiǎn)單,合理,但沒有減少尋道時(shí)間
2.最短尋道時(shí)間算法(SSFT)
這種算法優(yōu)先執(zhí)行所需讀寫的磁道離當(dāng)前磁頭最近的請(qǐng)求。這保證了平均尋道時(shí)間的最短,但缺點(diǎn)顯而易見:離當(dāng)前磁頭比較遠(yuǎn)的尋道請(qǐng)求有可能一直得不到執(zhí)行,這也就是所謂的“饑餓現(xiàn)象”。
3.掃描算法(SCAN)
這種算法在磁頭的移動(dòng)方向上選擇離當(dāng)前磁頭所在磁道最近的請(qǐng)求作為下一次服務(wù)對(duì)象,這種改進(jìn)有效避免了饑餓現(xiàn)象,并且減少了尋道時(shí)間。但缺點(diǎn)依然存在,那就是不利于最遠(yuǎn)一端的磁道訪問請(qǐng)求。
3.循環(huán)掃描算法(CSCAN)
也就是俗稱的電梯算法,這種算法是對(duì)最短尋道時(shí)間算法的改進(jìn)。這種算法就像電梯一樣,只能從1樓上到15樓,然后再?gòu)?5樓下到1樓。這種算法的磁頭調(diào)度也是如此,磁頭只能從最里磁道到磁盤最外層磁道。然后再由最外層磁道移動(dòng)到最里層磁道,磁頭是單向移動(dòng)的,在此基礎(chǔ)上,才執(zhí)行和最短尋道時(shí)間算法一樣的,離當(dāng)前磁頭最近的尋道請(qǐng)求。這種算法改善了SCAN算法,消除了對(duì)兩端磁道請(qǐng)求的不公平。
其它優(yōu)化手段以及SQL Server是如何利用這些手段
除去上面通過磁盤調(diào)度算法來減少尋道時(shí)間之外。還有一些其它的手段同樣可以利用,在開始之前,我首先想講一下局部性原理。
局部性原理
所謂的局部性原理分為時(shí)間和空間上的。由于程序是順序執(zhí)行的,因此當(dāng)前數(shù)據(jù)段附近的數(shù)據(jù)有可能在接下來的時(shí)間被訪問到。這就是所謂的空間局部性。而程序中還存在著循環(huán),因此當(dāng)前被訪問的數(shù)據(jù)有可能在短時(shí)間內(nèi)被再次訪問,這就是所謂的時(shí)間局部性原理。
因此在了解了局部性原理之后,我們可以通過以下幾個(gè)手段來減少磁盤的IO。
提前讀(Read-Ahead)
提前讀也被稱為預(yù)讀。根據(jù)磁盤原理我們不難看出,在磁盤讀取數(shù)據(jù)的過程中,真正讀取數(shù)據(jù)的時(shí)間只占了很小一部分,而大部分時(shí)間花在了旋轉(zhuǎn)延遲和尋道時(shí)間上,因此根據(jù)空間局部性原理,SQL Server每次讀取數(shù)據(jù)的時(shí)間不僅僅讀取所需要的數(shù)據(jù),還將所請(qǐng)求數(shù)據(jù)附近的數(shù)據(jù)進(jìn)行讀取。這在SQL Server中被稱為預(yù)讀。SQL Server通過預(yù)讀可以有效的減少IO請(qǐng)求。
延遲寫(Delayed write)
同樣,根據(jù)時(shí)間局部性原理,最近被訪問的數(shù)據(jù)有可能再次被訪問,因此當(dāng)數(shù)據(jù)更改之后不馬上寫回磁盤,而是繼續(xù)放在內(nèi)存中,以備接下來的請(qǐng)求讀取或者修改,是減少磁盤IO的另一個(gè)有效手段,在SQL Server中,實(shí)現(xiàn)延遲寫是buffer pool,當(dāng)一個(gè)修改請(qǐng)求被commit之后,并不會(huì)立刻寫回磁盤,而是將修改的頁標(biāo)記為“臟”,然后根據(jù)某種機(jī)制通過checkpoint或lazy writer寫回磁盤,關(guān)于checkpoint和lazy writer的原理,可以參考我之前的文章:淺談SQL Server中的事務(wù)日志(二)----事務(wù)日志在修改數(shù)據(jù)時(shí)的角色.
優(yōu)化物理分布
根據(jù)磁盤原理不難看出,如果所請(qǐng)求的數(shù)據(jù)在磁盤物理磁道之間是連續(xù)的,那么會(huì)減少磁頭的移動(dòng)距離,從而減少了尋道時(shí)間。因此相關(guān)的數(shù)據(jù)放在連續(xù)的物理空間上會(huì)減少尋道時(shí)間。SQL Server中,通過聚集索引使得數(shù)據(jù)根據(jù)主鍵在物理磁盤上連續(xù),從而減少了尋道時(shí)間。
總結(jié)
本文談了硬盤的原理,讀寫數(shù)據(jù)所花費(fèi)的時(shí)間以及如何減少讀寫數(shù)據(jù)所花的時(shí)間,并且簡(jiǎn)單概述了SQL Server是如何利用這些特性減少IO的占用。理解磁盤的原理是進(jìn)行性能調(diào)優(yōu)的基礎(chǔ)之一。