關于哈希(散列)函數(shù)你應該知道的東西
從輸出的哈希值反推回輸入,這從計算的角度是不可行的。
無論安全從業(yè)人員用計算機做什么,有一種工具對他們每個人都很有用:加密哈希(散列)函數(shù)。這聽起來很神秘、很專業(yè),甚至可能有點乏味,但是, 在這里,關于什么是哈希函數(shù)以及它們?yōu)槭裁磳δ愫苤匾?,我會作出一個簡潔的解釋。
加密哈希函數(shù),比如 SHA-256 或者 MD5,接受一組二進制數(shù)據(jù)(通常是字節(jié))作為輸入,并且對每個可能的輸入集給出一個希望唯一的輸出。對于任意模式的輸入,給定的哈希函數(shù)的輸出(“哈希值”)的長度都是一樣的(對于 SHA-256,是 32 字節(jié)或者 256 比特,這從名字中就能看出來)。最重要的是:從輸出的哈希值反推回輸入,這從計算的角度是不可行的(密碼學家討厭 “不可能” 這個詞)。這就是為什么它們有時候被稱作單向哈希函數(shù)。
但是哈希函數(shù)是用來做什么的呢?為什么“唯一”的屬性如此重要?
唯一的輸出
在描述哈希函數(shù)的輸出時,“希望唯一”這個短語是至關重要的,因為哈希函數(shù)就是用來呈現(xiàn)完全唯一的輸出。比如,哈希函數(shù)可以用于驗證 你 下載的文件副本的每一個字節(jié)是否和 我 下載的文件一樣。你下載一個 Linux 的 ISO 文件或者從 Linux 的倉庫中下載軟件時,你會看到使用這個驗證過程。沒有了唯一性,這個技術就沒用了,至少就通常的目的而言是這樣的。
如果兩個不同的輸入產(chǎn)生了相同的輸出,那么這樣的哈希過程就稱作“碰撞”。事實上,MD5 算法已經(jīng)被棄用,因為雖然可能性微乎其微,但它現(xiàn)在可以用市面上的硬件和軟件系統(tǒng)找到碰撞。
另外一個重要的特性是,消息中的一個微小變化,甚至只是改變一個比特位,都可能會在輸出中產(chǎn)生一個明顯的變化(這就是“雪崩效應”)。
驗證二進制數(shù)據(jù)
哈希函數(shù)的典型用途是當有人給你一段二進制數(shù)據(jù),確保這些數(shù)據(jù)是你所期望的。無論是文本、可執(zhí)行文件、視頻、圖像或者一個完整的數(shù)據(jù)庫數(shù)據(jù),在計算世界中,所有的數(shù)據(jù)都可以用二進制的形式進行描述,所以至少可以這么說,哈希是廣泛適用的。直接比較二進制數(shù)據(jù)是非常緩慢的且計算量巨大,但是哈希函數(shù)在設計上非???。給定兩個大小為幾 M 或者幾 G 的文件,你可以事先生成它們的哈希值,然后在需要的時候再進行比較。
通常,對哈希值進行簽名比對大型數(shù)據(jù)集本身進行簽名更容易。這個特性太重要了,以至于密碼學中對哈希值最常見的應用就是生成“數(shù)字”簽名。
由于生成數(shù)據(jù)的哈希值很容易,所以通常不需要有兩套數(shù)據(jù)。假設你想在你的電腦上運行一個可執(zhí)行文件。但是在你運行之前,你需要檢查這個文件就是你要的文件,沒有被黑客篡改。你可以方便快捷的對文件生成哈希值,只要你有一個這個哈希值的副本,你就可以相當肯定這就是你想要的文件。
下面是一個簡單的例子:
$ shasum -a256 ~/bin/fop
87227baf4e1e78f6499e4905e8640c1f36720ae5f2bd167de325fd0d4ebc791c /home/bob/bin/fop
如果我知道 fop
這個可執(zhí)行文件的 SHA-256 校驗和,這是由供應商(這個例子中是 Apache 基金會)提供的:
87227baf4e1e78f6499e4905e8640c1f36720ae5f2bd167de325fd0d4ebc791c
然后我就可以確信,我驅(qū)動器上的這個可執(zhí)行文件和 Apache 基金會網(wǎng)站上發(fā)布的文件是一模一樣的。這就是哈希函數(shù)難以發(fā)生碰撞(或者至少是 很難通過計算得到碰撞)這個性質(zhì)的重要之處。如果黑客能將真實文件用哈希值相同的文件輕易的進行替換,那么這個驗證過程就毫無用處。
事實上,這些性質(zhì)還有更技術性的名稱,我上面所描述的將三個重要的屬性混在了一起。更準確地說,這些技術名稱是:
- 抗原像性:給定一個哈希值,即使知道用了什么哈希函數(shù),也很難得到用于創(chuàng)建它的消息。
- 抗次原像性:給定一個消息,很難找到另一個消息,使得這個消息可以產(chǎn)生相同的哈希值。
- 抗碰撞性:很難得到任意兩個可以產(chǎn)生相同哈希值的消息。
抗碰撞性 和 抗次原像性 也許聽上去是同樣的性質(zhì),但它們具有細微而顯著的不同。抗次原像性 說的是如果 已經(jīng) 有了一個消息,你也很難得到另一個與之哈希值相匹配的消息。抗碰撞性 使你很難找到兩個可以生成相同哈希值的消息,并且要在哈希函數(shù)中實現(xiàn)這一性質(zhì)則更加困難。
讓我回到黑客試圖替換文件(可以通過哈希值進行校驗)的場景?,F(xiàn)在,要在“外面”使用加密哈希算法(除了使用那些在現(xiàn)實世界中由獨角獸公司開發(fā)的完全無 Bug 且安全的實現(xiàn)之外),還有一些重要且困難的附加條件需要滿足。認真的讀者可能已經(jīng)想到了其中一些,特別需要指出的是:
- 你必須確保自己所擁有的哈希值副本也沒有被篡改。
- 你必須確保執(zhí)行哈希算法的實體能夠正確執(zhí)行并報告了結果。
- 你必須確保對比兩個哈希值的實體確實報告了這個對比的正確結果。
確保你能滿足這些條件絕對不是一件容易的事。這就是可信平臺模塊(TPM)成為許多計算系統(tǒng)一部分的原因之一。它們扮演著信任的硬件基礎,可以為驗證重要二進制數(shù)據(jù)真實性的加密工具提供保證。TPM 對于現(xiàn)實中的系統(tǒng)來說是有用且重要的工具,我也打算將來寫一篇關于 TPM 的文章。