【51CTO.com 綜合消息】當今，互聯(lián)網(wǎng)給我們帶來了生活方式、生產(chǎn)方式上很多的便利與快捷。龐大的網(wǎng)絡信息資源，使人們通過瀏覽器就能便捷的獲取到生活或生產(chǎn)過程中所需要的信息。但是，過分或不適當?shù)木W(wǎng)絡資源訪問不僅給企業(yè)帶來了生產(chǎn)力和網(wǎng)絡帶寬的損失，還嚴重威脅著企業(yè)的網(wǎng)絡安全架構(gòu)和信息系統(tǒng)，甚至網(wǎng)絡上的不適當或非法內(nèi)容還極大危害著企業(yè)員工個人的身心健康甚至給企業(yè)帶來法律問題。

面臨以上種種問題，該如何解決?全部關閉網(wǎng)絡的大門不符合現(xiàn)代人類文明的發(fā)展與進步，也不利于合理商業(yè)業(yè)務的開展。單純依靠使用者自我約束的網(wǎng)絡使用制度也已經(jīng)無法執(zhí)行。于是，誕生了專門針對URL進行過濾的技術，以此達到對員工上網(wǎng)瀏覽內(nèi)容的控制與管理。

下面我們將對URL過濾技術的進化做一個簡單的介紹。

20世紀90年代中期，URL過濾解決方案依靠企業(yè)內(nèi)部IT人員人工建立、更新與編輯站點黑白名單。這一做法的缺點是，所有分類由一個或少數(shù)幾個人自由決定，對于這種資源密集型而且缺乏客觀性的站點分類方法，不僅會使許多被認可的網(wǎng)站被封鎖或被禁止的網(wǎng)站允許通過，而且隨著web站點的快速增長與相關技術的日益復雜，這種方案很難實現(xiàn)客觀、細粒度的URL分類，顯然不能成為企業(yè)或單位有效的URL過濾方案。

20世紀90年代末，出現(xiàn)了專門對URL進行收集、分類的廠商。URL過濾技術開始采用本地數(shù)據(jù)庫分類引擎。URL及其內(nèi)容在根據(jù)預先定義的類別下通過分類引擎進行相應的關鍵字查找分析與分類(如賭博、色情及網(wǎng)上購物等)，分類好的URL存儲在一個集中的主數(shù)據(jù)庫中，然后通過更新復制一份副本移交到客戶本地數(shù)據(jù)庫中。這種URL過濾方案的缺點是，隨著網(wǎng)頁數(shù)量的激增，由于一刀切的關鍵字分類技術和本地分類數(shù)據(jù)庫的限制，無法實現(xiàn)更高、更準確的覆蓋率和更廣泛的URL分類。

2000年初，URL過濾解決方案試圖采用啟發(fā)式內(nèi)容分析的方法，這種動態(tài)的分類技術，通過智能分析網(wǎng)站標題和網(wǎng)頁html主體中相關內(nèi)容的概率來確定URL類別。從理論上講，相比前兩類URL分類方案，這是一種很好的分類方法，然而在實際中它本身卻存在問題，很多基于啟發(fā)式的Web內(nèi)容分析結(jié)果沒有相關的配套技術實時地發(fā)送給終端用戶，而且采用的仍然是傳統(tǒng)的本地數(shù)據(jù)庫進行存儲。但是當今web2.0時代，web數(shù)據(jù)是一個不定數(shù)據(jù)且日益多樣化的集合體，而每個用戶的需求卻獨特且具體，基于本地URL數(shù)據(jù)庫的過濾技術，只能過濾存儲本地用戶需要的數(shù)據(jù)，不能存儲所有相關及最新數(shù)據(jù)，以執(zhí)行快速和準確的監(jiān)測，因此這種傳統(tǒng)的URL過濾技術也無法應對高度復雜且快速發(fā)展壯大的web2.0網(wǎng)絡。

據(jù)Google調(diào)查，互聯(lián)網(wǎng)上的網(wǎng)頁數(shù)量以每天一億的數(shù)量急速增長。以上三種URL 分類方法已經(jīng)不能夠準確有效的收集、分類所有的URL類別。數(shù)據(jù)存儲和處理要求也已經(jīng)遠遠超出了本地數(shù)據(jù)庫能力。于是在2009年，業(yè)界出現(xiàn)了數(shù)據(jù)云的URL過濾技術，這類廠商有Commtouch、Anchiva等。這種數(shù)據(jù)云URL過濾機制，基于云技術的URL收集、分類處理及發(fā)放策略，并不依賴于本地數(shù)據(jù)庫有限的資源進行分析與檢測，也不依賴于數(shù)據(jù)庫更新最新的URL分類，利用的是專門的分類服務器群，根據(jù)實際網(wǎng)絡的使用與普及方式對網(wǎng)頁內(nèi)容及語義進行全面分析后的分類。與傳統(tǒng)的云不同的是，真正做到了云的客戶端自動主動地去云的服務器端獲取所需的數(shù)據(jù)，而不是單純的基于云服務端的定時推送更新方法。下面我們將借助Anchiva的數(shù)據(jù)云URL過濾機制對數(shù)據(jù)云URL過濾技術進行簡單的介紹。

Anchiva(安啟華)數(shù)據(jù)云的URL分析過濾技術由兩部分組成：部署在企業(yè)網(wǎng)絡邊界處的Anchiva web安全網(wǎng)關(SWG)和Anchiva基于云的URL分類中心。網(wǎng)關設備和URL分類中心實時通信獲取最新的URL分類。不僅打破了傳統(tǒng)本地數(shù)據(jù)庫的限制，而且與其他基于云的技術不同的是Anchiva web安全網(wǎng)關中具有URL緩存技術，這個本地的緩存為每一個獨立的用戶存儲最為相關的URL，這些設備本地的URL類別，有效地確保了URL匹配的最佳性能，并且采用的是一種本地緩存自動學習的機制，隨著企業(yè)用戶使用時間的增長，這個本地緩存的URL庫會更加的貼近每一個用戶的實際需求，將能給客戶更加精準的URL過濾。

以下是Anchiva web安全網(wǎng)關URL過濾對HTTP-GET 請求的處理過程：

1、Anchiva web安全網(wǎng)關的URL匹配處理引擎接受來自本地用戶的HTTP-GET請求。

2、URL匹配處理引擎首先從設備上的本地緩存中查找相關的URL分類。

3、如果URL匹配處理引擎從本地緩存中查找到了正確的URL分類，那么將該HTTP-GET請求根據(jù)客戶設定好的相關過濾策略進行允許或阻止的操作。

4、如果沒有在本地緩存中找到正確的URL分類，URL匹配處理引擎會自動將該HTTP-GET請求發(fā)送到Anchiva數(shù)據(jù)云URL分類中心。

5、Anchiva數(shù)據(jù)云URL分類中心將自動查詢并返回正確的分類給設備的URL匹配處理引擎。

6、URL匹配處理引擎根據(jù)URL分類中心返回的分類對該HTTP-GET請求按照客戶設定好的相關過濾策略進行允許或阻止的操作，并在設備本地緩存的URL類別中添加相應的URL分類。

Anchiva數(shù)據(jù)云URL過濾處理過程圖：

另外，需要大家認清的一點是，任何的URL分類技術在web2.0時代都不可能做到100%的分類，如果用戶發(fā)出未經(jīng)分類的瀏覽請求，則會自動反饋到云端的分類引擎進行分類，在24小時內(nèi)將對未經(jīng)分類URL完成分類。如此一來，數(shù)據(jù)云系統(tǒng)用戶形成一個實質(zhì)用戶社區(qū)，已被社區(qū)用戶瀏覽過的流行站點將被分類并存儲，方便下一位用戶訪問。這種用戶互動保證了數(shù)據(jù)云系統(tǒng)保持不斷的更新與擴展，無疑是當今web2.0時代最有效實用且積極主動的一種收集分類處理技術。

說了這么多，下面我們對幾種URL過濾技術做以下對比總結(jié)：

	90年代中期 自分類黑/白名單	90年代末 本地黑/白名單	2000年初 啟發(fā)式檢測分類	2009年基于云的URL過濾技術
分類技術	企業(yè)IT人員人工分類	關鍵字查詢分類引擎	啟發(fā)式的關鍵字概率分類技術	完整的web內(nèi)容及語義分析技術
存儲方法	黑白名單文檔	本地數(shù)據(jù)庫	本地數(shù)據(jù)庫/云端服務器群	云端服務器群/本地緩存
更新方法	人工編輯更新黑白名單	復制數(shù)據(jù)庫副本更新方法	服務器定時推送更新	客戶端隨時獲取URL分類更新
準確性	差	一般	較好	極好
覆蓋范圍	差	一般	較好	極好
總結(jié)	缺乏客觀性的分類方法，資源集中，不準確。	誤報、漏報率高，互聯(lián)網(wǎng)的增長速度遠遠超過了本地數(shù)據(jù)庫存儲能力。	服務器不能實時推送準確的分類，沒有客戶端隨時獲取技術，客戶端使用本地數(shù)據(jù)庫存儲，容量有限。	無處理性能和本地數(shù)據(jù)庫存儲限制，先進的本地緩存自動學習機制，能夠滿足每個客戶獨特且具體的需求。