全面、高效的實(shí)現(xiàn)互聯(lián)網(wǎng)P2P視頻節(jié)目管理
【51CTO.com 綜合報(bào)道】P2P的發(fā)展概況
信息網(wǎng)絡(luò)傳播視聽節(jié)目, 是互聯(lián)網(wǎng)等信息技術(shù)迅速發(fā)展而形成的新型視聽節(jié)目傳播方式,它使視聽節(jié)目的廣泛傳播不再單純依賴于傳統(tǒng)的廣播電視傳輸網(wǎng)絡(luò),從廣電部門管理角度講互聯(lián)網(wǎng)視音頻站點(diǎn)已經(jīng)成為一種新型的播出機(jī)構(gòu)。
但是隨著P2P技術(shù)的成熟,并且廣泛應(yīng)用到視頻共享和在線直播/點(diǎn)播視頻節(jié)目上,使用P2P技術(shù)已經(jīng)成為互聯(lián)網(wǎng)視頻文件傳播的主流方式。由于P2P視頻節(jié)目在技術(shù)實(shí)現(xiàn)上不同于以往的互聯(lián)網(wǎng)視頻節(jié)目,技術(shù)實(shí)現(xiàn)難度大,使用的協(xié)議復(fù)雜多樣,而且視頻節(jié)目源的傳播多為網(wǎng)民的個(gè)人行為,節(jié)目的傳播方式更加隱蔽,節(jié)目的內(nèi)容更具危害性,加之網(wǎng)站的審核力度不大,給互聯(lián)網(wǎng)節(jié)目的監(jiān)管帶來了更大的挑戰(zhàn),一些違規(guī)傳播視聽節(jié)目的P2P網(wǎng)站,為了屏蔽相關(guān)部門的監(jiān)管,使用頻繁更換域名和服務(wù)器地址、登錄驗(yàn)證、限制用戶權(quán)限、隱藏節(jié)目源鏈接等方式,來逃避程序?qū)W(wǎng)站的自動(dòng)監(jiān)控,這就需要我們采用更加具有針對(duì)性的手段來獲取這些節(jié)目的信息。
上述種種問題表明,P2P網(wǎng)絡(luò)廣播電視聽節(jié)目監(jiān)管是一項(xiàng)全新的管理任務(wù),需要全新的管理手段。必須建立功能強(qiáng)大的監(jiān)管系統(tǒng),才有可能及時(shí)了解P2P網(wǎng)絡(luò)視聽節(jié)目的傳播情況,也才有可能及時(shí)對(duì)問題做出處理。
實(shí)時(shí)的監(jiān)管平臺(tái)
深圳市任子行網(wǎng)絡(luò)技術(shù)有限公司針對(duì)以上問題,鼎力研制出面向P2P的網(wǎng)絡(luò)廣播電視節(jié)目源監(jiān)管系統(tǒng),通過對(duì)境內(nèi)利用BT、電驢等P2P協(xié)議進(jìn)行文件共享和傳播的重要互聯(lián)網(wǎng)網(wǎng)站和論壇(以下簡(jiǎn)稱P2P文件共享網(wǎng)站)的搜索和跟蹤,對(duì)網(wǎng)站上的視聽節(jié)目源發(fā)現(xiàn)、定位和傳播追蹤等功能。
主要目標(biāo)包括:
◆ 及時(shí)發(fā)現(xiàn)境內(nèi)互聯(lián)網(wǎng)上的P2P文件共享網(wǎng)站;
◆ 對(duì)主要P2P文件共享網(wǎng)站上的種子和鏈接進(jìn)行全面、周期性搜索和跟蹤,發(fā)現(xiàn)共享的視聽節(jié)目文件,并進(jìn)行定位和傳播跟蹤,統(tǒng)計(jì)網(wǎng)站相關(guān)信息和視聽節(jié)目文件資源信息;
◆ 對(duì)視聽節(jié)目進(jìn)行判別、分類和聚類,發(fā)現(xiàn)有害和違規(guī)節(jié)目進(jìn)行報(bào)警,并進(jìn)行重點(diǎn)定位、追蹤、下載取證;
◆ 發(fā)現(xiàn)新增節(jié)目和熱點(diǎn)節(jié)目,及時(shí)掌握網(wǎng)上傳播動(dòng)態(tài);
◆ 建立P2P節(jié)目數(shù)據(jù)庫(kù),支持對(duì)視聽節(jié)目信息的在線和離線查詢,為管理部門提供有力的數(shù)據(jù)支持。 #p#
靈活的查詢方式
任子行研制的該系統(tǒng)能提供靈活的查詢方式,使用戶可以方便地獲取系統(tǒng)所采集到的各類信息,并在各類信息的基礎(chǔ)上進(jìn)行統(tǒng)計(jì)分析,使用戶能獲取各類統(tǒng)計(jì)分析結(jié)果,能了解P2P文件共享信息的詳細(xì)和綜合信息,是整個(gè)項(xiàng)目中用戶了解各種應(yīng)用發(fā)展趨勢(shì)的關(guān)鍵功能模塊。例如:
◆查看所有P2P文件共享發(fā)布站點(diǎn)列表;
◆查看當(dāng)日TopN P2P文件共享發(fā)布站點(diǎn)(BT、eDonkey/eMule發(fā)布網(wǎng)站)熱度排名;
◆查看當(dāng)日TopN種子/鏈接熱度排名;
◆查看當(dāng)日新增種子/鏈接列表;
◆查看當(dāng)日新增發(fā)布站點(diǎn)列表;
◆查看當(dāng)日新增種子/鏈接黑名單(黑名單獲取詳見網(wǎng)絡(luò)監(jiān)控部分);
◆查看當(dāng)日新增網(wǎng)站黑名單;
◆查看當(dāng)日活躍用戶列表(包括活躍度、共享資源數(shù)、擁有敏感資源數(shù)3種排名列表);
◆查看當(dāng)日資源、敏感資源傳播的骨干節(jié)點(diǎn)列表;
◆查看特定發(fā)布站點(diǎn)的相關(guān)信息,包括網(wǎng)站域名、IP地址、ICP/ISP備案信息、聯(lián)系人、聯(lián)系方式及服務(wù)器所在具體省市等;
◆查看特定節(jié)點(diǎn)的信息,包括其共享的資源清單;
簡(jiǎn)單查詢特定種子的相關(guān)信息,如所在發(fā)布服務(wù)器或tracker服務(wù)器信息、種子節(jié)點(diǎn)的信息(數(shù)量、IP地址及地理位置)、下載節(jié)點(diǎn)的信息(數(shù)量、下載進(jìn)度、IP地址及地理位置)、做種時(shí)間、種子對(duì)應(yīng)的文件信息(文件名、文件大小、文件類型、圖片及簡(jiǎn)介等);
除了返回的節(jié)目表單外,用戶還可以選中每一個(gè)節(jié)目源查看詳細(xì)信息。如Tracker列表、文件清單等。當(dāng)用戶選中一個(gè)種子后,可以啟動(dòng)BT在線節(jié)點(diǎn)收集程序來收集這個(gè)種子的在線節(jié)點(diǎn)。
◆簡(jiǎn)單查詢特定文件的相關(guān)信息,如發(fā)布節(jié)點(diǎn)的信息(數(shù)量、IP地址及地理位置)、下載節(jié)點(diǎn)的信息(數(shù)量、下載進(jìn)度、IP地址及地理位置)、發(fā)布時(shí)間、文件對(duì)應(yīng)的文件信息(文件名、文件大小、文件類型、圖片及簡(jiǎn)介等);
◆復(fù)合條件查詢特定種子/文件或發(fā)布站點(diǎn):根據(jù)關(guān)鍵字、創(chuàng)建時(shí)間、熱度閥值、發(fā)布站點(diǎn)、發(fā)布源IP地址等信息進(jìn)行復(fù)合查詢;
◆分類顯示所有視聽資源:根據(jù)數(shù)據(jù)分析中的粗分類,以及視聽資源的實(shí)際分類來顯示節(jié)目清單,如電影、動(dòng)漫、綜藝、情感等類型,并對(duì)疑似非法的節(jié)目進(jìn)行標(biāo)注,管理員點(diǎn)擊某一分類,就可以查看符合這一分類要求的節(jié)目清單。
注:以上功能分別針對(duì)BT、eDonkey/eMule協(xié)議。 #p#
全面的網(wǎng)絡(luò)管理
P2P文件共享監(jiān)控的功能主要是對(duì)疑似違規(guī)種子和文件進(jìn)行相關(guān)處理,主要包括報(bào)警、下載存儲(chǔ)、非法資源遏制等功能。
(1)報(bào)警
對(duì)于疑似違規(guī)的種子、文件系統(tǒng)會(huì)作出預(yù)警,向用戶提供疑似違規(guī)種子和文件清單,并可查詢相應(yīng)的詳細(xì)信息。系統(tǒng)也根據(jù)相關(guān)信息,對(duì)發(fā)出預(yù)警的種子和文件做排序,以便用戶對(duì)信息進(jìn)行確認(rèn)得到黑名單,并關(guān)聯(lián)至網(wǎng)站黑名單。
(2)下載存儲(chǔ)
對(duì)疑似違規(guī)的種子和文件由管理員選擇下載存儲(chǔ)相應(yīng)的文件,選擇的方式包括對(duì)疑似違規(guī)的前N個(gè)資源進(jìn)行存儲(chǔ),或用戶手動(dòng)選擇存儲(chǔ)內(nèi)容。
在對(duì)種子或文件進(jìn)行下載存儲(chǔ)的同時(shí),也對(duì)相關(guān)信息進(jìn)行存儲(chǔ),以便對(duì)信息源進(jìn)行追蹤,起到一定的取證功能。同時(shí)進(jìn)行存儲(chǔ)的相關(guān)信息包括:種子源鏈接、歷史Seeder、疑似違規(guī)種子所在網(wǎng)頁的下載存儲(chǔ)以及取證時(shí)間、疑似違規(guī)網(wǎng)頁所在網(wǎng)站的ISP/ICP、違規(guī)文件下載存儲(chǔ)以及取證時(shí)間、違規(guī)內(nèi)容的存儲(chǔ)及播放、違規(guī)文件的還原。具體含義及完成情況如下:
◆種子源鏈接 系統(tǒng)會(huì)自動(dòng)記錄每一個(gè)種子的下載源頭,以供用戶查閱
◆熱度資源擴(kuò)散監(jiān)控
該功能會(huì)定時(shí)(用戶可以自行設(shè)置時(shí)間周期)自動(dòng)啟動(dòng)數(shù)據(jù)收集程序,收集特定資源的Peer列表,獲取特定時(shí)間下載進(jìn)度達(dá)到過100%的Peer的IP地址和地理位置、下載Peer的數(shù)量等統(tǒng)計(jì)信息,從而對(duì)特定資源的擴(kuò)散速度、擴(kuò)散范圍、擴(kuò)散程度等詳細(xì)信息進(jìn)行掌握。
例如,對(duì)于某一種子A,第一次收集,有一個(gè)Peer達(dá)到過100%的下載進(jìn)度,IP地址202.102.x.x,位置北京,第二次沒有Peer達(dá)到過100%的進(jìn)度,第三次兩個(gè)peer達(dá)到100%的下載進(jìn)度,則系統(tǒng)會(huì)向用戶提供一個(gè)統(tǒng)計(jì)報(bào)表,分別展示在每次信息采集時(shí)的下載Peer總數(shù),完成下載的Peer數(shù)量和其詳細(xì)信息。
該功能可以很直觀地了解特定資源的擴(kuò)散情況,以便為管理者提供分析、決策依據(jù)。
◆疑似違規(guī)種子的下載情況
用戶可以關(guān)注疑似違規(guī)種子的下載情況,反映違規(guī)節(jié)目的擴(kuò)散速度和范圍,當(dāng)用戶需要使用時(shí)可以將其調(diào)出顯示、打印,并可以根據(jù)歷史數(shù)據(jù)統(tǒng)計(jì)分析圖了解特定種子的擴(kuò)散情況。
在違規(guī)種子中,下載進(jìn)度超過90%的高威脅做種源以及100%的完全做種源應(yīng)該被特殊標(biāo)注。
◆疑似違規(guī)種子所在網(wǎng)頁的下載存儲(chǔ)以及取證時(shí)間
除了將歷史下載人員和做種人作為證據(jù)存儲(chǔ)外,疑似違規(guī)種子的源鏈接頁面也會(huì)在種子分析和判定后自動(dòng)下載以及存儲(chǔ)。
◆疑似違規(guī)網(wǎng)頁所在網(wǎng)站的ISP/ICP
在下載了疑似違規(guī)種子的鏈接頁面后,傳播該種子的所在網(wǎng)站的ISP/ICP信息也將被記錄。有些網(wǎng)頁在未下載種子前就已經(jīng)帶有違規(guī)信息,如反動(dòng),色情這樣的網(wǎng)站也會(huì)被記錄ISP/ICP信息。
◆違規(guī)文件下載存儲(chǔ)以及取證時(shí)間
在獲取了違規(guī)種子的下載人列表以及源鏈接頁面后,另一個(gè)重要證據(jù)就是疑似違規(guī)文件的下載以及存儲(chǔ)。在下載違規(guī)文件的同時(shí),將記錄文件的取證時(shí)間。
◆違規(guī)內(nèi)容的存儲(chǔ)及播放
作為違規(guī)種子取證的最后一步,將提供用戶違規(guī)文件的下載和播放功能。
◆違規(guī)文件的還原
除了將違規(guī)種子,違規(guī)種子的源鏈接頁面,違規(guī)文件下載到本地硬盤作為證據(jù)以外,系統(tǒng)還將提供違規(guī)文件種子的還原功能。如果還原而成的種子與相應(yīng)的違規(guī)種子完全一致,可以作為一項(xiàng)抗抵賴證據(jù)使用。#p#
拓展的信息資源
系統(tǒng)的硬件設(shè)備按照功能進(jìn)行劃分,后續(xù)可根據(jù)系統(tǒng)運(yùn)行的數(shù)據(jù)、性能及功能擴(kuò)展的需求,方便地進(jìn)行擴(kuò)展,從而最大化地優(yōu)化投資。同時(shí),可以在系統(tǒng)內(nèi)部安裝病毒安全防護(hù)軟件,抵御外部病毒和網(wǎng)絡(luò)攻擊。
◆ 調(diào)用GIS顯示特定信息的擴(kuò)散源頭、網(wǎng)絡(luò)拓?fù)洌?/P>
◆ 通過對(duì)熱點(diǎn)網(wǎng)站的監(jiān)控,以曲線圖形的形式顯示指定網(wǎng)站的歷史信息;
◆ 對(duì)一些突發(fā)的熱點(diǎn)網(wǎng)站進(jìn)行預(yù)警;
◆ 通過熱點(diǎn)種子、鏈接的監(jiān)控,以曲線圖形的形式顯示指定熱點(diǎn)種子、鏈接的歷史信息.
◆ 查看特定節(jié)點(diǎn)的資源清單、以及該節(jié)點(diǎn)擁有資源的變化情況。
詳細(xì)的地理信息顯示
地理信息顯示(GIS)模塊提供直觀的地理位置、拓?fù)浣Y(jié)構(gòu)展示,可以直接定位服務(wù)器(可以詳細(xì)定位服務(wù)器所在機(jī)房)、節(jié)點(diǎn)的地理位置,并展示節(jié)點(diǎn)分布密度,使用戶所關(guān)心的信息直觀、清楚。該部分包括全世界及中國(guó)的與地理位置相關(guān)的信息展示。
(1)給定種子、鏈接、節(jié)目的發(fā)布者、下載者GIS顯示
◆在世界地圖中,顯示給定種子、鏈接、節(jié)目的發(fā)布者、下載者分布;
◆在中國(guó)地圖中,顯示給定種子、鏈接、節(jié)目的發(fā)布者、下載者分布;
◆在世界地圖中采用兩級(jí)顯示,即“洲-國(guó)家”模式(例如:亞洲-中國(guó));
◆在中國(guó)地圖中,按照省和直轄市進(jìn)行兩級(jí)顯示,對(duì)直轄市采用“市-區(qū)”模式(例如:北京市-東城區(qū)),對(duì)省采用“省-市”模式(例如:四川?。啥际校?;
◆地圖的放大、縮小等操作;
◆對(duì)給定種子的發(fā)布者、下載者分布進(jìn)行拓?fù)浞治觯赑2P網(wǎng)絡(luò)中無論是發(fā)布者還是下載者都是Peer,針對(duì)Peer下載和上傳可分成三類:只下載的Peer、只上傳的Peer和即上傳又下載的Peer三類。為了表示它們的拓?fù)浣Y(jié)構(gòu),使用三種不同的顏色對(duì)上述三種Peer進(jìn)行標(biāo)識(shí);
在世界地圖和中國(guó)地圖中,選擇點(diǎn)的信息提示。選擇點(diǎn)由單個(gè)網(wǎng)站構(gòu)成則信息URL、IP地址和地理位置;若選擇點(diǎn)由很多網(wǎng)站構(gòu)成顯示網(wǎng)站個(gè)數(shù)和地理位置。
直觀的日志管理
日志系統(tǒng)記錄記錄系統(tǒng)的所有操作日志,增強(qiáng)系統(tǒng)的安全性。系統(tǒng)管理員可以通過分析日志及時(shí)的發(fā)現(xiàn)網(wǎng)站中的問題。
良好的應(yīng)用效果
深圳市任子行網(wǎng)絡(luò)技術(shù)有限公司針對(duì)廣電部門互聯(lián)網(wǎng)視聽節(jié)目管理需求,于2004年成功開發(fā)了《公共信息網(wǎng)絡(luò)視音頻節(jié)目監(jiān)控系統(tǒng)》。在這幾年,系統(tǒng)已在廣電總局、廣東、浙江、江蘇、東北、福建等十幾個(gè)節(jié)點(diǎn)應(yīng)用,得到用戶廣泛好評(píng)。我們長(zhǎng)期關(guān)注音視頻節(jié)目搜索和監(jiān)控,在互聯(lián)網(wǎng)音視頻節(jié)目監(jiān)控方面有多年的經(jīng)驗(yàn)積累,致力幫助全國(guó)各地更多的廣電管理部門更加規(guī)范的實(shí)現(xiàn)網(wǎng)絡(luò)信息的有效管理。