用于情報(bào)收集的15大開源情報(bào)工具
OSINT工具是信息收集過程的關(guān)鍵部分,尤其是在了解和減少網(wǎng)絡(luò)安全情報(bào)中的攻擊面方面。全球開源情報(bào)市場(chǎng)在2018年的價(jià)值為50.2億美元,預(yù)計(jì)到2026年將增長(zhǎng)到291.9億美元,2020年至2026年的復(fù)合年增長(zhǎng)率為 24.7%,反映出它們的重要性。
OSINT 工具在開源情報(bào)分析中有著非常重要的作用。
關(guān)鍵要點(diǎn)
- OSINT(開源情報(bào))工具可以高效地收集和分析公開數(shù)據(jù),政府機(jī)構(gòu)和私人組織可以使用這些數(shù)據(jù)來(lái)分析市場(chǎng)趨勢(shì)、品牌定位等。這些工具已經(jīng)從傳統(tǒng)媒體發(fā)展到融合了網(wǎng)絡(luò)抓取、社交媒體分析、地理空間情報(bào)和人工智能等技術(shù),以提高數(shù)據(jù)處理的精度和速度。
- 高級(jí)搜索引擎和專業(yè)服務(wù)(例如Internet Archive)以及瀏覽器擴(kuò)展程序(例如 Mitaka)以及 Google 高級(jí)搜索運(yùn)算符(稱為Google dorks)對(duì)于出于OSINT目的探索網(wǎng)絡(luò)至關(guān)重要。它們可以高效地導(dǎo)航和分析標(biāo)準(zhǔn)搜索引擎實(shí)踐未索引的內(nèi)容。
- OSINT 實(shí)踐必須遵守法律標(biāo)準(zhǔn),以確保負(fù)責(zé)任的情報(bào)收集。這涉及關(guān)注道德考慮、了解法律框架以及利用 OSINT 工具(例如公共記錄搜索引擎、社交媒體監(jiān)控和網(wǎng)絡(luò)掃描工具),同時(shí)保持透明度并避免未經(jīng)授權(quán)的數(shù)據(jù)訪問。
開源情報(bào)簡(jiǎn)介
開源情報(bào)(OSINT)是:
- 從公開來(lái)源收集信息的藝術(shù)和科學(xué)
- 將原始數(shù)據(jù)轉(zhuǎn)化為可操作的見解
- 隨著數(shù)字世界的擴(kuò)張,需求量很大
- 政府機(jī)構(gòu)和商業(yè)組織均使用它來(lái)進(jìn)行偵察、加強(qiáng)網(wǎng)絡(luò)犯罪調(diào)查等
- 提供有關(guān)市場(chǎng)趨勢(shì)和品牌定位的寶貴見解。
OSINT在廣泛的OSINT數(shù)據(jù)源上運(yùn)行,包括來(lái)自各種OSINT技術(shù)的公共數(shù)據(jù),例如:
- 廣播電視
- 收音機(jī)
- 社交媒體
- 網(wǎng)站
OSINT是收集各種格式(如文本、視頻、圖像和音頻)數(shù)據(jù)的強(qiáng)大資源。結(jié)合機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等先進(jìn)技術(shù),可以識(shí)別趨勢(shì)和模式,并通過分析各種數(shù)據(jù)源識(shí)別個(gè)人或主題等關(guān)鍵要素。
OSINT 工具的演變
隨著時(shí)間的推移,OSINT工具發(fā)生了重大變化。OSINT工具最初專注于報(bào)紙和廣播等傳統(tǒng)媒體分析,現(xiàn)在已轉(zhuǎn)向利用互聯(lián)網(wǎng)上私營(yíng)和公共部門的大量信息資源?,F(xiàn)代OSINT工具已經(jīng)超越了簡(jiǎn)單的搜索引擎,現(xiàn)在包含復(fù)雜的分析和可視化功能。
這些平臺(tái)融合了網(wǎng)絡(luò)抓取、社交媒體分析和地理空間智能等最先進(jìn)的技術(shù),徹底改變了信息的提取和評(píng)估方式。
預(yù)計(jì)OSINT工具的未來(lái)將由人工智能和機(jī)器學(xué)習(xí)驅(qū)動(dòng),從而提高數(shù)據(jù)處理和分析的精度和速度。
頂級(jí)OSINT工具配備了增強(qiáng)情報(bào)收集過程的功能。這些功能之一是內(nèi)置數(shù)據(jù)轉(zhuǎn)換,允許將檢索到的信息轉(zhuǎn)換為更有用或更易讀的格式。為了根據(jù)特定用戶需求定制數(shù)據(jù)收集和分析,多種OSINT工具支持自定義轉(zhuǎn)換。
15 種OSINT工具
個(gè)人和組織現(xiàn)在可以開始使用許多免費(fèi)的 OSINT工具。這些工具功能廣泛,可用于各種情報(bào)收集目的。
1. OSINT 框架:OSINT框架是研究人員基于網(wǎng)絡(luò)的重要工具,可按來(lái)源、類型和上下文組織開源情報(bào)資源。它廣泛應(yīng)用于政府、執(zhí)法和企業(yè)安全等部門,以滿足各種數(shù)據(jù)收集需求。社區(qū)貢獻(xiàn)不斷增強(qiáng)該框架,同時(shí)其運(yùn)行遵守 GDPR 等法律標(biāo)準(zhǔn),以確保合乎道德的數(shù)據(jù)收集。
2. Google Dorks:自2002年開始使用以來(lái), Google Dorks提供專門的查詢,利用 Google的龐大索引來(lái)協(xié)助安全調(diào)查。這些查詢可以定位特定文件類型、擴(kuò)展名、頁(yè)面內(nèi)的文本、標(biāo)題和URL,這些工具對(duì)于探索個(gè)人和公司的詳細(xì)信息非常有用。盡管搜索引擎通常不會(huì)索引日志文件等敏感數(shù)據(jù),但Google Dorks仍然可以挖掘此類信息,為IT安全提供關(guān)鍵資源。
3. theHarvester :包含在Kali Linux發(fā)行版中,是一款用于收集與任何公司或網(wǎng)站相關(guān)的子域、虛擬主機(jī)、開放端口和電子郵件地址信息的綜合工具。theHarvester利用PGP密鑰服務(wù)器、Google和Bing等搜索引擎以及 LinkedIn 等社交網(wǎng)絡(luò)等來(lái)源收集數(shù)據(jù),支持被動(dòng)偵察和主動(dòng)滲透測(cè)試。此工具對(duì)于本地和第三方授權(quán)網(wǎng)絡(luò)的滲透測(cè)試的初始階段特別有用。
4. SecurityTrails API:SecurityTrails API允許您即時(shí)訪問當(dāng)前DNS 服務(wù)器記錄和歷史記錄(稱為DNS 歷史記錄)、域詳細(xì)信息和關(guān)聯(lián)域、IP信息以及WHOIS數(shù)據(jù),以便您可以將其集成到您自己的應(yīng)用程序中,用于資產(chǎn)發(fā)現(xiàn)、威脅情報(bào)、風(fēng)險(xiǎn)評(píng)分等。最好的部分是您只需要一個(gè) HTTP 請(qǐng)求即可檢索數(shù)據(jù)。
5. BGPView:使用BGPView輕松跟蹤 BGP 路由信息和 IP 地址數(shù)據(jù),簡(jiǎn)化網(wǎng)絡(luò)監(jiān)控任務(wù)。分析網(wǎng)絡(luò)配置、識(shí)別安全威脅并無(wú)縫監(jiān)控路由變化。這款直觀的網(wǎng)絡(luò)工具提供可直接從瀏覽器訪問的全面見解,從而做出明智的決策以優(yōu)化網(wǎng)絡(luò)性能、識(shí)別威脅行為者的來(lái)源等等。
6. Recorded Future 漏洞數(shù)據(jù)庫(kù):從這個(gè)免費(fèi)的CVE DB訪問詳細(xì)的漏洞信息。此工具為安全團(tuán)隊(duì)提供了寶貴的見解,使他們能夠領(lǐng)先于新興的 CVE。它包括有用的信息,例如 CVSS 分?jǐn)?shù)、攻擊復(fù)雜度級(jí)別、可用性、每個(gè) CVE 的摘要,以及受影響的產(chǎn)品和緩解資源。
7. Triage Malware Sandbox:使用最先進(jìn)、最流行的惡意軟件分析沙箱之一免費(fèi)探索惡意軟件樣本。該平臺(tái)提供了一個(gè)可定制的環(huán)境,您可以在其中提交大量惡意軟件樣本,從而能夠檢測(cè)和提取各種惡意軟件家族的配置。
8. Mitaka:這是一個(gè) OSINT 瀏覽器擴(kuò)展,可以幫助您提高日常運(yùn)營(yíng)效率,提供對(duì)各種情報(bào)收集功能的直觀訪問,以實(shí)現(xiàn)高效的偵察和調(diào)查任務(wù)。Mitaka 采用以用戶為中心的方法開發(fā),無(wú)縫集成了多個(gè)OSINT模塊,實(shí)現(xiàn)了對(duì)目標(biāo)實(shí)體的全面分析。
9. Recorded Future 的瀏覽器擴(kuò)展:使用此威脅情報(bào)瀏覽器擴(kuò)展,可以輕松訪問來(lái)自任何基于 Web 的資源的情報(bào)數(shù)據(jù),從而簡(jiǎn)化安全操作。此 OSINT 擴(kuò)展將幫助您調(diào)查網(wǎng)絡(luò)釣魚電子郵件、檢測(cè) IOC、優(yōu)先修補(bǔ)漏洞并加快 SIEM 中的警報(bào)處理速度。
10. HaveIbeenPwned?HaveIbeenPwned 可以幫助您檢查您的帳戶過去是否被盜用。該網(wǎng)站由 Troy Hunt 開發(fā),他是這個(gè)市場(chǎng)上最受尊敬的 IT 安全專家之一,多年來(lái)一直提供準(zhǔn)確的報(bào)告。如果您懷疑您的帳戶已被盜用,或者想要驗(yàn)證外部帳戶是否受到第三方入侵,這是一個(gè)完美的工具。它可以追蹤來(lái)自許多來(lái)源的網(wǎng)絡(luò)入侵,例如 Gmail、Hotmail、Yahoo 帳戶,以及 LastFM、Kickstarter、Wordpress.com、Linkedin 和許多其他熱門網(wǎng)站。
11. BuiltWith:作為全面的分析器,用于識(shí)別網(wǎng)站上部署的各種技術(shù),從服務(wù)器框架到分析和內(nèi)容管理系統(tǒng)。它提供對(duì)網(wǎng)絡(luò)設(shè)置的深入分析,這對(duì)于競(jìng)爭(zhēng)情報(bào)和技術(shù)戰(zhàn)略制定至關(guān)重要。對(duì)于那些尋求深入了解數(shù)字平臺(tái)技術(shù)基礎(chǔ)設(shè)施的人來(lái)說,這個(gè)工具至關(guān)重要。
12. Shodan:由 John Matherly 于 2009 年構(gòu)思,是一款網(wǎng)絡(luò)安全監(jiān)控器,也是深層網(wǎng)絡(luò)和物聯(lián)網(wǎng)的專用搜索引擎。它使用戶能夠探索大量聯(lián)網(wǎng)設(shè)備,并按國(guó)家、操作系統(tǒng)和網(wǎng)絡(luò)類型組織結(jié)果,為 IT 安全研究人員提供寶貴的見解。
13. SpiderFoot:由 Steve Micallef 開發(fā),是一款出色的偵察工具,可自動(dòng)執(zhí)行 OSINT,在偵察、威脅情報(bào)和周邊監(jiān)控方面可快速獲得結(jié)果。它利用 100 多個(gè)公共數(shù)據(jù)源來(lái)收集各種目標(biāo)的情報(bào),包括通用名稱、域名、電子郵件地址和 IP 地址,并通過易于使用的模塊選擇和目標(biāo)規(guī)范簡(jiǎn)化流程。
14. Maltego:由Paterva開發(fā),是Kali Linux發(fā)行版中的一款強(qiáng)大工具,專為對(duì)目標(biāo)進(jìn)行詳細(xì)數(shù)字偵察而設(shè)計(jì)。利用“轉(zhuǎn)換”來(lái)集成和分析來(lái)自外部應(yīng)用程序的數(shù)據(jù),有免費(fèi)版和商業(yè)版。用戶可以通過Maltego平臺(tái)啟動(dòng)調(diào)查以獲得綜合結(jié)果,例如 IP、域和 AS 編號(hào)。
15. Nmap:雖然一些網(wǎng)絡(luò)掃描儀在技術(shù)上可能不被視為 OSINT 工具,但它們被廣泛集成到許多此類平臺(tái)中。網(wǎng)絡(luò)掃描儀收集的信息通常可通過公共渠道訪問,符合開源情報(bào) (OSINT) 的原則。其中一個(gè)最好的例子是強(qiáng)大的 Nmap。此網(wǎng)絡(luò)和端口掃描儀是用于情報(bào)收集的出色工具,它提供了數(shù)十個(gè)Nmap 命令,可從終端和 GUI 執(zhí)行偵察過程。
擴(kuò)展知識(shí)
什么是開源情報(bào)工具?
開源情報(bào)工具用于從社交媒體、網(wǎng)站和新聞文章收集公開信息,以識(shí)別漏洞并制定攻擊計(jì)劃。
社交媒體如何用于開源情報(bào) (OSINT)?
可以使用 Instant Data Scraper 和 Paliscope YOSE 等工具將社交媒體用于 OSINT,從不同的社交媒體平臺(tái)提取和分析數(shù)據(jù),從而深入了解在線行為和關(guān)系。
如何確保開源情報(bào)調(diào)查實(shí)踐的合法合規(guī)性?
為了確保開源情報(bào)收集實(shí)踐的合法性,必須遵守法律法規(guī)、行動(dòng)透明、確保數(shù)據(jù)收集合法合乎道德。這些步驟對(duì)于保持誠(chéng)信和遵守法律標(biāo)準(zhǔn)至關(guān)重要。
全球范圍內(nèi),開源情報(bào)活動(dòng)受到不同法律法規(guī)的約束,這可能會(huì)帶來(lái)風(fēng)險(xiǎn),在我國(guó)以《網(wǎng)絡(luò)安全法》《個(gè)人信息保護(hù)法》等法律法規(guī)約束,歐洲則是《通用數(shù)據(jù)保護(hù)條例》等法律對(duì)數(shù)據(jù)使用規(guī)定了嚴(yán)格的要求。在德國(guó),開展開源情報(bào)需要有法律顧問確認(rèn)的合法權(quán)益。最佳實(shí)踐建議遵守服務(wù)條款、謹(jǐn)慎使用、避免非法數(shù)據(jù)訪問并確保運(yùn)營(yíng)透明度。