收集電子郵件地址、競(jìng)爭(zhēng)分析、網(wǎng)站檢查、定價(jià)分析和客戶數(shù)據(jù)收集 — 這些可能只是你需要從 HTML 文檔中提取文本和其他數(shù)據(jù)的幾個(gè)原因。不幸的是，手動(dòng)做這種事是很痛苦的而且效率很低，在某些情況下甚至不可能實(shí)現(xiàn)。幸運(yùn)的是，現(xiàn)在有各種各樣的工具可以實(shí)現(xiàn)這些需求。下面的 7 個(gè)工具包括了由為初學(xué)者和小項(xiàng)目而設(shè)計(jì)的非常簡(jiǎn)單的工具到需要一定的編碼知識(shí)，旨在用于更大，更困難的任務(wù)的高級(jí)工具。

Iconico HTML 文本提取器 (Iconico HTML Text Extractor)

試想一下，你正在瀏覽競(jìng)爭(zhēng)對(duì)手的網(wǎng)站，然后想提取出文本內(nèi)容，又或是想看看頁面背后的 HTML 代碼。但十分不幸，你發(fā)現(xiàn)右鍵被禁用了，復(fù)制和粘貼也是如此?，F(xiàn)在許多 Web 開發(fā)人員正在采取措施禁用查看源代碼，否則鎖定其頁面。幸運(yùn)的是，Iconico 有一個(gè) HTML 文本提取器，你可以用來繞過所有的這些限制，而且這個(gè)產(chǎn)品非常易于使用。你可以高亮和復(fù)制文本，提取功能的運(yùn)行使用輕易得像上網(wǎng)一樣。

UiPath

UIPath 有一套自動(dòng)化過程工具，里面包含了一個(gè) Web 內(nèi)容抓取實(shí)用程序。要使用該工具，并獲得所需的幾乎任何數(shù)據(jù)十分簡(jiǎn)單 — 只需打開頁面，轉(zhuǎn)到工具中的設(shè)計(jì)菜單，然后單擊“網(wǎng)絡(luò)抓取(web scraping)”。 除了網(wǎng)絡(luò)抓取工具，屏幕抓取工具允許您從網(wǎng)頁中拉取任何內(nèi)容。 使用這兩種工具意味著您可以從任何網(wǎng)頁抓取文本，表格數(shù)據(jù)和其他相關(guān)信息。

Mozenda

Mozenda 允許用戶提取 Web數(shù)據(jù)，并將該信息導(dǎo)出到各種智能商務(wù)工具。它不僅可以提取文本內(nèi)容，還可以從 PDF 文件中提取出圖像，文件和內(nèi)容。然后，你可以將這些數(shù)據(jù)導(dǎo)出到 XML 文件，CSV 文件，JSON 或者可以選擇使用 API。 提取和導(dǎo)出數(shù)據(jù)后，就可以使用 BI 工具進(jìn)行分析和報(bào)告。

HTMLtoText

這款在線工具可以從 HTML 源代碼中提取文本，甚至只是一個(gè) URL 也可以。你所需要做的只是復(fù)制和粘貼，提供一個(gè) URL 或者上傳文件。 單擊選項(xiàng)按鈕，讓工具知道你需要的輸出格式和一些其他的細(xì)節(jié)，然后點(diǎn)擊轉(zhuǎn)換，你將獲得你需要的文本信息。

(還有一個(gè)類似的工具 — www.htmlnest.com/htmltotext.aspx)

Octoparse

Octoparse 的特征是它提供的是“點(diǎn)擊”用戶界面。即便是沒有過編碼知識(shí)的用戶也可以從網(wǎng)站提取數(shù)據(jù)并將其發(fā)送到各種文件格式。這個(gè)工具包括從頁面中提取電子郵件地址，從招聘板上提取職位列表等功能。該工具適用于動(dòng)態(tài)和靜態(tài)網(wǎng)頁以及云采集(配置好采集任務(wù)關(guān)機(jī)也能采集數(shù)據(jù))。它提供了一個(gè)免費(fèi)版本，對(duì)于大多數(shù)使用場(chǎng)景應(yīng)該足夠應(yīng)付，而付費(fèi)版本則有更多豐富的功能。

如果你是為了進(jìn)行競(jìng)爭(zhēng)分析而抓取網(wǎng)站，可能會(huì)因?yàn)榇嘶顒?dòng)而被禁止。因?yàn)?Octoparse 包含一個(gè)循環(huán)識(shí)別你的 IP 地址的功能，并能通過你的 IP 禁止你使用。

Scrapy

這個(gè)免費(fèi)的開源工具使用網(wǎng)絡(luò)爬蟲從網(wǎng)站提取信息，使用這個(gè)工具需要一些高級(jí)技能和編碼知識(shí)。但如果你愿意以你的方式去學(xué)習(xí)使用它，Scrapy 是抓取大型 Web 項(xiàng)目的理想選擇。該工具已被 CareerBuilder 和其他主要品牌使用。因?yàn)樗且粋€(gè)開源工具，所以這為用戶提供了很多良好的社區(qū)支持。

Kimono

Kimono 是一個(gè)免費(fèi)的工具，從網(wǎng)頁獲取非結(jié)構(gòu)化數(shù)據(jù)，并將該信息提取為具有 XML 文件的結(jié)構(gòu)化格式。該工具可以交互使用，也可以創(chuàng)建計(jì)劃作業(yè)以在特定時(shí)間提取你需要的數(shù)據(jù)。你可以從搜索引擎結(jié)果、網(wǎng)頁、甚至幻燈片演示中提取數(shù)據(jù)。最重要的是，當(dāng)你設(shè)置好每個(gè)工作流時(shí)，Kimono 會(huì)創(chuàng)建一個(gè) API。這意味著當(dāng)你返回到網(wǎng)站以提取更多數(shù)據(jù)時(shí)，不必再重新造輪子。

結(jié)論

如果你遇到需要從一個(gè)或多個(gè)網(wǎng)頁中提取非結(jié)構(gòu)化數(shù)據(jù)的任務(wù)，那么此列表中至少有一個(gè)工具應(yīng)該包含你需要的解決方案。而且無論你的期望價(jià)格是什么，你都應(yīng)該能找到你所需要的工具。了解清楚然后決定哪個(gè)是最適合你的。要知道，大數(shù)據(jù)在企業(yè)蓬勃發(fā)展中的重要性，并且收集所需信息的能力對(duì)于你來說也是至關(guān)重要。