七個使用 wget 命令的技巧
用你的 Linux 終端中從互聯(lián)網(wǎng)上下載文件。
wget 是一個下載網(wǎng)頁文件的免費工具。它將互聯(lián)網(wǎng)上的數(shù)據(jù)保存到一個文件或展示在終端上。實際上這也是像 Firefox 或 Chromium 這樣的網(wǎng)頁瀏覽器的工作原理。有一個區(qū)別是，網(wǎng)頁瀏覽器默認將網(wǎng)頁 渲染在圖形窗口中，并且通常需要用戶主動來操作它們。而 wget 工具是無交互的使用方式，也就是說你可以使用腳本或定期使用 wget 來下載文件，不論你人是否在電腦面前。
使用 wget 下載文件
你可以通過提供一個特定 URL 的鏈接，用 wget 下載一個文件。如果你提供一個默認為 index.html 的 URL，那么就會下載該索引頁。默認情況下，文件會被下載到你當前的工作目錄，并保持原來的名字。
$ wget http://example.com--2021-09-20 17:23:47-- http://example.com/Resolving example.com... 93.184.216.34, 2606:2800:220:1:248:1893:25c8:1946Connecting to example.com|93.184.216.34|:80... connected.HTTP request sent, awaiting response... 200 OKLength: 1256 (1.2K) [text/html]Saving to: 'index.html'
通過使用 --output-document 和 - 符號，你可以指示 wget 將數(shù)據(jù)發(fā)送到 標準輸出：
$ wget http://example.com --output-document - | head -n4<!doctype html><html><head><title>Example Domain</title>
你可以使用 --output-document 選項（簡寫為 -O）將下載文件命名為任何你想要的名稱：
$ wget http://example.com --output-document foo.html
斷點續(xù)傳
如果你正在下載一個超大文件，你可能會遇到中斷下載的情況。使用 --continue（簡寫為 -c），wget 可以確定從文件的哪個位置開始繼續(xù)下載。也就是說，下次你在下載一個 4 GB 的 Linux 發(fā)行版 ISO 時，如果出現(xiàn)了錯誤導(dǎo)致中斷，你不必重新從頭開始。
$ wget --continue https://example.com/linux-distro.iso
下載一系列的文件
如果你要下載的不是單個大文件，而是一系列的文件，wget 也能提供很好的幫助。假如你知道要下載文件的路徑以及文件名的通用范式，你可以使用 Bash 語法指示一個數(shù)字范圍的起始和終點來表示這一系列文件名:
$ wget http://example.com/file_{1..4}.webp
鏡像整個站點
使用 --mirror 選項你可以下載整個站點，包括它的目錄結(jié)構(gòu)。這與使用選項 --recursive --level inf --timestamping --no-remove-listing 的效果是一樣的，該選項表明可以進行無限制的遞歸，得到你指定域下的所有內(nèi)容。但你也可能會得到比預(yù)期多得多的內(nèi)容，這取決于站點本身的老舊程度。
如果你正在使用 wget 來打包整個站點，選項 --no-cookies --page-requisites --convert-links 非常有用，它可以確保打包的站點是全新且完整的，站點副本或多或少是自包含的。
修改 HTML 標頭
在計算機發(fā)送的通信報文里含有大量用于數(shù)據(jù)交換的元數(shù)據(jù)。HTTP 標頭是初始數(shù)據(jù)的組成部分。當你瀏覽某個站點時，你的瀏覽器會發(fā)送 HTTP 請求標頭。使用 --debug 選項可以查看 wget 為每個請求發(fā)送了什么樣的標頭信息:
$ wget --debug example.com---request begin---GET / HTTP/1.1User-Agent: Wget/1.19.5 (linux-gnu)Accept: */*Accept-Encoding: identityHost: example.comConnection: Keep-Alive---request end---
你可以使用 --header 選項修改請求標頭。實際上經(jīng)常使用這種方式來模仿某特定瀏覽器，來測試或兼容某些編碼糟糕、只能與特定代理通信的站點。
讓請求被識別為來自 Windows 系統(tǒng)的 Microsoft Edge：
$ wget --debug --header="User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.59" http://example.com
你也可以假裝為某個移動設(shè)備：
$ wget --debug --header="User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1" http://example.com
查看響應(yīng)標頭
與瀏覽器發(fā)送請求標頭的方式一樣，響應(yīng)也包含有標頭信息。你可以使用 --debug 選項來查看響應(yīng)中的標頭信息：
$ wget --debug example.com[...]---response begin---HTTP/1.1 200 OKAccept-Ranges: bytesAge: 188102Cache-Control: max-age=604800Content-Type: text/html; charset=UTF-8Etag: "3147526947"Server: ECS (sab/574F)Vary: Accept-EncodingX-Cache: HITContent-Length: 1256---response end---200 OKRegistered socket 3 for persistent reuse.URI content encoding = 'UTF-8'Length: 1256 (1.2K) [text/html]Saving to: 'index.html'
處理 301 響應(yīng)
200 響應(yīng)碼意味著一切都在預(yù)料之中。而 301 響應(yīng)則表示 URL 已經(jīng)被永久遷移到了另外一個地方。這是站點管理員的一種常用手段，內(nèi)容遷移后，為訪問舊地址的用戶留下尋找新地址的“線索”。wget 會默認跟隨重定向，這也是大部分情況下用戶所希望的。
當然，你可以使用 --max-redirect 選項，用于控制 wget 默認處理 301 響應(yīng)重定向的次數(shù)。設(shè)置為 0 意味著不會自動重定向到新的地址:
$ wget --max-redirect 0 http://iana.org--2021-09-21 11:01:35-- http://iana.org/Resolving iana.org... 192.0.43.8, 2001:500:88:200::8Connecting to iana.org|192.0.43.8|:80... connected.HTTP request sent, awaiting response... 301 Moved PermanentlyLocation: https://www.iana.org/ [following]0 redirections exceeded.
同時，你也可以設(shè)置為其他的數(shù)值來控制 wget 能重定向多少次。
展開 URL 縮寫
使用--max-redirect 選項用于在實際訪問之前查看 URL 縮寫非常有用。縮寫 URL 可用于用戶無法完整拷貝和粘貼一個長 URL 時的印刷媒體，或是具有字數(shù)限制的社交網(wǎng)絡(luò)（在類似 Mastondon 這種現(xiàn)代開源的社交網(wǎng)絡(luò)上這并不是一個問題）。這種縮寫具有一定的風險，因為本質(zhì)上這些目的地是隱藏的。組合使用 --head 選項和 --location 選項來來查看 HTTP 頭部并解開最終的目的地，你可以在不加載整個資源的情況下查看到縮寫 URL 的完整內(nèi)容：
$ wget --max-redirect 0 "https://bit.ly/2yDyS4T"--2021-09-21 11:32:04-- https://bit.ly/2yDyS4TResolving bit.ly... 67.199.248.10, 67.199.248.11Connecting to bit.ly|67.199.248.10|:443... connected.HTTP request sent, awaiting response... 301 Moved PermanentlyLocation: http://example.com/ [following]0 redirections exceeded.
從 Location 開始的倒數(shù)第二行輸出，展示了實際的目的地。
使用 wget
若你開始考慮使用單個命令來實現(xiàn)整個網(wǎng)站訪問的過程，wget 可以快速高效的幫你獲取互聯(lián)網(wǎng)上的信息，而不用在圖形界面上耗費精力。為了幫你將它構(gòu)造在你平常的工作流中，我們創(chuàng)建了一個 wget 常用使用方式和語法清單，包括使用它來查詢 API 的概述。在這里下載 Linux wget 速查表。
