Linux wget是一個下載下傳檔案的工具,它用在指令行下。對于Linux使用者是必不可少的工具,尤其對于網絡管理者,經常要下載下傳一些軟體或從遠端伺服器恢複備份到本地伺服器。如果我們使用虛拟主機,處理這樣的事務我們隻能先從遠端伺服器下載下傳到我們電腦磁盤,然後再用ftp工具上傳到伺服器。這樣既浪費時間又浪費精力,那不沒辦法的事。而到了Linux VPS,它則可以直接下載下傳到伺服器而不用經過上傳這一步。wget工具體積小但功能完善,它支援斷點下載下傳功能,同時支援FTP和HTTP下載下傳方式,支援代理伺服器和設定起來友善簡單。下面我們以執行個體的形式說明怎麼使用wget。
1、使用wget下載下傳單個檔案
以下的例子是從網絡下載下傳一個檔案并儲存在目前目錄
wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
在下載下傳的過程中會顯示進度條,包含(下載下傳完成百分比,已經下載下傳的位元組,目前下載下傳速度,剩餘下載下傳時間)。
2、使用wget -O下載下傳并以不同的檔案名儲存
wget預設會以最後一個符合”/”的後面的字元來指令,對于動态連結的下載下傳通常檔案名會不正确。
錯誤:下面的例子會下載下傳一個檔案并以名稱download.php?id=1080儲存
wget http://www.centos.bz/download?id=1
即使下載下傳的檔案是zip格式,它仍然以download.php?id=1080指令。
正确:為了解決這個問題,我們可以使用參數-O來指定一個檔案名:
wget -O wordpress.zip http://www.centos.bz/download.php?id=1080
3、使用wget –limit -rate限速下載下傳
當你執行wget的時候,它預設會占用全部可能的寬帶下載下傳。但是當你準備下載下傳一個大檔案,而你還需要下載下傳其它檔案時就有必要限速了。
wget –limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
4、使用wget -c斷點續傳
使用wget -c重新啟動下載下傳中斷的檔案:
wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
對于我們下載下傳大檔案時突然由于網絡等原因中斷非常有幫助,我們可以繼續接着下載下傳而不是重新下載下傳一個檔案。需要繼續中斷的下載下傳時可以使用-c參數。
5、使用wget -b背景下載下傳
對于下載下傳非常大的檔案的時候,我們可以使用參數-b進行背景下載下傳。
wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Continuing in background, pid 1840.
Output will be written to `wget-log’.
你可以使用以下指令來察看下載下傳進度
tail -f wget-log
6、僞裝代理名稱下載下傳
有些網站能通過根據判斷代理名稱不是浏覽器而拒絕你的下載下傳請求。不過你可以通過–user-agent參數僞裝。
wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下載下傳連結
7、使用wget –spider測試下載下傳連結
當你打算進行定時下載下傳,你應該在預定時間測試下載下傳連結是否有效。我們可以增加–spider參數進行檢查。
wget –spider URL
如果下載下傳連結正确,将會顯示
wget –spider URL
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response… 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled — not retrieving.
這保證了下載下傳能在預定的時間進行,但當你給錯了一個連結,将會顯示如下錯誤
wget –spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response… 404 Not Found
Remote file does not exist — broken link!!!
你可以在以下幾種情況下使用spider參數:
定時下載下傳之前進行檢查
間隔檢測網站是否可用
檢查網站頁面的死連結
8、使用wget –tries增加重試次數
如果網絡有問題或下載下傳一個大檔案也有可能失敗。wget預設重試20次連接配接下載下傳檔案。如果需要,你可以使用–tries增加重試次數。
wget –tries=40 URL
9、使用wget -i下載下傳多個檔案
首先,儲存一份下載下傳連結檔案
cat > filelist.txt
url1
url2
url3
url4
接着使用這個檔案和參數-i下載下傳
wget -i filelist.txt
10、使用wget –mirror鏡像網站
下面的例子是下載下傳整個網站到本地。
wget –mirror -p –convert-links -P ./LOCAL URL
–miror:開戶鏡像下載下傳
-p:下載下傳所有為了html頁面顯示正常的檔案
–convert-links:下載下傳後,轉換成本地的連結
-P ./LOCAL:儲存所有檔案和目錄到本地指定目錄
11、使用wget –reject過濾指定格式下載下傳
你想下載下傳一個網站,但你不希望下載下傳圖檔,你可以使用以下指令。
wget –reject=gif url
12、使用wget -o把下載下傳資訊存入日志檔案
你不希望下載下傳資訊直接顯示在終端而是在一個日志檔案,可以使用以下指令:
wget -o download.log URL
13、使用wget -Q限制總下載下傳檔案大小
當你想要下載下傳的檔案超過5M而退出下載下傳,你可以使用以下指令:
wget -Q5m -i filelist.txt
注意:這個參數對單個檔案下載下傳不起作用,隻能遞歸下載下傳時才有效。
14、使用wget -r -A下載下傳指定格式檔案
可以在以下情況使用該功能
下載下傳一個網站的所有圖檔
下載下傳一個網站的所有視訊
下載下傳一個網站的所有PDF檔案
wget -r -A.pdf url
15、使用wget FTP下載下傳
你可以使用wget來完成ftp連結的下載下傳。
使用wget匿名ftp下載下傳
wget ftp-url
使用wget使用者名和密碼認證的ftp下載下傳
wget –ftp-user=USERNAME –ftp-password=PASSWORD url
附錄:
指令格式:
wget [參數清單] [目标軟體、網頁的網址]
-V,–version 顯示軟體版本号然後退出;
-h,–help顯示軟體幫助資訊;
-e,–execute=COMMAND 執行一個 “.wgetrc”指令
-o,–output-file=FILE 将軟體輸出資訊儲存到檔案;
-a,–append-output=FILE将軟體輸出資訊追加到檔案;
-d,–debug顯示輸出資訊;
-q,–quiet 不顯示輸出資訊;
-i,–input-file=FILE 從檔案中取得URL;
-t,–tries=NUMBER 是否下載下傳次數(0表示無窮次)
-O –output-document=FILE下載下傳檔案儲存為别的檔案名
-nc, –no-clobber 不要覆寫已經存在的檔案
-N,–timestamping隻下載下傳比本地新的檔案
-T,–timeout=SECONDS 設定逾時時間
-Y,–proxy=on/off 關閉代理
-nd,–no-directories 不建立目錄
-x,–force-directories 強制建立目錄
–http-user=USER設定HTTP使用者
–http-passwd=PASS設定HTTP密碼
–proxy-user=USER設定代理使用者
–proxy-passwd=PASS設定代理密碼
-r,–recursive 下載下傳整個網站、目錄(小心使用)
-l,–level=NUMBER 下載下傳層次
-A,–accept=LIST 可以接受的檔案類型
-R,–reject=LIST拒絕接受的檔案類型
-D,–domains=LIST可以接受的域名
–exclude-domains=LIST拒絕的域名
-L,–relative 下載下傳關聯連結
–follow-ftp 隻下載下傳FTP連結
-H,–span-hosts 可以下載下傳外面的主機
-I,–include-directories=LIST允許的目錄
-X,–exclude-directories=LIST 拒絕的目錄
中文文檔名在平常的情況下會被編碼, 但是在 –cut-dirs 時又是正常的,
wget -r -np -nH –cut-dirs=3 ftp://host/test/
測試.txt
wget -r -np -nH -nd ftp://host/test/
%B4%FA%B8%D5.txt
wget “ftp://host/test/*”
%B4%FA%B8%D5.txt
由 於不知名的原因,可能是為了避開特殊檔名, wget 會自動将抓取檔名的部分用 encode_string 處理過, 是以該 patch 就把被 encode_string 處理成 “%3A” 這種東西, 用 decode_string 還原成 “:”,并套用在目錄與檔案名稱的部分,decode_string 是 wget 内建的函式。
wget -t0 -c -nH -x -np -b -m -P /home/sunny/NOD32view/ http://downloads1.kaspersky-labs.com/bases/ -o wget.log