wget是linux上的指令行的下載下傳工具。支援HTTP和FTP協定,支援代理伺服器和斷點續傳功能,能夠自動遞歸遠端主機的目錄,找到合乎條件的檔案并将其下載下傳到本地硬碟上;如果必要,Linux wget将恰當地轉換頁面中的超級連接配接以在本地生成可浏覽的鏡像。
基本用法:
wget -i $file -a out.log -O /dev/null -T 0.001-t 1
有些網站或者頁面,需要額外的認證,是以需要添加額外的HTTP Header,使用方法:
wget --header="Host: www.google.com" url
通過--user-agent=來僞裝成浏覽器
實作上傳資料:
wget --post-data="user=user1&pass=pass1&submit=Login" http://domain.com/login.php
有些頁面的通路需要登入,通路的時候需要傳遞cookie,這時候就需要和上面提到的post方式結合。一般過程是:post使用者名和密碼登入、儲存cookie,然後通路頁面時附帶上cookie。
wget --post-data="user=user1&pass=pass1&submit=Login" --save-cookies=cookie.txt --keep-session-cookies http://domain.com/login.php
wget --load-cookies=cookie.txt http://domain.com/path/page_need_login.php
Wget 與CURL的最大差別也是Wget的最大的優勢是可以進行遞歸的下載下傳,可以一次下載下傳一個HTML頁面 或者ftp清單中的所有内容。
原文:
[1]http://os.51cto.com/art/201002/183100.htm
[2]http://hi.baidu.com/hhflying/item/7ae51f3d30ce64fdde2221d9
wget和curl的差別
http://www.cnblogs.com/xuxm2007/archive/2010/09/07/1820963.html
[3]wget指令解釋
http://os.51cto.com/art/201002/183100.htm