天天看點

wget簡單使用

wget是linux上的指令行的下載下傳工具。支援HTTP和FTP協定,支援代理伺服器和斷點續傳功能,能夠自動遞歸遠端主機的目錄,找到合乎條件的檔案并将其下載下傳到本地硬碟上;如果必要,Linux wget将恰當地轉換頁面中的超級連接配接以在本地生成可浏覽的鏡像。

基本用法:

wget -i $file -a out.log -O /dev/null -T 0.001-t 1

有些網站或者頁面,需要額外的認證,是以需要添加額外的HTTP Header,使用方法:

wget --header="Host: www.google.com" url

通過--user-agent=來僞裝成浏覽器

實作上傳資料:

wget --post-data="user=user1&pass=pass1&submit=Login" http://domain.com/login.php

有些頁面的通路需要登入,通路的時候需要傳遞cookie,這時候就需要和上面提到的post方式結合。一般過程是:post使用者名和密碼登入、儲存cookie,然後通路頁面時附帶上cookie。

wget --post-data="user=user1&pass=pass1&submit=Login" --save-cookies=cookie.txt --keep-session-cookies http://domain.com/login.php

wget --load-cookies=cookie.txt http://domain.com/path/page_need_login.php

Wget 與CURL的最大差別也是Wget的最大的優勢是可以進行遞歸的下載下傳,可以一次下載下傳一個HTML頁面 或者ftp清單中的所有内容。

原文:

[1]http://os.51cto.com/art/201002/183100.htm

[2]http://hi.baidu.com/hhflying/item/7ae51f3d30ce64fdde2221d9

wget和curl的差別

http://www.cnblogs.com/xuxm2007/archive/2010/09/07/1820963.html

[3]wget指令解釋

http://os.51cto.com/art/201002/183100.htm