當我們需要采集網絡上的某個網頁内容時,如果目标網站上的圖檔做了防盜鍊的話,我們直接采集過來的圖檔在自己網站上是不可用的。那麼我們使用程式将目标網站上的圖檔下載下傳到我們網站伺服器上,然後就可調用圖檔了。
本文将使用PHP實作采集遠端圖檔功能。基本流程:
1、擷取目标網站圖檔位址。
2、讀取圖檔内容。
3、建立要儲存圖檔的路徑并命名圖檔名稱。
4、寫入圖檔内容。
5、完成。
我們通過寫幾個函數來實作這一過程。
函數make_dir()建立目錄。判斷要儲存的圖檔檔案目錄是否存在,如果不存在則建立目錄,并且将目錄設定為可寫權限。
function make_dir($path){
if(!file_exists($path)){//不存在則建立
$mk=@mkdir($path,0777); //權限
@chmod($path,0777);
}
return true;
}
函數read_filetext()取得圖檔内容。使用fopen打開圖檔檔案,然後fread讀取圖檔檔案内容。
function read_filetext($filepath){
$filepath=trim($filepath);
$htmlfp=@fopen($filepath,"r");
//遠端
if(strstr($filepath,"://")){
while($data=@fread($htmlfp,500000)){
$string.=$data;
}
}
//本地
else{
$string=@fread($htmlfp,@filesize($filepath));
}
@fclose($htmlfp);
return $string;
}
函數write_filetext()寫檔案,将圖檔内容fputs寫入檔案中,即儲存圖檔檔案。
function write_filetext($filepath,$string){
//$string=stripSlashes($string);
$fp=@fopen($filepath,"w");
@fputs($fp,$string);
@fclose($fp);
}
函數get_filename()擷取圖檔名稱,也可以自定義要儲存的檔案名。
function get_filename($filepath){
$fr=explode("/",$filepath);
$count=count($fr)-1;
return $fr[$count];
}
然後将幾個函數組合,在函數save_pic()中調用,最後傳回儲存後的圖檔路徑。
function save_pic($url,$savepath=\'\'){
//處理位址
$url=trim($url);
$url=str_replace(" ","%20",$url);
//讀檔案
$string=read_filetext($url);
if(empty($string)){
echo \'讀取不了檔案\';exit;
}
//檔案名
$filename = get_filename($url);
//存放目錄
make_dir($savepath); //建立存放目錄
//檔案位址
$filepath = $savepath.$filename;
//寫檔案
write_filetext($filepath,$string);
return $filepath;
}
最後一步就是調用save_pic()函數儲存圖檔,我們使用以下代碼做測試。
//目标圖檔位址
$pic = "http://img0.pconline.com.cn/pconline/1205/06/2776119_end1_thumb.jpg";
//儲存目錄
$savepath = "images/";
echo save_pic($pic,$savepath);
實際應用中,我們可能會采集某個站點的内容,比如産品資訊,包括采集防盜鍊的圖檔儲存到網站上伺服器上。這時我們可以使用正則比對頁面内容,将頁面中相比對的圖檔都找出來,然後分别下載下傳到網站伺服器上,完成圖檔的采集。以下代碼僅供測試:
function get_pic($cont,$path){
$pattern_src = \'/<[img|IMG].*?src=[\\'|\"](.*?(?:[\.gif|\.jpg]))[\\'|\"].*?[\/]?>/\';
$num = preg_match_all($pattern_src, $cont, $match_src);
$pic_arr = $match_src[1]; //獲得圖檔數組
foreach ($pic_arr as $pic_item) { //循環取出每幅圖的位址
save_pic($pic_item,$path); //下載下傳并儲存圖檔
echo "[OK]..!";
}
}
然後我們通過分析頁面内容,将主體内容找出來,調用get_pic()實作圖檔的儲存。
//我們采集太平洋電腦網上一篇關于手機報道内容頁的圖檔
$url = "http://gz.pconline.com.cn/321/3215791.html";
$content = file_get_contents($url);//擷取網頁内容
$preg = \'#<div class="art_con">(.*)<div class="ivy620 ivy620Ex"></div>#iUs\';
preg_match_all($preg, $content, $arr);
$cont = $arr[1][0];
get_pic($cont,\'img/\');
以上代碼筆者親測,可以采集圖檔,但是還有些場景沒考慮進去,比如目标網站做了302多次跳轉的,目标網站做了多種防采集的,留給喜歡折騰的同學去試試吧。