爬取图片

爬取小姐姐的美图

一、缘由

　　我想每一个学习爬虫的都会爬取一次小姐姐的美图吧，我也不例外。还记得这是我刚学不久的时候爬取的图片。来，先上效果图。

二、代码实现

#encoding='utf-8'

#1、拿到主页面的源代码，然后提取到企业民的链接地址，herf
#2、通过herf拿到子页面的内容，从子页面中找到图片的下载地址  img->src
#3、下载图片




import  requests
from bs4 import BeautifulSoup
import  time

def main():
    url=f'''https://www.umei.net/meinvtupian/index_3.htm'''
    res=askURL(url)             #第一次进行请求，获得网页的源代码
    getData(res)
    print('all over!')


def getData(res):  #解析第一次请求得到的页面
    html=BeautifulSoup(res,'html.parser')
    li=html.find('div',class_='TypeList').find_all('img')
    for i in li:
        img=i.get('src')
        p=requests.get(img)
        jpg=p.content
        nam=img.split('/')[-1]
        with open(r'C:\Users\sunshine\Desktop\图片\i'+nam,"ab+") as f:
            f.write(jpg)
        print(nam,'over')
        time.sleep(1)



def askURL(url):
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"

    }
    res=requests.get(url,headers=headers)
    res.encoding='UTF-8'
    return  res.text


if __name__ == '__main__':
    main()