Python | 简单的爬虫

前言

爬取的数据是：豆瓣电影TOP250

使用的python库有：requests、bs4的BeautifulSoup、pandas。

通过requests爬取网页数据，通过BeautifulSoup解析网页数据，通过pandas将数据保存成excel、csv格式。

爬虫代码

import requests  #爬取数据
from bs4 import BeautifulSoup  #解析数据
import pandas as pd  #保存数据
#主函数，连接其他函数
def main():
    url = "https://movie.douban.com/top250?start="
    html = getUrlData(url)
    getHtmlData(html,url)
#获取网页数据
def getUrlData(url):
    try:
        # 有些网站会拒绝爬虫访问，需要模拟浏览器访问网站，添加请求头
        headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
        }
        r = requests.get(url,headers=headers,timeout=30)
        r.raise_for_status
        r.encoding=r.apparent_encoding
        html = r.text
        return html
    except:
        return \'发生异常\'
#解析网页数据
def getHtmlData(html,url):
    alldata=[]
    em_data = []
    name_data = []
    name_other_data=[]
    quote_data=[]
    star_data=[]
    href_data=[]
    for i in range(0,10):
        baseurl = url + str(i*25)
        html = getUrlData(baseurl)
        soup = BeautifulSoup(html,\'html.parser\')
        body = soup.body
        #需要爬取的数据都在class=item的div里
        item = body.find_all(\'div\',{\'class\':\'item\'})
        for i in range(len(item)):
            #电影排名
            em = item[i].find(\'em\')
            em_data.append(em.string)
            #电影名字
            name = item[i].find(\'span\',{\'class\':\'title\'})
            name_data.append(name.string)
            #电影别名
            name_o = item[i].find(\'span\',{\'class\':\'other\'})
            name_other_data.append(name_o.string)
            #简评
            quote = item[i].find(\'span\',{\'class\':\'inq\'})
            if (quote is None):  #有些电影没有简评
                quote_data.append(" ")
            else:
                quote_data.append(quote.string)
            #评分
            star = item[i].find(\'span\',{\'class\':\'rating_num\'})
            star_data.append(star.string)
            #链接
            href = item[i].find(\'a\')
            href_data.append(href.get(\'href\'))
    #保存数据
    df = pd.DataFrame({\'排名\':em_data,\'电影名\':name_data,\'评分\':star_data,\'简评\':quote_data,\'链接\':href_data})
    df = df.set_index(\'排名\') #将排名列设为索引列
    df.to_excel("movieTOP250.xls",encoding=\'utf-8\')
    
if __name__== "__main__":
    main()

           

数据爬取成功后：