用Python爬取大學的資訊

你知道我們中國有多少個高校嗎，你知道它的排名嗎，你知道它在哪個位址嗎，如果你不知道，那麼下面Python爬蟲教你知道！

擷取網頁

#這個隻用到了requests 和 bs4
#爬取大學排名
import requests
from bs4 import BeautifulSoup as bs
import time
def grthtml(url):
    demo=requests.get(url)
    demo.encoding=demo.apparent_encoding#編碼解碼，常用方法
    demo=demo.text#傳回一個text文本資訊
    return(demo)      

encoding是從http中的header中的charset字段中提取的編碼方式，若header中沒有charset字段則預設為ISO-8859-1編碼模式，則無法解析中文，這是亂碼的原因

apparent_encoding會從網頁的内容中分析網頁編碼的方式，是以apparent_encoding比encoding更加準确。當網頁出現亂碼時可以把apparent_encoding的編碼格式指派給encoding。

解析網頁

def listhtml(ulist,html):
    soup=bs(html,"html.parser")
    soup=soup.tbody
    for tr in soup("tr"):
        tds=tr("td")
        ulist.append([tds[0].string,tds[1].string,tds[2].string])      

列印資訊

def pmhtml(ulist,num):
    print("2020年中國大學排名")
    print('{0:^10}\t{1:{3}^7}\t{2:^10}'.format("排名","校名","位址",chr(12288)))
    for i in ulist[0:num]:
        print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288)))      

主函數

if __name__=="__main__":
    time.sleep(3)
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2020.html"
    html=grthtml(url)
    uinfo=[]
    listhtml(uinfo,html)
    num=int(input())
    pmhtml(uinfo,num)      

看看效果吧