用selenium爬取淘寶美食

這裡用淘寶來練習一下 selenium 的使用，可以替換關鍵字，爬取不同的物品，比如說衣服、鞋子之類的。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from pyquery import PyQuery as pq
import re,pymongo

borwser = webdriver.Chrome()#聲明浏覽器
url = 'https://www.taobao.com/'
wait = WebDriverWait(borwser,10)#顯示等待
key_word = '美食'
def search(key_word):
    try:
        borwser.get(url)
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#q')))
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm>div.search-button>button')))
        input.send_keys(key_word)
        submit.click()
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager>div>div>div>div.total')))
        get_products()
        return total.text
    except TimeoutError:
        return search(key_word)
           

這一部分主要是一些配置的資訊，打開淘寶，找到輸入框，然後輸入關鍵字确定，如果在規定的時間内沒有響應，可能是網速太慢，我們用了遞歸調用再次執行代碼就好了。

def next_page(number):
    #處理翻頁的操作
    #頁面最下方翻頁地方輸入頁碼的框出來沒有
    input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager>div>div>div>div.form>input')))
    ##判斷輸入框後面的确定按鈕出來沒有
    submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager>div>div>div>div.form>span.btn.J_Submit')))
    input.clear()#先清理一下輸入框裡的頁碼數字
    input.send_keys(number)#填入翻頁數字
    submit.click()#點選确定
    #判斷是否翻頁成功
    wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager>div > div > div > ul > li.item.active > span'),str(number)))
    get_products()
           

這一部分是處理翻頁的，代碼注釋已經很詳細了，不再過多啰嗦。

def get_products():
    #解析詳情清單
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))#看看頁面加載出來沒有
    html = borwser.page_source#得到網頁的源代碼
    doc = pq(html)#用pq解析網頁源代碼
    #得到所有選中的内容
    items = doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        products = {
            'image': item.find('.pic .img').attr('data-src'),
            'price': item.find('.price').text()[3:],
            'deal': item.find('.deal-cnt').text(),
            'title': item.find('.title').text(),
            'shop': item.find('.shop').text(),
            'location': item.find('.location').text()
        }
        print(products)
        save_products(products)
           

這裡是解析頁面美食部分的代碼，當然你的關鍵字是什麼就解析什麼，這裡用到了 pyquery 這個庫，你也可以使用其他的解析方法，比如說 xpath 、re 、bs4 等等

MONGO_URL = 'localhost'#本地資料庫
MONGO_DB = 'taobaomeishi'#資料庫名稱
MONGO_TABLE = 'products'
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

def save_products(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print('儲存MONGODB成功',result)
    except Exception:
        print('儲存到MONGODB失敗',result)



if __name__ == '__main__':
    total = search(key_word)
    total = int(re.findall('(\d+)',total)[0])
    for i in range(2,5):
        next_page(i)
           

覺得不錯點個贊吧。