Python网络爬虫（Xpath解析, lxml库, selenium）

安装：

Windows ：安装selenium

python -m pip install selenium

Anaconda Prompt下执行 :

conda install selenium

Linux/Mac OS:

sudo pip3 install selenium

Ubuntu ：安装Scrapy框架

#### 依赖库较多,以下为全部依赖库,有些已安装 ####

sudo apt-get install libssl-dev
       sudo apt-get install libffi-dev 
       sudo apt-get install python3-dev
       sudo apt-get install build-essential
       sudo apt-get install libxml2
       sudo apt-get install libxml2-dev
       sudo apt-get install libxslt1-dev
       sudo apt-get install zlib1g-dev
    sudo pip3 install Scrapy

xpath工具(解析)

xpath

在XML文档中查找信息的语言,同样适用于HTML文档的检索

xpath辅助工具

Chrome插件：XPath Helper

打开：Ctrl + Shift + X

关闭：Ctrl + Shift + X

Firefox插件：XPath checker

XPath表达式编辑工具：XML quire

xpath匹配规则

匹配演示

查找bookstore下所有节点：/bookstore

查找所有的book节点：//book

查找所有book下的title节点中,lang属性为"en"的节点

//book/title[@lang="en"]

查找bookstore下的第2个book节点下的title节点:

/bookstore/book[2]/title/text()

选取节点

/ : 从根节点开始选取

// : 从整个文档中查找节点

//price  、  /bookstore/book//price

@ : 选取某个节点的属性

//title[@lang="en"]

@的使用

选取1个节点： //title[@lang="en"]

选取N个节点： //title[@lang]

选取节点的属性值 : //title/@lang

<a class=....,src="http://..."

匹配多路径

符号： |

获取所有book节点下的 title节点和price节点

//book/title | //book/price

函数

contains() : 匹配一个属性值中包含某些字符串的节点

//title[contains(@lang,"e")]

text()

//title[contains(@lang,"e")]/text()

lxml库及xpath使用

lxml库：HTML/XML解析库

安装

python -m pip install lxml
      conda install lxml

使用流程

导模块

from lxml import etree

利用lxml库的etree模块创建解析对象

parseHtml = etree.HTML(html)

解析对象调用xpath工具定位节点信息

r_list = parseHtml.xpath('xpath表达式')

### 只要调用了xpath,结果一定是列表 ###

# 构造解析对象
parseHtml = etree.HTML(html)
# 利用解析对象调用xpath匹配
r1 = parseHtml.xpath('//a/@href')
print(r1)

# 获取 /
r2 = parseHtml.xpath('//a[@id="channel"]/@href')
print(r2)

# 获取非 /
r3 = parseHtml.xpath('//ul[@id="nav"]//a/@href')
print(r3)
# 获取所有 a 节点的文本内容
r4 = parseHtml.xpath('//a/text()')
print(r4)
# 获取 图片、军事 ... 
r5 = parseHtml.xpath('//ul[@id="nav"]//a')
for i in r5:
    print(i.text)

如何获取节点对象的内容

节点对象.text

抓取百度贴吧帖子里面所有的图片

目标：抓取指定贴吧所有图片

思路

获取贴吧主页URL,下一页：找URL规律

获取1页中每个帖子的URL

对每个帖子URL发请求,获取帖子里图片URL

对图片URL发请求,以wb方式写入本地文件

步骤

获取贴吧主页URL

http://tieba.baidu.com/f? + 查询参数

找到页面中所有帖子的URL

src : 完整链接

href : 和主URL进行拼接

/p/5926064184

http://tieba.baidu.com/p/5926064184

xpath匹配链接：

写法1： //div[@class="col2_right j_threadlist_li_right"]/div/div/a/@href

写法2(推荐): //div[@class="t_con cleafix"]/div/div/div/a/@href

找每个帖子中图片URL

Xpath匹配：

//img[@class="BDE_Image"]/@src

'''02_百度贴吧图片抓取案例.py'''
import requests
from lxml import etree
import time

class BaiduImageSpider:
    def __init__(self):
        self.headers = {"User-Agent":"Mozilla/5.0"}
        self.baseurl = "http://tieba.baidu.com"
        self.pageurl = "http://tieba.baidu.com/f?"
        
    # 获取所有帖子URL列表
    def getPageUrl(self,params):
        res = requests.get(self.pageurl,params=params,headers=self.headers) 
        res.encoding = "utf-8"
        html = res.text
        # 构建解析对象
        parseHtml = etree.HTML(html)
        # 帖子链接列表
        t_list = parseHtml.xpath('//div[@class="t_con cleafix"]/div/div/div/a/@href')
        # t_list : ['/p/233432','/p/2039820',..]
        print(t_list)
        for t_link in t_list:
            # 拼接帖子完整链接
            t_link = self.baseurl + t_link
            self.getImageUrl(t_link)
    
    # 获取帖子中图片URL列表
    def getImageUrl(self,t_link):
        res = requests.get(t_link,headers=self.headers)
        res.encoding = "utf-8"
        html = res.text
        # 构造解析对象
        parseHtml = etree.HTML(html)
        img_list = parseHtml.xpath('//img[@class="BDE_Image"]/@src')
        print(img_list)
        for img_link in img_list:
            self.writeImage(img_link)
    
    # 保存到本地
    def writeImage(self,img_link):
        # 获取图片的bytes
        res = requests.get(img_link,headers=self.headers)
        res.encoding = "utf-8"
        html = res.content
        # filename
        filename = img_link[-12:]
        with open(filename,"wb") as f:
            f.write(html)
            time.sleep(0.5)
            print("%s下载成功" % filename)
    
    # 主函数
    def workOn(self):
        name = input("请输入贴吧名:")
        begin = int(input("请输入起始页:"))
        end = int(input("请输入终止页:"))
        
        for n in range(begin,end+1):
            pn = (n-1)*50
            params = {
                    "kw":name,
                    "pn":str(pn)
                }
            self.getPageUrl(params)
            
if __name__ == "__main__":
    spider = BaiduImageSpider()
    spider.workOn()

糗事百科-xpath

目标：用户昵称、段子内容、好笑数、评论数

找URL

https://www.qiushibaike.com/8hr/page/1/

xpath匹配

基准xpath：//div[contains(@id,"qiushi_tag_")]

用户昵称： ./div/a/h2

段子内容： .//div[@class="content"]/span

好笑数量： .//i

评论数量： .//i

动态网站数据抓取

Ajax动态加载

特点：滚动鼠标混轮时加载

抓包工具：查询参数在 WebForms -> QueryString

'''03_糗事百科案例.py'''
import requests
from lxml import etree
import pymongo

class QiuShiSpider:
    def __init__(self):
        self.url = "https://www.qiushibaike.com/8hr/page/1/"
        self.headers = {"User-Agent":"Mozilla/5.0"}
        self.conn = pymongo.MongoClient("localhost",27017)
        self.db = self.conn.Baikedb
        self.myset = self.db.baikeset
        
    def getPage(self):
        res = requests.get(self.url,headers=self.headers)
        res.encoding = "utf-8"
        html = res.text
        self.parsePage(html)
    
    def parsePage(self,html):
        parseHtml = etree.HTML(html)
        # 基准xpath,每个段子的列表
        base_list = parseHtml.xpath('//div[contains(@id,"qiushi_tag_")]')
        # 遍历每个段子的节点对象(base)
        for base in base_list:
            # 用户昵称
            username = base.xpath('./div/a/h2')
            if len(username) == 0:
                username = "匿名用户"
            else:
                username = username[0].text
            # 段子内容
            content = base.xpath('.//div[@class="content"]/span')[0].text
            # 好笑数量
            # [<element.好笑数量>,<eleme.评论>,<element...>]
            laughNum = base.xpath('.//i')[0].text 
            # 评论数量
            pingNum = base.xpath('.//i')[1].text
            
            d = {
                  "username":username.strip(),
                  "content":content.strip(),
                  "laughNum":laughNum.strip(),
                  "pingNum":pingNum.strip()
              }
            self.myset.insert(d)
            print("存入数据库成功")


if __name__ == "__main__":
    spider = QiuShiSpider()
    spider.getPage()

Python网络爬虫（Xpath解析, lxml库, selenium）

继续阅读

手动安装Intel network I217-LM网卡的Linux驱动

禁止ubuntu系统弹出报错界面

Ubuntu Linux下Apache的配置文件

Ambari介绍和架构原理

Cloud Studio初体验

使用 ctypes 进行 Python 和 C 的混合编程

【python】【数据处理】画多维数据分布图

NOSQL安全攻击

samba服务器的功能

【Linux】UDP广播报文接收速率问题

【python】netconf协议对接管理设备

「Python 网络自动化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 网络设备

win10本地scala和spark安装安装scala安装spark

Linux设备模型（中）之上层容器

PowerPC平台 Linux移植三

在python中创建excel并写入