爬取目标：騰訊招聘網站（起始url：https://hr.tencent.com/position.php?keywords=&tid=0&start）
爬取内容：職位；職位類型；招聘人數；工作地點；釋出時間；招聘詳細連結；工作職責；工作要求
反反爬措施：設定随機user-agent、設定請求延時操作、
1、開始建立項目
1 scrapy startproject tencent 2、進入tencent檔案夾，執行啟動spider爬蟲檔案代碼，編寫爬蟲檔案。
1 scrapy genspider hr "tencent.com" 指令執行完，用Python最好的IDE---pycharm打開該檔案目錄，會在你的目前目錄建立如下檔案目錄。
3、編寫該目錄下的items.py檔案，設定你需要爬取的字段。
1 class TencentItem(scrapy.Item):
2 # define the fields for your item here like:
3 # 職位
4 position = scrapy.Field()
5 # 職位類型
6 position_type = scrapy.Field()
7 # 招聘人數
8 persons = scrapy.Field()
9 # 工作地點
10 place = scrapy.Field()
11 # 招聘釋出時間
12 time = scrapy.Field()
13 # 職位詳細連結
14 detail_link = scrapy.Field()
15 # 工作職責
16 work_duty = scrapy.Field()
17 # 工作要求
18 work_request = scrapy.Field() 4、進入spiders檔案夾，打開hr.py檔案,開始編寫爬蟲檔案
1 # -*- coding: utf-8 -*-
2 import scrapy
3 import re
4 from items import TencentItem
5
6 class HrSpider(scrapy.Spider):
7 name = \'hr\'
8 allowed_domains = [\'tencent.com\']
9 offset = 0
10 original_url = \'https://hr.tencent.com/position.php?keywords=&tid=0&start=\'
11 # 設定動态起始url
12 start_urls = [\'https://hr.tencent.com/position.php?keywords=&tid=0&start=\' + str(offset)]
13
14 def parse(self, response):
15 # 編寫xpath規則提取需要的資料，進行資料清洗。
16 trs = response.xpath("//table[@class=\'tablelist\']//tr")[1:-1]
17 for tr in trs:
18 item = TencentItem()
19 item["position"] = tr.xpath("./td[1]/a/text()").extract()
20 item["position_type"] = tr.xpath("./td[2]/text()").extract()
21 item["persons"] = tr.xpath("./td[3]/text()").extract()
22 item["place"] = tr.xpath("./td[4]/text()").extract()
23 item["time"] = tr.xpath("./td[5]/text()").extract()
24 link_part = tr.xpath("./td[1]/a/@href").extract_first()
25 # 分析網址結構，拼接正确的職位詳細連結
26 url_detail = item["detail_link"] = \'https://hr.tencent.com/\' + link_part
27 # 将找到的詳細連結yield 到scrapy的排程器，排程器進行入隊列，依次發送請求。
28 yield scrapy.Request(url=url_detail,
29 callback=self.parse_next_url,#編寫處理連結的回調函數
30 meta = {"item":item},
31 )
32 # 進行翻頁操作
33 if self.offset < 2870:
34 self.offset += 10
35 url_send = self.original_url + str(self.offset)
36 yield scrapy.Request(
37 url=url_send,
38 callback=self.parse,
39 )
40 # 編寫回調函數
41 def parse_next_url(self,response):
42 item = response.meta["item"]
43 item["work_duty"] = response.xpath("//table[@class=\'tablelist textl\']//tr[3]//ul//text()").extract()
44 item["work_request"] = response.xpath("//table[@class=\'tablelist textl\']//tr[4]//ul//text()").extract()
45 item["work_duty"] = re.sub(r\'(\xa0)\',\'\',str(item["work_duty"]))
46 item["work_request"] = re.sub(r\'(\xa0)\',\'\',str(item["work_request"]))
47 yield item 5、編寫pipeline.py檔案，處理接收到的資料
1 import json
2
3
4 class TencentPipeline(object):
5 # 自定義一個打開檔案，寫入檔案的方式存儲資料
6 def __init__(self):
7 self.f = open("tencent.json","wb")
8
9 def process_item(self, item, spider):
10 # 當item檔案中有中文時，ensure預設是用ascii編碼中文
11 content = json.dumps(dict(item),ensure_ascii= False) + ", \n"
12 self.f.write(content.encode("utf-8"))
13 return item
14
15 def close_file(self):
16 self.f.close() 6、設定setting.py檔案，配置scrapy運作的相關内容
DOWNLOADER_MIDDLEWARES = {
\'tencent.middlewares.RandomUA\': 543,
}
ITEM_PIPELINES = {
\'tencent.pipelines.TencentPipeline\': 300,
# \'scrapy_redis.pipelines.RedisPipeline\': 400,
}
USER_AGENT = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
# 設定請求延時操作
DOWNLOAD_DELAY = 1 7、設定middlewares.py檔案，對請求進行處理。
class RandomUA(object):
# 設定随機請求頭
def process_request(self,request,spider):
UA = random.choice(USER_AGENT)
request.headers["user-agent"] = UA 8、設定爬蟲的啟動檔案start.py
1 from scrapy.cmdline import execute
2 execute("scrapy crawl hr".split()) 9、執行效果如下。（儲存為json資料格式的字元串到本地）
1 {"position": ["25928-進階圖形開發工程師（深圳總部）"], "position_type": ["技術類"], "persons": ["3"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46479&keywords=&tid=0&lid=0", "work_duty": "[\'負責遊戲引擎圖形相關特性的開發；\', \'負責渲染流程和算法的優化，以及相關工具的開發；\', \'負責圖形相容性分析以及疑難問題的分析定位工作。\']", "work_request": "[\'大學以上學曆，精通C/C++，具備紮實的資料結構和算法基礎，熟悉常用設計模式；\', \'具備計算機圖形學知識，熟練掌握3D圖形渲染技術，熟悉OpenGL以及Shader開發；\', \'熟練掌握3D遊戲引擎架構， 熟悉3D引擎的接口和遊戲制作流程；\', \'3年以上3D引擎（Unreal、Unity等）開發經驗，一年以上渲染相關開發和優化經驗；\', \'深刻了解用戶端架構和其他核心子產品的實作，有主導過核心子產品的開發經驗者優先；\', \'熟悉移動端GPU/CPU架構，有移動端渲染開發經驗者優先；\', \'責任心強，善于溝通，對遊戲前沿技術應用抱有熱情。\']"},
2 {"position": ["25667-管道銷售經理（深圳）"], "position_type": ["市場類"], "persons": ["2"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46485&keywords=&tid=0&lid=0", "work_duty": "[\'擔任騰訊雲管道經理，負責區域管道體系建設及産品銷售；\', \'定期拜訪管道合作夥伴，充分了解客戶需求并積極跟進，制定合理方案，負責方案提示、談判，追蹤公司相關部門的工作，保證方案的有效實施；\', \'維持與現有合作夥伴的良好業務關系，及時更新公司産品資訊，傳達企業及品牌文化。\']", "work_request": "[\'大學及以上學曆，計算機、電信、市場營銷或其它相關專業；\', \'軟體或網際網路行業五年以上相關工作經驗；\', \'具有豐富的管道銷售、區域管理及長尾中小企業客戶覆寫經驗；\', \'具有企業級應用軟體銷售經驗，具有雲計算及網際網路行業管道銷售經驗優先；\', \'能夠有效通過管道覆寫中長尾客戶，承擔區域銷售業績；\', \'能夠建立區域管道體系，有效處理管道沖突與風險防範；\', \'能夠主導制定各種服務與激勵方式，持續提高管道合作夥伴的滿意度；\', \'具有出色的協調能力，良好的團隊合作精神；為人誠信，工作敬業，有責任心。\']"},
3 {"position": ["28481-醫療健康UI開發工程師(深圳)"], "position_type": ["設計類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46476&keywords=&tid=0&lid=0", "work_duty": "[\'負責騰訊覓影，智慧醫院等相關醫療産品的前端元件的編寫，web開發工作；\', \'根據産品與設計要求，不斷優化前端架構，改善使用者體驗。參與相關UI元件體系的建立、維護等。\']", "work_request": "[\'網頁重構或web前端開發工作2年以上； \', \'精通HTML5，CSS3，JavaScript建構高性能web應用；掌握React或Vue并有相關實戰經驗，掌握主流前端建構工具grunt，gulp，webpack；\', \'精通UI元件化開發、動效開發、響應式、多終端适配、無障礙有一定開發經驗；\', \'有node.js/vue/react開發經驗者優先，有前端性能、工具研發方面的實踐經驗優先。\', \'對Web性能、安全相關有一定的了解； \', \'有創新精神并能積極學習業界新技術，順暢的溝通合作能力。\']"},
4 {"position": ["SA-騰訊社交廣告進階系統測試工程師（研發中心 北京）"], "position_type": ["技術類"], "persons": ["1"], "place": ["北京"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46486&keywords=&tid=0&lid=0", "work_duty": "[\'參與網際網路軟體産品測試的全流程，包括參與需求分析、設計評審，制定測試計劃，設計和執行測試用例，進行缺陷跟蹤和軟體品質分析等；\', \'制定測試計劃，建構測試環境，執行內建測試，回歸測試等； \', \'保證被測系統的品質，并通過測試流程和方法創新，努力提升研發的品質和效率。\']", "work_request": "[\'工科、計算機或其他相關專業大學以上學曆；\', \'熟悉C/C++/Java等至少一種程式設計語言,有Shell或Ruby/PHP/Perl/Python等使用經驗者優先；\', \'至少1年以上軟體開發、自動化測試工作經驗；\', \'有性能、安全、白盒測試等專業測試領域經驗者優先；\', \'具備網際網路廣告、搜尋、大資料處理、分布式系統、資料庫和網絡等業務領域測試經驗者優先; \', \'熟悉Linux或Unix作業系統；\', \'精通測試流程和測試用例設計方法,能主動進行技術鑽研；\', \'解決複雜問題和編寫自動測試工具和系統的能力；\', \'很強的邏輯思維能力,談判的能力和沖突管理的能力；\', \'善于團隊合作,了解和适應變化,以結果和行動為準則,努力追求成功。\']"},
5 {"position": ["25664-***行業傳遞項目經理"], "position_type": ["産品/項目類"], "persons": ["2"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46484&keywords=&tid=0&lid=0", "work_duty": "[\'1、負責騰訊雲***行業的項目傳遞管理工作；\', \'2、負責項目資源的組織與協調，確定項目團隊各幹系人及内外部合作團隊的協同工作； \', \'3、負責項目計劃的制定、跟蹤與維護，確定項目按計劃完成，并解決傳遞中的各類問題；\', \'4、協助收集客戶需求和使用者回報，驅動研發團隊完善産品，確定項目順利通過驗收。\']", "work_request": "[\'1、全日制統招大學及以上學曆，5年以上***行業經驗，至少深入參與5個***行業大中型項目；\', \'2、有在大型企業工作的經曆，管理過20人以上的項目團隊，有豐富的跨部門、跨組織溝通協調經驗，能夠應對複雜的項目環境；\', \'3、熟悉研發過程，包括産品設計、需求分析、架構設計、開發、測試、運維等，熟悉靈活開發過程；\', \'4、有出色的溝通能力和技巧，能夠想方設法推動項目的順利進行，有強烈的結果導向意識；\', \'5、具備良好的項目管理、客戶關系維護能力，和優秀的溝通技巧，能妥善協調好客戶、合作夥伴、内部團隊的合作關系；\', \'6、有非常強的事業心、責任感和擔當精神，有較強的抗壓能力，能并行處理多個項目工作，能承受一定程度的出差或駐場工作；\', \'7、有PMP、ITIL證書者優先，資訊産業部系統內建項目經理證書者優先。\']"},
6 {"position": ["PCG14-應用寶資料挖掘算法工程師（深圳）"], "position_type": ["技術類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46483&keywords=&tid=0&lid=0", "work_duty": "[\'負責提供合适的推薦算法模型；\', \'負責研究業内領先的技術，結合騰訊各個業務平台的資料，根據應用中心和社交管道這兩個場景給出具體的實驗資料，并且評估結果；\', \'負責根據不同的算法模型，上報業務需要的統計資料，協助各種算法的實施；\', \'研究已有算法的瓶頸，提出合理的改進措施和解決方案。\']", "work_request": "[\'計算機、應用數學、人工智能、模式識别、統計、自控等專業的碩士或者博士優先；\', \'2年以上相關工作經驗；\', \'對機器學習、資料挖掘算法及其在網際網路上的應用有比較深入的了解；\', \'熟悉掌握C/C++語言；\', \'有大規模分布式計算平台的使用和并行算法開發經驗；\', \'嚴密的數學思維、突出的分析和歸納能力、優秀的溝通表達能力；\', \'有網際網路廣告，電商，搜尋等方面推薦經驗優先。\']"},
7 {"position": ["19867-遊戲背景開發工程師（深圳）"], "position_type": ["技術類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46482&keywords=&tid=0&lid=0", "work_duty": "[\'負責遊戲背景架構設計；\', \'負責遊戲背景系統子產品以及新特性開發；\', \'負責伺服器性能優化和體驗優化。\']", "work_request": "[\'2年以上遊戲伺服器背景工作經驗，有完整的項目經驗；\', \'紮實的程式設計基礎，對高線上大并發遊戲背景架構有一定認識；\', \'熟悉Unix/Linux作業系統下的C/C++開發；\', \'熟悉TCP/IP協定相關知識，熟悉網絡程式設計，熟悉資料庫；\', \'了解遊戲伺服器架構及性能優化方法；\', \'具備良好的分析解決問題能力，能獨立承擔背景邏輯系統開發工作；\', \'高度的責任心、良好的溝通能力和團隊合作精神。\']"},
8 {"position": ["TME-全民K歌項目經理（深圳）"], "position_type": ["産品/項目類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46478&keywords=&tid=0&lid=0", "work_duty": "[\'負責全民K歌版本計劃制定，風險監控，過程跟蹤，保障版本目标的實作；\', \'負責FT内目标确認，目标拆解，資源配置設定以及目标達成情況跟進，推動各角色協同工作；\', \'發現、總結、跟蹤過程問題，推動團隊各環節持續改進，提高效率。\']", "work_request": "[\'大學以上學曆，計算機或相關專業；\', \'3年以上軟體項目管理經驗，有網際網路、軟體領域技術開發經驗優先；\', \'精通軟體項目過程管理，對靈活項目管理有實際應用經驗及深刻了解；\', \'具有良好的執行力和責任心，能推動項目團隊朝目标前進；\', \'具有豐富的與人溝通、交流群組織能力，出色的團隊合作精神；\']"},
9 {"position": ["25928-進階語音算法工程師（上海）"], "position_type": ["技術類"], "persons": ["1"], "place": ["上海"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46477&keywords=&tid=0&lid=0", "work_duty": "[\'負責遊戲語音算法優化；\', \'負責語音前沿技術研究；\', \'負責遊戲語音現網版本算法維護更新。\']", "work_request": "[\'大學及以上學曆；\', \'熟悉PC/Android/iOS SDK任一平台C/C++開發，性能優化； \', \'熟悉數字信号處理，數學功底紮實，熟悉MATLAB仿真； \', \'熟悉語音前處理算法AEC,AGC,VAD,NS,CNG,JitterBuffer,Mix等算法；\', \'熟悉常見Codec,Opus/AAC/Speex等;\', \'有AI語音前處理經驗優先；\', \'熟悉WebRTC,Speex,Opus等開源代碼。\']"},
10 {"position": ["HY-遊戲發行/營運教育訓練生（深圳）"], "position_type": ["産品/項目類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46481&keywords=&tid=0&lid=0", "work_duty": "[\'遊戲發行/營運教育訓練生項目緻力于培養高潛力的遊戲營運人才，以滿足快速增長遊戲業務需求；\', \'項目采用定制化的培養方式，通過專班學習，名師輔導和項目實戰，提升學員的産品sense、營運能力及通用素質，使學員成為優秀的遊戲發行/營運人才。\', \'協助項目制作人與研發商共同制定營運目标和工作計劃，約定的各階段遊戲優化、營運開發和營運支援工作；\', \'推動遊戲研發商的日常溝通，密切關注研發和營運籌備進度同時提供必要協助；\', \'指導并支援項目組内不同職能員工的日常工作，推動合作部門的目标和工作計劃制定；\', \'根據項目需求，制定并推廣項目流程規範，確定項目有序推進；\', \'及時發現并跟蹤解決項目問題，有效管理項目風險。\']", "work_request": "[\'熱愛并樂于體驗遊戲，對研發與營運有一定的了解，保持強烈的好奇心和求知欲；\', \'優秀的中英文讀寫能力；\', \'積極主動，能夠承受高壓的工作。\']"},
11 {"position": ["25928-進階圖形開發工程師（上海）"], "position_type": ["技術類"], "persons": ["3"], "place": ["上海"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46480&keywords=&tid=0&lid=0", "work_duty": "[\'負責遊戲引擎圖形相關特性的開發；\', \'負責渲染流程和算法的優化，以及相關工具的開發；\', \'負責圖形相容性分析以及疑難問題的分析定位工作。\']", "work_request": "[\'大學以上學曆，精通C/C++，具備紮實的資料結構和算法基礎，熟悉常用設計模式；\', \'具備計算機圖形學知識，熟練掌握3D圖形渲染技術，熟悉OpenGL以及Shader開發；\', \'熟練掌握3D遊戲引擎架構， 熟悉3D引擎的接口和遊戲制作流程；\', \'3年以上3D引擎（Unreal、Unity等）開發經驗，一年以上渲染相關開發和優化經驗；\', \'深刻了解用戶端架構和其他核心子產品的實作，有主導過核心子產品的開發經驗者優先；\', \'熟悉移動端GPU/CPU架構，有移動端渲染開發經驗者優先；\', \'責任心強，善于溝通，對遊戲前沿技術應用抱有熱情。\']"},
12 {"position": ["28481-健康保險行業合作進階經理（深圳）"], "position_type": ["市場類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46474&keywords=&tid=0&lid=0", "work_duty": "[\'1、負責商業保險行業客戶資源拓展（包括不限于保險公司、創新保險平台、行業協會等專業領域）；\', \'2、拓展相關行業合作夥伴以及合作機構，整合公司已有産品和資源，形成場景化的創新解決方案；\', \'3、搜集整理健康保險行業的市場動态、政策變動等行業資訊，解讀回報助推業務政策制定；\', \'4、整合資源，設計制定并推進商業合作方案落地，有效撬動行業資源合作。\']", "work_request": "[\'1、全日制大學及以上學曆，三年以上健康保險領域工作經驗；\', \'2、熟悉保險行業，有健康險創新産品營運經驗或創新平台營運經驗； \', \'3、具備良好的溝通表達能力，清晰的思維邏輯，敏銳的洞察力，較強的自驅力和執行力； \', \'4、對工作有高度的責任心和激情，注重團隊合作，适應頻繁差旅需求。\']"},
13 {"position": ["25928-前端測試開發工程師（深圳）"], "position_type": ["技術類"], "persons": ["1"], "place": ["深圳"], "time": ["2018-12-19"], "detail_link": "https://hr.tencent.com/position_detail.php?id=46473&keywords=&tid=0&lid=0", "work_duty": "[\'負責平台類軟體的測試開發工作；\', \'負責平台元件的接口測試、單元測試工作；\', \'能夠在關鍵技術上給予團隊技術指引和支援；\', \'按時完成安排的移動端開發任務；\', \'負責與項目組之間的協調，推動工作，幫助項目組推動整個項目品質的提升。\']", "work_request": "[\'大學及以上學曆，計算機相關專業，開發或者測試開發出身，有軟體開發的基礎；\', \'2-3年以上軟體行業或者網際網路行業經驗，熟悉Windows程式設計或Android/iOS程式設計；\', \'熟悉軟體開發流程，熟悉Android/iOS環境下自動化測試技術；\', \'紮實的測試用例設計能力，熟悉主流自動化方法；\', \'具備紮實的C++、C或Object-C程式設計基礎。\', \'有以下任意一項經驗者優先：\', \'較強的DEBUG能力；\', \'有Android、iOS産品自動化測試經驗。\']"},
......