天天看点

Python网络爬虫学习笔记(一)

因工作需要,首次接触Python和爬虫,将会参考很多书籍及网络资料(网络资料以搜索到的为准,并未对第一作者进行考证),这里进行一个整理,并记录下学习历程~

###一、软件下载及环境配置

1、anaconda

  • 用于科学计算的Python发行版,提供了***包管理与环境管理`的功能,可以很方便地解决***多版本python并存、切换以及各种第三方包安装 问题,并且已经***包含了Python和相关的配套工具*** 。(参考下述 配置及教程 中的说法 )
  • 下载地址
  • 配置及教程 (Anaconda使用总结,讲解地很细致,也很实用 )

    ####2、fiddler

  • http协议调试代理工具
  • 直接百度下载就行,具体使用见下面网络资料系列

###二、网络资料系列

把网络资料放在前面,是因为我自身还比较浮躁,中规中矩看书学习容易分神。而看网络教程能有很明显的进展,进而有个比较大体的认知。当然,兴趣提上来以后,再补基础跟理论就有趣多了。
  • 零基础自学用python 3开发网络爬虫系列
这四篇是网上搜到的一个作者的学习经验,很适合零基础学习的人看。不过就只有四篇,没有再继续了。
  • 零基础自学用Python 3开发网络爬虫(一)
  • 零基础自学用Python 3开发网络爬虫(二)
  • 零基础自学用Python 3开发网络爬虫(三)
  • 零基础自学用Python 3开发网络爬虫(四)
  • 零基础自学用Python 3开发网络爬虫(五)
  • 【HTTP】Fiddler系列
  • 【HTTP】Fiddler(一) - Fiddler简介
  • 【HTTP】Fiddler(二) - 使用Fiddler做抓包分析
  • 【HTTP】Fiddler(三)- Fiddler命令行和HTTP断点调试

###三、书籍资料

接到任务当天是打算买本或者借本书看的,但并不知道选什么书好。深圳的福田区图书馆有个“选书帮”活动,可以在书城扫新书直接借走,下班后便去逛了逛,刚好看到这本书。

才刚开始看,如果不错的话之后会针对本书具体写一写。

《用Python写网络爬虫》 —— [澳]Richard Lawson 著(李斌 译)

现在Python语法现在还不熟,只是参考例子编写了简单的程序,稍微熟悉了下用法。第一篇就先写这么多啦。

ps:顺便熟悉了下Markdown语法