天天看点

爬虫篇| 爬取豆瓣电影(二)

上次爬取了百度图片,是分析解决ajax的json的响应的,对于一些网站的常见的数据的爬取,是这次主要内容。

爬取的是豆瓣电影,并保存到csv格式中

爬取豆瓣是非常的简单,因为没有任何反爬的机制

https://movie.douban.com/explore

爬虫篇| 爬取豆瓣电影(二)

分析网站

爬虫篇| 爬取豆瓣电影(二)

和上次一样的套路

代码非常的简单

爬虫篇| 爬取豆瓣电影(二)
爬虫篇| 爬取豆瓣电影(二)

如何构造json的url来不断的遍历

保存数据,个人认为不需要使用csv内置的模块

至此爬虫已经入门了,接下来的文章会详细讲解爬虫有关知识并不断提高难度

▼往期精彩回顾▼

爬虫篇| 爬取百度图片(一)

如果学习遇到问题,加毛利微信:maori01(备注:学习交流)

爬虫篇| 爬取豆瓣电影(二)

最后,祝有所学习,有所成长

爬虫篇| 爬取豆瓣电影(二)

转发,好看支持一下,感谢