天天看点

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

我们在构建网络请求的时候,不可避免地要添加

请求头

(headers),以mdn学习区为例(https://developer.mozilla.org/zh-CN/docs/learn),我们的请求头是这样的:

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

一般来说,我们只要添加

user-agent

cookie

就能满足绝大部分需求了,Python代码如下:

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

但是有些请求,我们要把特定的headers参数添加上才能获得正确的网络响应,不知道哪个参数是必要的情况下,就要先把所有参数都添加上,再逐个排除。

但是手动复制粘贴headers字典里的每一个键值对太费事了,一个不那么方便的解决方案:

  • 正则表达式或者直接字符串替换,把headers字符串拷贝下来,转化为字典

有没有把网络请求快速构建成Python代码的方法呢?这里给大家介绍两个:

  • 网站在线转换
  • Postman

抓取网站:https://developer.mozilla.org/zh-CN/docs/learn

网站在线转换

1,Chrome打开开发者选项(f12),network选项卡,刷新页面,获取请求,找到页面信息对应的请求 (通过请求的名称、后缀和response来判断)

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

2,右键,copy,copy as cURL (bash),注意不是【copy as cURL (cmd)】

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

3,打开网站,https://curl.trillworks.com/,粘贴cURL (bash)到左边curl command,右边会自动出Python代码

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

4,生成代码如下图

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

5,print(response.text) 就可以打印网页源代码啦!

Postman

1,下载postman (Chrome有个postman的插件,操作应该差不多)

2,打开postman,弹出的界面可以直接关掉

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

3,import,paste raw text,在Chrome里复制curl(bash),粘贴到下面的对话框里,点击import按钮

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

4,点击send,模拟网络请求,下方可查看源代码

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

5,确保源代码正常后,点击code

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

6,左上角可以选择编程语言,右上角复制到剪贴板

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码