天天看点

异步方案celery+rabbitmq小结(python、django)

实际开发过程中遇到的问题:

在开发网页的过程中,如果遇到网络请求这样的耗时操作,将会给用户在使用网页的时候带来不好的体验效果。比如说在注册账户的时候,用户点击了请求手机验证码的操作,但由于网络请求的延时的问题,导致网站的请求界面没有任何的反应,如倒计时提示60秒后可以再次请求一次验证码,给用户造成自己没有点击成功的错觉等不好的用户体验效果。

如何解决这样的问题呢?

异步发送短信

将发送短信和界面响应的分开执行,开启一个子进程来执行发送短信的任务。

上面的方案又存在什么样的缺陷呢?

假如现在用户注册的需要执行的异步任务发生了变化,比如既需要发送短信又需要邮箱验证,那么我们上面的业务逻辑就需要进行修改,为了避免这样的情况,可以采用异步任务队列来实现异步任务。

在这里采用celery+rabbitmq来实现异步任务队列。

首先来认识一下celery是什么?

celery是由python开发的,基于分布式消息传递系统的异步任务队列。

由于celery是基于分布式消息传递系统的,所以,它自身没有实现消息队列,而是需要依赖分布式消息队列来提供消息传递的服务,在celery中把这种提供消息传递服务的程序叫做代理,celery支持的代理有rabbitmq、redis、amazon SQS等等

celery每分钟可以处理数以百万计的任务,主要特点是简单、灵活、快速、可靠

简单:熟悉celery的工作流程之后,配置使用简单

高可用:当任务执行失败或执行任务的过程中发生连接中断,celery会自动尝试重新执行任务

快速:一个单进程的celery每分钟可处理上百万个任务

灵活:celery各个组件几乎都可以被扩展及自定制

celery架构&工作原理

从c/s架构的角度来看,celery分为客户端和服务端

celery客户端主要负责发送任务到任务队列里。

celery服务端主要由以下三部分构成: 消息中间件(Broker)、任务执行单元(Worker)、结果存储部件(Backend)

异步方案celery+rabbitmq小结(python、django)

接下来来认识一下rabbitmq

rabbitmq是一个消息中间件、消息队列,它主要负责接收并转发消息。

异步方案celery+rabbitmq小结(python、django)

这样看上去,celery和rabbitmq似乎都可以实现我们的异步方案,那么两者之间又有着怎么样的联系呢?

从功能上来看

异步方案celery+rabbitmq小结(python、django)

从组成上来看

异步方案celery+rabbitmq小结(python、django)

从使用角度来说

异步方案celery+rabbitmq小结(python、django)

因此,我们采用celery+rabbitmq代理来实现我们的异步方案

接下来,来看看具体的实现是怎么做的

1、安装celery

pip install -U celery
           

2、创建celery实例

定义celery包, 创建main.py

异步方案celery+rabbitmq小结(python、django)
异步方案celery+rabbitmq小结(python、django)

3、加载celery配置

异步方案celery+rabbitmq小结(python、django)
异步方案celery+rabbitmq小结(python、django)

4、定义celery任务

异步方案celery+rabbitmq小结(python、django)
异步方案celery+rabbitmq小结(python、django)

5、注册celery任务

异步方案celery+rabbitmq小结(python、django)

6、启动celery worker服务

异步方案celery+rabbitmq小结(python、django)