实际开发过程中遇到的问题:
在开发网页的过程中,如果遇到网络请求这样的耗时操作,将会给用户在使用网页的时候带来不好的体验效果。比如说在注册账户的时候,用户点击了请求手机验证码的操作,但由于网络请求的延时的问题,导致网站的请求界面没有任何的反应,如倒计时提示60秒后可以再次请求一次验证码,给用户造成自己没有点击成功的错觉等不好的用户体验效果。
如何解决这样的问题呢?
异步发送短信
将发送短信和界面响应的分开执行,开启一个子进程来执行发送短信的任务。
上面的方案又存在什么样的缺陷呢?
假如现在用户注册的需要执行的异步任务发生了变化,比如既需要发送短信又需要邮箱验证,那么我们上面的业务逻辑就需要进行修改,为了避免这样的情况,可以采用异步任务队列来实现异步任务。
在这里采用celery+rabbitmq来实现异步任务队列。
首先来认识一下celery是什么?
celery是由python开发的,基于分布式消息传递系统的异步任务队列。
由于celery是基于分布式消息传递系统的,所以,它自身没有实现消息队列,而是需要依赖分布式消息队列来提供消息传递的服务,在celery中把这种提供消息传递服务的程序叫做代理,celery支持的代理有rabbitmq、redis、amazon SQS等等
celery每分钟可以处理数以百万计的任务,主要特点是简单、灵活、快速、可靠
简单:熟悉celery的工作流程之后,配置使用简单
高可用:当任务执行失败或执行任务的过程中发生连接中断,celery会自动尝试重新执行任务
快速:一个单进程的celery每分钟可处理上百万个任务
灵活:celery各个组件几乎都可以被扩展及自定制
celery架构&工作原理
从c/s架构的角度来看,celery分为客户端和服务端
celery客户端主要负责发送任务到任务队列里。
celery服务端主要由以下三部分构成: 消息中间件(Broker)、任务执行单元(Worker)、结果存储部件(Backend)
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsICM38FdsYkRGZkRG9lcvx2bjxiNx8VZ6l2cs0TPB50MRR0T41ERNBDOsJGcohVYsR2MMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnL0EzM0IzNxkDM0EDNwEjMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
接下来来认识一下rabbitmq
rabbitmq是一个消息中间件、消息队列,它主要负责接收并转发消息。
这样看上去,celery和rabbitmq似乎都可以实现我们的异步方案,那么两者之间又有着怎么样的联系呢?
从功能上来看
从组成上来看
从使用角度来说
因此,我们采用celery+rabbitmq代理来实现我们的异步方案
接下来,来看看具体的实现是怎么做的
1、安装celery
pip install -U celery
2、创建celery实例
定义celery包, 创建main.py
3、加载celery配置
4、定义celery任务
5、注册celery任务
6、启动celery worker服务