本篇文章主要是由于計劃使用django寫一個計劃任務(wù)出來，可以定時的輪換值班人員名稱或者定時執(zhí)行腳本等功能，百度無數(shù)坑之后，終于可以湊合把這套東西部署上。本人英文不好，英文好或者希望深入學(xué)習(xí)或使用的人，建議去參考官方文檔，而且本篇的記錄不一定正確，僅僅實(shí)現(xiàn)crontab 的功能而已。

希望深入學(xué)習(xí)的人可以參考http://docs.jinkan.org/docs/celery/。

首先簡單介紹一下，Celery 是一個強(qiáng)大的分布式任務(wù)隊列，它可以讓任務(wù)的執(zhí)行完全脫離主程序，甚至可以被分配到其他主機(jī)上運(yùn)行。我們通常使用它來實(shí)現(xiàn)異步任務(wù)（async task）和定時任務(wù)（crontab）。它的架構(gòu)組成如下圖

可以看到，Celery 主要包含以下幾個模塊：

任務(wù)模塊 Task

包含異步任務(wù)和定時任務(wù)。其中，異步任務(wù)通常在業(yè)務(wù)邏輯中被觸發(fā)并發(fā)往任務(wù)隊列，而定時任務(wù)由 Celery Beat 進(jìn)程周期性地將任務(wù)發(fā)往任務(wù)隊列。

消息中間件 Broker

Broker，即為任務(wù)調(diào)度隊列，接收任務(wù)生產(chǎn)者發(fā)來的消息（即任務(wù)），將任務(wù)存入隊列。Celery 本身不提供隊列服務(wù)，官方推薦使用 RabbitMQ 和 Redis 等。

任務(wù)執(zhí)行單元 Worker

Worker 是執(zhí)行任務(wù)的處理單元，它實(shí)時監(jiān)控消息隊列，獲取隊列中調(diào)度的任務(wù)，并執(zhí)行它。

任務(wù)結(jié)果存儲 Backend

Backend 用于存儲任務(wù)的執(zhí)行結(jié)果，以供查詢。同消息中間件一樣，存儲也可使用 RabbitMQ, Redis 和 MongoDB 等。

異步任務(wù)使用 Celery 實(shí)現(xiàn)異步任務(wù)主要包含三個步驟：

創(chuàng)建一個 Celery 實(shí)例 啟動 Celery Worker 應(yīng)用程序調(diào)用異步任務(wù)一、快速入門

本地環(huán)境：

OS：centOS6.5 django-1.9 python-2.7.11 celery==3.1.20 django-celery

python、pip、django相關(guān)安裝不在詳寫，直接參考百度即可；

pip install django==1.9 安裝django pip install celery==3.1.20 安裝celerypip install django-celery 安裝django-celery

安裝如果有失敗，所需要的依賴環(huán)境自行解決。例如：mysql-python等；使用做redis作為消息中間件，安裝redis：https://www.jb51.net/article/96230.htm

二、創(chuàng)建django項(xiàng)目開始測試

1、創(chuàng)建django 工程 命名為djtest

django-admin.py startproject djtest1

2、創(chuàng)建app 命名為apps

cd djtestpython manage.py startapp apps1

3、創(chuàng)建完成后，django 目錄結(jié)構(gòu)如下：

djtest1├── apps1│ ├── admin.py│ ├── apps.py│ ├── init.py│ ├── migrations│ │ └── init.py│ ├── models.py│ ├── tests.py│ └── views.py├── djtest1│ ├── init.py│ ├── init.pyc│ ├── settings.py│ ├── settings.pyc│ ├── urls.py│ └── wsgi.py└── manage.py

4、修改setting.py django配置文件，增加如下：

import djcelery ###djcelery.setup_loader() ###CELERY_TIMEZONE=’Asia/Shanghai’ #并沒有北京時區(qū)，與下面TIME_ZONE應(yīng)該一致BROKER_URL=’redis://192.168.217.77:16379/8’ #任何可用的redis都可以，不一定要在django server運(yùn)行的主機(jī)上CELERYBEAT_SCHEDULER = ’djcelery.schedulers.DatabaseScheduler’ ### INSTALLED_APPS = ( ’django.contrib.admin’, ’django.contrib.auth’, ’django.contrib.contenttypes’, ’django.contrib.sessions’, ’django.contrib.messages’, ’django.contrib.staticfiles’, ’djcelery’, ### 加入djcelery應(yīng)用 ’apps1’, ### 加入新創(chuàng)建的apps1)TIME_ZONE=’Asia/Shanghai’ ###

開頭增加如上配置文件，根據(jù)實(shí)際情況配置redis的地址和端口，時區(qū)一定要設(shè)置為Asia/Shanghai。否則時間不準(zhǔn)確回影響定時任務(wù)的運(yùn)行。

上面代碼首先導(dǎo)出djcelery模塊，并調(diào)用setup_loader方法加載有關(guān)配置；注意配置時區(qū)，不然默認(rèn)使用UTC時間會比東八區(qū)慢8個小時。其中INSTALLED_APPS末尾添加兩項(xiàng)，分別表示添加celery服務(wù)和自己定義的apps服務(wù)。

5、編寫celery文件：djtest/djtest/celery.py

#!/bin/pythonfrom __future__ import absolute_import import os from celery import Celery os.environ.setdefault(’DJANGO_SETTINGS_MODULE’, ’djtest1.settings’)#Specifying the settings here means the celery command line program will know where your Django project is. #This statement must always appear before the app instance is created, which is what we do next: from django.conf import settings app = Celery(’djtest1’) app.config_from_object(’django.conf:settings’)#This means that you don’t have to use multiple configuration files, and instead configure Celery directly from the Django settings.#You can pass the object directly here, but using a string is better since then the worker doesn’t have to serialize the object. app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)#With the line above Celery will automatically discover tasks in reusable apps if you define all tasks in a separate tasks.py module.#The tasks.py should be in dir which is added to INSTALLED_APP in settings.py. #So you do not have to manually add the individual modules to the CELERY_IMPORT in settings.py. @app.task(bind=True)def debug_task(self): print(’Request: {0!r}’.format(self.request)) #dumps its own request information

6、修改djtest1/djtest1/init.py

#!/bin/pythonfrom __future__ import absolute_import # This will make sure the app is always imported when# Django starts so that shared_task will use this app.from .celery import app as celery_app

7、接下來編寫你希望django去完成的app，本文中要編寫的就是在INSTALLED_APPS中注冊的apps。在celery.py中設(shè)定了對settings.py中INSTALLED_APPS做autodiscover_tasks，本文希望apps中能夠接受這樣的目錄組織：所有的app都可以放到apps下面，而且每個app都有獨(dú)立的目錄，就和上面的app1、app2一樣，每個app各自有各自的init.py和tasks.py（注意，每個app都需要init.py文件，可以是空白的）。但是這樣的結(jié)構(gòu)組織在啟動時會報錯說module apps找不到。然后在apps下增加了一個init.py文件，這時報錯沒了，但是apps下每個app的tasks.py中的任務(wù)函數(shù)還是無法被django和celery worker找到。

然后嘗試了在apps1下面寫一個__init__.py（空白）和task.py，所有的task function都寫到tasks.py中，如下

8、同步數(shù)據(jù)庫

python manage.py makemigrationspython manage.py migrate

9、創(chuàng)建超級用戶

python manage.py createsuperuser Username (leave blank to use ’work’): adminEmail address: yyc@taihe.comPassword: Password (again): Superuser created successfully.

10、啟動django-web、啟動celery beat 啟動 celery worker進(jìn)程

python manage.py runserver 0.0.0.0:8001#啟動django的應(yīng)用，可以動態(tài)的使用django-admin來管理任務(wù)python manage.py celery beat #應(yīng)該是用來監(jiān)控任務(wù)變化的python manage.py celery worker -c 6 -l debug #任務(wù)執(zhí)行進(jìn)程，worker進(jìn)程

11、通過django-admin添加已注冊的任務(wù)，并查看輸出是否正常。

http://192.168.217.77:8001/admin/ 輸入密碼登錄

（1）登錄后添加任務(wù)：

點(diǎn)擊紅線標(biāo)記的列表，通過add來添加；

（2）

點(diǎn)擊進(jìn)入以后，可以看到已經(jīng)存在的任務(wù)，點(diǎn)擊添加即可；

（3）

按照提示，輸入name，通過task（registered） 選擇已經(jīng)注冊的函數(shù)服務(wù)。選擇運(yùn)行模式，阻塞模式，為多長時間間隔運(yùn)行一次，或者crontab形式運(yùn)行。點(diǎn)擊Arguments（show），添加需要傳入注冊函數(shù)的參數(shù)。

（4）

實(shí)例，具體名稱以及運(yùn)行時間以及傳入?yún)?shù)等。

（5）

保存之后，可以查看到列表。

（6）在python manage.py celery worker -c 6 -l debug啟動的窗口可以看到如下的運(yùn)行過程，證明已經(jīng)生效。

第一行紅色標(biāo)記，可以看到注冊函數(shù)被調(diào)用，第二行紅色標(biāo)記，可以看到函數(shù)的返回值。

到此已經(jīng)基本完成。在實(shí)際運(yùn)用中，我們只需要修改或者添加到tasks.py文件里一些函數(shù)，讓他注冊到里邊。我們從前臺django-web寫入任務(wù)，可以使其動態(tài)加載到任務(wù)。并且把正確的參數(shù)傳過去，就可以正常執(zhí)行。完成我們所想要的通過這個django-celery工具制作定期的備份、統(tǒng)一管理的crontab平臺等。

參考文章：

http://blog.csdn.net/vintage_1/article/details/47664297http://docs.jinkan.org/docs/celery/getting-started/introduction.htmlhttp://www.jianshu.com/p/f78ed01969b3http://www.jianshu.com/p/b7f843f21c46

到此這篇關(guān)于Django+Django-Celery+Celery的整合實(shí)戰(zhàn)的文章就介紹到這了,更多相關(guān)Django Celery實(shí)戰(zhàn)內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！