Django celery beat使用Systemd部署教程

在使用Systemd部署之前，首要确保Django中关于Celery和django-celery-beat这两个都已经配置完毕。为防止在这一步出错，顺便把Django中使用Celery的教程一并写了，而且省的以后还要再去找部署Celery的文档。

Django添加Celery

本段落基本照搬Celery的官方文档，如有疑问可以直接去看原版。

首先你的项目结构应该如下：

- proj/
  - manage.py
  - proj/
    - __init__.py
    - settings.py
    - urls.py

按照推荐方式在proj/proj/celery.py中写入：

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

接下来配置proj/proj/__init__.py确保Django启动时自动发现@shared_task:

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)

Celery官方文档在这点到即止，但实际上此时还不能够直接运行，因为没有定义Broker和Result_backend。不过Result_backend我暂时还用不到，就先说下怎么定义Broker。

如果你仔细看了前面celery.py中的注释，就能发现它能自动寻找settings.py中以CELERY开头的配置。所以Result_backend的配置也是差不多的。所以在settings.py中加入一行：

CELERY_BROKER_URL = 'redis://127.0.0.1:6379/0'

至此Celery本身配置完毕，你只需要在项目tasks.py下的函数中添加@shared_task装饰器就能被Celery自动发现。

配置django-celery-beat

本段同样基于官方文档

直接pip安装django-celery-beat：

pip install django-celery-beat

在settings.py中添加app：

INSTALLED_APPS = (
    ...,
    'django_celery_beat',
)

导入django-celery-beat的数据表：

python manage.py migrate

好了，django-celery-beat已经配置完毕。

Systemd配置

本段同样基于官方文档

首先创建celery的专属用户和用户组，没有shell登录权限，没有家目录,一定程度上保证安全性：

由于celery由定时器beat和消费者worker组成，在大量worker的情况下beat应该单独部署一个。但是官方文件只有worker的Systemd文件而没有beat的文件。我由于自己使用单核CPU且任务不怎么复杂，就将beat和worker部署在同一个进程和Systemd文件中了，否则应该要为beat单独写一份Systemd。

配置Systemd文件/etc/systemd/system/celery.service:

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=someuser
Group=someuser
WorkingDirectory=/home/someuser/proj
ExecStart=/bin/sh -c '/home/someuser/.local/share/virtualenvs/proj-A7cq5gzN/bin/celery worker -B -A proj \
  --logfile=/home/wwwlogs/celery.log -l info \
  --scheduler django_celery_beat.schedulers:DatabaseScheduler &'

[Install]
WantedBy=multi-user.target

保存后执行systemctl daemon-reload加载配置文件，确保log目录有写权限。执行systemctl enable celery后再启动systemctl start celery，一般没有报错就启动成功，如有报错注意查看Systemd提示和log文件。

总结

粗略梳理了一下，部署django-celery-beat还是很方便的，当然如果时大规模分布式部署就有点不一样了，多看官方文档能解决大多数问题。

开文日志