Django celery beat 使用 Systemd 部署教程
在使用 Systemd 部署之前,首要确保 Django 中关于 Celery 和 django-celery-beat 这两个都已经配置完毕。为防止在这一步出错,顺便把 Django 中使用 Celery 的教程一并写了,而且省的以后还要再去找部署 Celery 的文档。
Django 添加 Celery
本段落基本照搬 Celery 的官方文档,如有疑问可以直接去看原版。
首先你的项目结构应该如下:
- proj/
- manage.py
- proj/
- __init__.py
- settings.py
- urls.py
按照推荐方式在 proj/proj/celery.py
中写入:
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')
app = Celery('proj')
# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()
@app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))
接下来配置 proj/proj/__init__.py
确保 Django 启动时自动发现 @shared_task:
from __future__ import absolute_import, unicode_literals
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app
__all__ = ('celery_app',)
Celery 官方文档在这点到即止,但实际上此时还不能够直接运行,因为没有定义 Broker 和 Result_backend。不过 Result_backend 我暂时还用不到,就先说下怎么定义 Broker。
如果你仔细看了前面 celery.py 中的注释,就能发现它能自动寻找 settings.py 中以 CELERY 开头的配置。Result_backend 的配置也是差不多的。所以在 settings.py
中加入一行:
CELERY_BROKER_URL = 'redis://127.0.0.1:6379/0'
至此 Celery 本身配置完毕,你只需要在项目 tasks.py 下的函数中添加 @shared_task
装饰器就能被 Celery 自动发现。
配置 django-celery-beat
本段同样基于官方文档
直接 pip 安装 django-celery-beat:
pip install django-celery-beat
在 settings.py 中添加 app:
INSTALLED_APPS = (
...,
'django_celery_beat',
)
导入 django-celery-beat 的数据表:
python manage.py migrate
好了,django-celery-beat 已经配置完毕。
Systemd 配置
本段同样基于官方文档
首先创建 celery 的专属用户和用户组,没有 shell 登录权限,没有家目录,一定程度上保证安全性:
由于 celery 由定时器 beat 和消费者 worker 组成,在大量 worker 的情况下 beat 应该单独部署一个。但是官方文件只有 worker 的 Systemd 文件而没有 beat 的文件。我由于自己使用单核 CPU 且任务不怎么复杂,就将 beat 和 worker 部署在同一个进程和 Systemd 文件中了,否则应该要为 beat 单独写一份 Systemd。
配置 Systemd 文件 /etc/systemd/system/celery.service
:
[Unit]
Description=Celery Service
After=network.target
[Service]
Type=forking
User=someuser
Group=someuser
WorkingDirectory=/home/someuser/proj
ExecStart=/bin/sh -c '/home/someuser/.local/share/virtualenvs/proj-A7cq5gzN/bin/celery worker -B -A proj \
--logfile=/home/wwwlogs/celery.log -l info \
--scheduler django_celery_beat.schedulers:DatabaseScheduler &'
[Install]
WantedBy=multi-user.target
保存后执行 systemctl daemon-reload
加载配置文件,确保 log 目录有写权限。执行 systemctl enable celery
后再启动 systemctl start celery
,一般没有报错就启动成功,如有报错注意查看 Systemd 提示和 log 文件。
总结
粗略梳理了一下,部署 django-celery-beat 还是很方便的,当然如果时大规模分布式部署就有点不一样了,多看官方文档能解决大多数问题。