Django定时任务:数据自动入库 (django数据定时存入数据库)
Django是一个用于Web开发的高级Python框架,它提供了一套完善的Web开发工具和功能,包括ORM、路由、视图、模板等。在Django中,开发者可以使用Django自带的定时任务功能,让 Python 自动执行一些常规的任务,比如备份数据、清洗数据、自动入库等。
数据自动入库是使用Django定时任务功能的一种典型场景。本文将从以下几个方面介绍如何使用Django定时任务来实现数据自动入库:
1. 定义模型
在Django中,模型是连接应用程序和数据库的桥梁。在数据自动入库的场景中,我们需要先定义一个模型,用于存储待入库的数据。模型定义包括模型名、字段类型、字段名等信息,可以通过在models.py文件中直接定义来实现。
下面是一份示例代码,定义了一个名为Book的模型,包括书名、作者、出版社和出版日期四个字段:
from django.db import models
class Book(models.Model):
title = models.CharField(max_length=200)
author = models.CharField(max_length=200)
publisher = models.CharField(max_length=200)
pub_date = models.DateField()
2. 编写数据入库脚本
数据入库脚本是用于将待入库的数据写入数据库的 Python 脚本。在数据自动入库的场景中,我们需要编写一个数据入库脚本,用于从数据源中获取数据,并将数据写入到之前定义的模型中。
下面是一份示例代码,实现了从豆瓣图书 API 中获取图书信息,并将信息写入到之前定义的Book模型中:
from books.models import Book
import requests
import json
def update_books():
response = requests.get(‘https://api.douban.com/v2/book/search?q=python’)
books = json.loads(response.text)[‘books’]
for book in books:
Book.objects.create(
title=book[‘title’],
author=book[‘author’][0],
publisher=book[‘publisher’],
pub_date=book[‘pubdate’]
)
3. 配置Django定时任务
Django定时任务基于Celery和Celery Beat实现,需要安装对应的库后进行配置。在完成安装后,我们需要在Django项目中的settings.py文件中进行如下的配置:
INSTALLED_APPS = [
# …
‘django_celery_beat’
]
CELERY_BROKER_URL = ‘redis://localhost:6379/0’
CELERY_RESULT_BACKEND = ‘redis://localhost:6379/0’
CELERY_BEAT_SCHEDULE = {
‘update_books’: {
‘task’: ‘books.tasks.update_books’,
‘schedule’: crontab(hour=12, minute=0),
}
}
其中,INSTALLED_APPS中需要加入django_celery_beat应用,CELERY_BROKER_URL和CELERY_RESULT_BACKEND是Celery使用的异步任务队列和结果存储的配置,可以根据具体环境进行修改。CELERY_BEAT_SCHEDULE是定时任务的具体配置,’update_books’为任务名称,’task’指向数据入库脚本中的update_books函数,’schedule’指定了定时任务执行的时间。
4. 编写Django Task
Django Task是Django中用于执行Celery任务的一种方式。在数据自动入库的场景中,我们需要编写一个Django Task,用于执行之前定义的数据入库脚本。
下面是一份示例代码,实现了以Django Task的方式调用之前编写的update_books函数:
from celery import shared_task
from books.utils import update_books
@shared_task
def update_books_task():
update_books()
5. 启动Celery Worker和Beat
在完成以上的配置和编写后,我们需要启动Celery Worker和Beat,才可以实现Django自动执行定时任务。可以通过以下的命令来启动Celery Worker和Beat:
celery -A project_name worker -l info
celery -A project_name beat -l info
其中,-A参数指定了Django项目的入口文件,worker用于启动Celery Worker,beat用于启动Celery Beat。
6. 测试定时任务
在完成上述配置和编写后,我们可以手动触发一次定时任务来测试是否正常工作。可以通过以下命令来手动触发一次定时任务:
celery -A project_name call books.tasks.update_books
其中,call用于触发Celery任务,books.tasks.update_books是之前定义的定时任务。
7. 结语
数据自动入库是一种常见的定时任务场景,在Django框架中可以通过Celery和Celery Beat实现。本文介绍了如何通过定义模型、编写数据入库脚本、配置Django定时任务、编写Django Task和启动Celery Worker和Beat等步骤,实现Django自动执行定时任务,并将数据自动写入数据库的功能。