Django bulk_create()、update()與數據庫事務的效率對比分析
下面以創建10000個對象為例進行測試:
# 用for循環挨個創建,共花費37秒 for i in range(10000): name='String number %s'%i Record.objects.create(name=name) # 用django事務只提交一次,共花費2.65秒@transaction.commit_manuallydef manual_transaction(): for i in range(10000): name='String number %s'%i Record.objects.create(name=name) transaction.commit() # 用bulk_create創建,共花費0.47秒def builtin(): insert_list =[] for i in range(10000): name='String number %s'%i insert_list.append(Record(name=name)) Record.objects.bulk_create(insert_list) # 用for循環挨個更新,共花費72秒:def auto_transaction(): for record inRecord.objects.all(): record.name ='String without number' record.save() # 用django事務只提交一次,共花費17秒@transaction.commit_manuallydef manual_transaction(): for record inRecord.objects.all(): record.name ='String without number' record.save() transaction.commit() # 用update更新,共花費0.33秒def builtin(): Record.objects.all().update(name='String without number')
補充知識:django的model使用上容易遇到的坑,default=datetime.now和auto_now、null和blank、save和update、bulk_create
一、django設置字段動態默認時間的四種方式:
from django.db import modelsfrom datetime import datetimeclass User(models.Model): id = models.BigAutoField(’主鍵’, primary_key=True) name = models.CharField(’名字’, max_length=20, db_index=True, default=’’) create_time_one = models.DateTimeField(’創建時間’, default=datetime.now()) update_time_one = models.DateTimeField(’更新時間’, default=datetime.now) create_time_tow = models.DateTimeField(’創建時間’, auto_now_add=True) update_time_tow = models.DateTimeField(’更新時間’, auto_now=True)
1. default=datetime.now()
model每次初始化,都會自動設置該字段的默認值為初始化時間。
2. default=datetime.now
model每次進行新增或修改操作,都會自動設置該字段的值為操作時間。設置后仍可以使用ORM手動修改該字段。
3. auto_now_add=True
默認值為False,若設置為True,model每次進行新增操作,都會自動設置該字段的值為操作時間。設置為True后無法使用ORM手動修改該字段,哪怕填充了字段的值也會被覆蓋。
4. auto_now=True
默認值為False,若設置為True,model每次進行新增或修改操作,都會自動設置該字段的值為操作時間。設置為True后無法使用ORM手動修改該字段,哪怕填充了字段的值也會被覆蓋。
5. 要注意的點
除非想設置動態默認時間為項目的啟動時間,否則default=datetime.now()這種用法是錯誤的,會得到期望之外的結果。
使用User.objects.update方法時,設置的default=datetime.now和auto_now=True都不會生效,由于設置了auto_now=True的字段不能手動修改,此時只能使用save方法修改數據,這對于多個數據的更新是不友好的。
因此如果設置動態默認時間的字段,應該使用default=datetime.now和auto_now_add=True來實現。
二、null=True和blank=True的區別
1. null針對數據庫,如果null=True,表示數據庫的該字段可以為空。
2. blank針對表單的,如果blank=True,表示表單填寫該字段時可以不填。
mysql中空值不占用空間,NULL占用空間,而且使用NULL會使索引的效率下降。因此從性能上來說,不建議使用null=True,最好使用default=’’。
三、save和build_create的區別
1. 使用save方法:
names = [’張三’, ’李四’]for name in names: user = User(name=name) user.save() print(user.id) # 此時user對象有id的值
2. 使用bulk_create方法:
names = [’張三’, ’李四’]users = [User(name=name) for name in names]users = User.objects.bulk_create(users)print([user.id for user in users]) # 此時user對象沒有id的值
bulk_create的優點:
批量操作時只與數據庫進行一次交互,效率高。
bulk_create的缺點:
對于設置了自增的字段,返回值中不會有該字段的值,如上例2中的user對象。
對于設置了動態默認時間的字段,如設置了auto_now=True,同一批處理的記錄中該字段的時間將會相同。
四、上面的知識點使用的例子
1. 定義模型
from django.db import modelsfrom datetime import datetime class User(models.Model): id = models.BigAutoField(’主鍵’, primary_key=True) name = models.CharField(’名字’, max_length=20, db_index=True, blank=False, default=’’) create_time = models.DateTimeField(’創建時間’, auto_now_add=True) update_time = models.DateTimeField(’更新時間’, default=datetime.now)
2. 插入數據
# 方法一names = [’張三’, ’李四’]users = [User(name=name) for name in names]users = User.objects.bulk_create(users) # 方法二names = [’張三’, ’李四’]users = [User(name=name) for name in names][user.save() for user in users]
3. 修改數據
# 方法一names = [’張三’, ’李四’]User.objects.filter(name__in=names).update(name=’changed’, update_time=datetime.now()) # 這里必須顯式對update_time賦值 # 方法二names = [’張三’, ’李四’]users = User.objects.filter(name__in=names)for use in users: user.name = ’changed’ user.save() # 這里會自動更新update_time,但是多次save效率低
以上這篇Django bulk_create()、update()與數據庫事務的效率對比分析就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。
相關文章: