高级数据库查询优化技术：Django 的实用方法

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《高级数据库查询优化技术：Django 的实用方法》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

在当今快节奏的世界中，快速信息检索是必要的，因为它会影响生产力和效率。对于应用程序和数据库也是如此。许多开发的应用程序通过后端接口与数据库协同工作。了解查询优化对于保持可扩展性、降低延迟和确保降低费用至关重要。本文将揭示优化数据库查询的先进技术，特别是 django 上的查询，以及它们对查询性能的影响。

什么是查询优化？

查询优化通过选择最有效的方式来执行给定查询来提高数据库速度和有效性。让我们在解决问题的背景下理解这一点。当然，解决问题的方法有很多种，但最有效的方法会节省更多的时间和精力，提高性能。查询优化就是这样，提高查询质量就会提高数据库性能。

为什么要优化查询？

查询优化很重要，因为它：

• 提高应用速度。
• 减少服务器负载。
• 增强用户体验。
• 通过使用更少的资源来降低运营费用。

django 中的关键查询优化技术

以下是但不限于django中的优化技术：

1.使用数据库索引：

对未索引的字段进行查询可能会导致数据库扫描整个表来查找查询，从而导致性能降低。另一方面，索引查询速度更快，尤其是对于较大的数据集。

带索引字段

# querying without an index
class book(models.model):
    title = models.charfield(max_length=200)
    #other fields
books = book.objects.filter(title="django optimization")

没有索引字段

class book(models.model):
    title = models.charfield(max_length=200, db_index=true) 
     #other fields
books = book.objects.filter(title="django optimization")

2. 使用选择相关和预取相关：

selectrelated和prefetchrelated是用于查询相关对象的数据库优化技术。它们有助于避免 n 1 查询问题。

• 选定的相关：此方法通过单个 sql join 查询检索相关数据。它非常适合单值连接，例如foreignkey 或onetoonefield。它返回链接数据的实际实例，而不使用多个请求。

• 预取相关：
  对相关对象运行单独的查询（对于多值关系，如 manytomanyfield 或反向foreignkey），但 django 缓存并连接相关数据以防止重复搜索。

不选择相关

# n+1 queries: fetches each related author object for every book
books = book.objects.all()
for book in books:
    print(book.author.name)

与选择相关

# optimized: single query to fetch books and their related authors
books = book.objects.select_related('author')
for book in books:
    print(book.author.name)

3.避免n 1查询问题：

当可以执行一次的查询重复执行时，就会出现 n 1 问题。例如，当获取对象中的项目列表时，会执行另一组查询来获取每个项目的相关实体列表。

n 1问题示例

# inefficient: queries executed inside a loop
books = book.objects.all()
for book in books:
    reviews = book.review_set.all()  # separate query for each book's reviews
    print(reviews)

解决方案

# optimized: prefetch all reviews in a single query
books = book.objects.prefetch_related('review_set')
for book in books:
    print(book.review_set.all())

4. 尽早过滤，获取更少的数据：

这个原则是指导过滤或查询只需要的数据而不是全部。当我们在某些情况下只查询所需的数据而不是在过滤之前查询所有数据时，性能会得到提高。

未经优化

books = book.objects.all()  # loads all records into memory
filtered_books = [b for b in books if b.published_year >= 2020]

有优化

filtered_books = book.objects.filter(published_year__gte=2020)  # query fetches only relevant data

5. 使用延迟且仅查询集：

使用 defer 和 only 可以帮助我们仅将必要的字段从数据库加载到我们的应用程序。

• defer：不获取查询中的输入字段。

• only：仅检索字段集，同时推迟其余字段。

未经优化

# fetches all fields, including a large 'content' field
articles = article.objects.all()
for article in articles:
    print(article.title)  # only the 'title' is used, but all fields are fetched

有优化

# excludes the 'content' field from the query
articles = article.objects.defer('content')
for article in articles:
    print(article.title)  # fetches only the 'title' field

6. 对大型数据集进行分页：

在数据库中获取和处理大数据会增加内存使用量，从而限制性能。使用分页将其分解为更小的块，这可以减少内存使用并加快响应时间。

没有分页

books = book.objects.all()  # loads all records at once

带分页

from django.core.paginator import paginator
paginator = paginator(book.objects.all(), 10)  # 10 items per page
page1 = paginator.get_page(1)  # fetches only the first 10 records

7. 缓存频繁查询：

缓存经常使用的查询。这可以防止重复查询并减少数据库负载。

无缓存

books = book.objects.all()  # query hits the database each time

带缓存

from django.core.cache import cache
books = cache.get_or_set('all_books', book.objects.all(), timeout=3600)  # cached for 1 hour

8. 优化聚合：

django提供了强大的聚合函数，可以直接从数据库查询聚合数据。数据库计算比 python 更快，这提高了速度。

没有聚合

products = product.objects.all()
total_price = sum(product.price for product in products)  # aggregation in python
print(f"total price: {total_price}")

具有聚合

from django.db.models import sum

total_price = product.objects.aggregate(total=sum('price'))
print(f"total price: {total_price['total']}")

9. 监控和配置文件查询：

要优化数据库查询，了解如何监控查询非常重要。这可以使用 django 的连接方法来完成。这有助于识别导致数据库变慢的原因并解决它。

不受监控的查询

# blind execution without monitoring
books = book.objects.all()

监控查询

from django.db import connection
books = book.objects.all()
print(connection.queries)  # shows executed queries

10.使用q对象进行复杂查询：

与其在某个查询期间执行多个过滤器，不如利用 q 对象来获得更好的可读性和效率。

没有q

books = book.objects.filter(title__icontains='django').filter(author__name__icontains='smith')

与q

from django.db.models import Q
books = Book.objects.filter(Q(title__icontains='Django') | Q(author__name__icontains='Smith'))

结论

优化数据库查询对于保持 django 应用程序在扩展时顺利运行至关重要。关键的优化技术，包括索引、缓存、避免 n 1 问题以及使用 django 连接方法或利用 django-debug-toolbar 等工具定期监控数据库，可以确保更快、更高效的 web 应用程序。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~