ORM中的N+1问题

小鱼儿 2023-07-21 11:16 1阅读 0赞

ORM能够让事情变得简单，也会让有些事情变得复杂。有人说，这不就是一个SQL语句的事嘛，干嘛在ORM里面就这么复杂。

# 一、什么是N+1问题 #

我们来解释什么是N+1的问题，在所有的ORM中，这都会是一个问题，新手很容易踩到坑。进而导致系统变慢，然后拖垮整个系统。

还是拿代码来说事，上篇我们定义了一个User的模型，这次还继续沿用，然后增加一个Post（文章）的模型。User和Post是一对多的关系，也就是User是Post的外键。代码如下:

from django.db import models
    
    class User(models.Model):
        name = models.CharField(max_length=255)
    
    class Post(models.Model):
        owner = models.ForeignKey(User)   # by the5fire
        title = models.CharField(max_length=255)
        content = models.TextField()

假设我们有这样的代码，现在系统里面有十个用户，每个用户写了一篇文章，也就是十篇文章。

接下来我们有一个需求，展示一个文章列表页，列表页上展示的信息包括：文章标题，文章作者名称。就这两个字段，也不需要分页。

我们要查询出这样的数据要怎么做呢。在ORM的世界中，我们直观的做法是这样:

posts = Post.objects.all()  #  获取所有的文章数据，注意此时不会执行sql语句  by the5fire
    result = []
    for post in posts:   # 此时会执行select * from post的查询
        result.append({
            'title': post.title,
            'owner': post.owner.name,  # 此时会执行  select * from user where user_id = <post.user_id>
        })

写到这就明白了吧。每次循环都要查一下user表，也就是说，如果我第一次查询是10条记录，那么最终我需要执行的查询语句就是10 + 1 = 11条语句。如果我第一次查询出来的是N条记录，那么最终需要执行的sql语句就是N+1次。

**N+1问题的调用日志：**![70][]

这就是N+1的问题。

# 二、怎么解决N+1问题 #

## 1、自己控制SQL，如在mybatis里使用join语句 ##

但是如果懂SQL的话，就知道，其实这就是一个简单的JOIN语句。一条语句就能查出所有的数据，搞什么N+1.

SELECT t1.title, t2.name from post as t1 INNER JOIN user as t2 ON t2.id = t1.owner_id;

想到这里，是不是觉得ORM有时候挺碍事的。

**该方法其实也有局限性，如果 *user* 和 *department* 不在同一个服务器是不可以连表的。**

## 2、使用ORM框架自身调用 ##

比如Django中，其实现在的ORM框架基本都提供了解决的方案，对这类问题就是通过select\_related来解决。上面的代码直接改造为:

posts_with_user = Post.objects.all().select_related('user)

这样产生的语句就是上面的那个JOIN语句。当然ORM还提供了其他类似的方法，比如prefetch\_related，又是用来处理其他的问题。

总的来说，ORM给我们提供了便利，但某种程度上也对我们造成了限制，或者说是约束好了。

该方法其实也有局限性，如果 *user* 和 *department* 不在同一个服务器是不可以连表的。

## 3、自己控制子查询语句，10次查询封装成一次查询 ##

1.  该方法先查询1次用户列表
2.  取出列表中的部门ID组成数组
3.  查询步骤2中的部门
4.  合并最终数据

$users = $db->query('SELECT * FROM `user`');
    $departmentIds =[ ];
    foreach($users as $user) {
        if(!in_array($user['department_id'], $departmentIds)) {
            $departmentIds[] = $user['department_id'];
        }
    }
    $departments = $db->query('SELECT * FROM `department` WHERE id in ('.join(',',$department_id).')');
    $map = []; // [部门ID => 部门item]
    foreach($departments as $department) {
        $map[$department['id']] = $department;
    }
     
    foreach($users as $user) {
        $user['department'] = $map[$user['department_id']] ?? null;
    }

数据库中ID可以使用索引的，所以性能肯定会高。

**该方法对两个表没有限制，在目前微服务盛行的情况下是比较好的一种做法。**

## 4、使用懒加载？能解决吗？ ##

查看：[https://blog.csdn.net/w05980598/article/details/79647291][https_blog.csdn.net_w05980598_article_details_79647291]

我觉得懒加载不能解决知识性问题，只是在显示过程中使用数据时才查询数据，只是起一个缓冲作用，效率还是地下。

我不赞同使用懒加载。

# 参考： #

[https://www.the5fire.com/what-is-orm-n+1.html][https_www.the5fire.com_what-is-orm-n_1.html]

[https://blog.csdn.net/w05980598/article/details/79647291][https_blog.csdn.net_w05980598_article_details_79647291]

[https://www.cnblogs.com/google4y/p/3455534.html][https_www.cnblogs.com_google4y_p_3455534.html]

[https://segmentfault.com/a/1190000019515106][https_segmentfault.com_a_1190000019515106]

[70]: /images/20230528/3d53f15bf2df4539b51f4df47eeb5577.png
[https_blog.csdn.net_w05980598_article_details_79647291]: https://blog.csdn.net/w05980598/article/details/79647291
[https_www.the5fire.com_what-is-orm-n_1.html]: https://www.the5fire.com/what-is-orm-n+1.html
[https_www.cnblogs.com_google4y_p_3455534.html]: https://www.cnblogs.com/google4y/p/3455534.html
[https_segmentfault.com_a_1190000019515106]: https://segmentfault.com/a/1190000019515106