SQL是一种便捷的数据管理和查询方式,数据库开发者们无论使用SQL Server、Oracle、MySQL、PostgreSQL还是SQLite,都经常会面临相似的问题:在处理大量数据、查询复杂逻辑等业务场景时,编写性能不佳、浪费系统资源的查询语句,导致数据库运行缓慢。
下面介绍6个常见的SQL陷阱,看看你中招了吗?
- 盲目复用查询;
- 嵌套视图;
- 在单个事务中运行大型多表操作;
- 在GUID或其他“不稳定”列上进行聚类;
- 使用触发器;
- 使用否定搜索
1,盲目复用查询
通常我们会为特定的检索任务创建SQL查询语句,以获取所需的数据。
然而,盲目复用查询可能导致获取不必要的大量数据,对性能和资源造成负担。
在复用查询语句之前,请确保它恰当并修改以适应新的场景。
情景:
假设我们有一个查询,用于检索公司名为“maicong”的用户全部信息:
SELECT * FROM users WHERE company = 'maicong';
现在,我们在另一个场景下想获取公司名为“maicong”的用户id、姓名和邮件,而不是用户的全部信息。
反面情景:
直接复用上述查询,这样我们实际会获取比需要更多的数据,这会导致:
性能问题: 获取了不必要的数据可能会导致查询变慢,尤其是当用户表很大时。
资源浪费: 返回的数据中包含了很多不需要的字段,浪费了网络带宽和数据库系统资源。
正面情景:
应该仔细审查要复用的查询,只选择新场景下所需的字段:
SELECT user_id, user_name, email FROM users WHERE company = 'maicong';
2,嵌套视图
虽然视图为查看数据提供了标准方式,但在查询中使用其他试图可能导致查询不必要的数据,并难以优化生成的查询。避免嵌套视图,直接从需要的视图中选择列,以提高查询性能。
情景:
假设有两个视图:employee_info 和 department_info,需要查询员工信息:
正面情景(不使用嵌套视图)
SELECT employee_id, firstname, lastname, departmentname
FROM employee_info
JOIN department_info ON employee_info.department_id = department_info.department_id;
这个查询直接从基础视图中选择所需的列,而不使用嵌套视图。
反面情景(使用嵌套视图)
SELECT employee_id, firstname, lastname, departmentname
FROM (SELECT * FROM employee_info) AS e
JOIN (SELECT * FROM department_info) AS d ON e.department_id = d.department_id;
这个查询中嵌套了两个视图,尽管它看起来完成了相同的任务,但可能会导致检索大量不必要的数据,增加系统负担,也不利于优化
3,在单个事务中运行大型多表操作
当需要在某次查询中,从多个表中删除数据时,避免在单个事务中直接删除所有表上的目标数据。最好分别处理每个表的操作。
如果是跨表查询时要求原子性操作,可以将其拆分成许多较小的事务。
例如,如果有10,000行需要在20个表中删除,可以在一个事务中删除前20个表中的第一千行,然后在另一个事务中删除下一个一千行,依此类推。
正面情景:
分别处理每个表的删除操作,例如,假设有表 Table1, Table2, ..., Table10
-- Transaction 1
BEGIN TRANSACTION;
DELETE FROM Table1 WHERE company = 'maicong';
-- ...
COMMIT;
-- Transaction 2
BEGIN TRANSACTION;
DELETE FROM Table2 WHERE company = 'maicong';
-- ...
COMMIT;
-- ...
-- Transaction 10
BEGIN TRANSACTION;
DELETE FROM Table10 WHERE company = 'maicong';
-- ...
COMMIT;
反面情景:
不推荐的做法:将所有表的删除操作放在一个事务中——这可能导致性能问题和资源争夺。
BEGIN TRANSACTION;
DELETE FROM Table1 WHERE company = 'maicong';
-- ...
DELETE FROM Table2 WHERE company = 'maicong';
-- ...
-- ...
DELETE FROM Table10 WHERE company = 'maicong';
-- ...
COMMIT;
4,在GUID或其他“不稳定”列上进行聚类
GUID(全局唯一标识符)是用于给对象赋予一些独特标识符的16字节随机数。由于GUID的随机性,这会导致表的物理排列变得高度碎片化,使得表操作变得非常慢。所以,要避免在具有大量随机性的列上聚类,最好使用日期或ID列。
情景:
假设有一个数据库表 users,其中有一个列是user_id,它是GUID类型,用于唯一标识每个用户。
不稳定列上的错误聚类:
-- 错误示例:按照user_id(GUID)列进行聚类
CREATE CLUSTERED INDEX IX_user_id ON users(user_id);
理想的聚类列:
-- 正确示例:按照稳定的日期列进行聚类
CREATE CLUSTERED INDEX IX_created_date ON users(created_date);
5,使用触发器
当我们使用触发器(triggers)时,它们会在某个数据库表上发生特定的事件时自动执行,例如插入、更新或删除记录。虽然触发器在某些情况下很方便,但必须在与触发它们的原始数据库操作相同的事务中发生。这意味着如果你在修改一个表的同时,触发器需要对另一个表进行修改,那么这两个表将被锁定,直到触发器完成执行。特别是在处理大量数据时,这将会导致性能问题。
示例:
使用触发器的情况:
假设有两个表,orders 表和 order_history 表。每当在 orders 表中插入一条新记录时,我们希望触发器将相应的信息插入 order_history 表中。
-- 创建一个在插入 orders 表时触发的触发器
CREATE TRIGGER tr_orderInserted
ON orders
AFTER INSERT
AS
BEGIN
-- 在 order_history 表中插入相应的信息
INSERT INTO order_history (order_id, order_date, customer_id)
SELECT order_id, order_date, customer_id
FROM inserted;
END;
上述触发器会在 orders 表中插入新记录后,将相应的信息插入 order_history 表中。但请注意,这个操作会在同一个事务中执行,因此在触发器完成之前,orders 表和 order_history 表都会被锁定。
更好的解决方案:
如果触发器可能会导致锁定超过可容忍的资源,而且你可以在多个事务中执行触发器的操作,那么存储过程可能是更好的选择。存储过程允许你在多个事务中执行类似触发器的操作,而不会导致两个表在同一个事务中被锁定。
-- 创建一个存储过程,在其中执行与触发器相似的操作
CREATE PROCEDURE pr_orderInserted
@order_id INT,
@order_date DATE,
@customer_id INT
AS
BEGIN
-- 在 order_history 表中插入相应的信息
INSERT INTO order_history (order_id, order_date, customer_id)
VALUES (@order_id, @order_date, @customer_id);
END;
这样的存储过程可以在需要的时候被调用,而不会像触发器那样自动在同一个事务中执行。
6,进行否定搜索
避免使用否定搜索,例如SELECT * FROM users WHERE users_status <> 2 这样的查询时,这个查询会返回所有 users 表中状态不等于2的用户,尽管 users_status 上可能有索引,但由于查询条件是不等于,数据库可能会选择执行表扫描,而不是有效使用索引,特别是当表中有大量数据时。
更好的解决方案:
更好的解决方案是编写查询,使其能够有效地使用覆盖索引。例如,可以使用 IN 子查询来实现,如下所示:
-- 使用覆盖索引的查询,排除状态为2的用户
SELECT * FROM users
WHERE user_id NOT IN (SELECT users_id FROM users WHERE users_status = 2);
这个查询有效地使用了 users_id和 users_status 列上的索引,而不需要执行整个表的扫描。通过使用 NOT IN 子查询,我们可以从索引中剔除我们不想要的内容,提高查询效率。这对于大型数据集尤其重要。