14 | count(*)这么慢，我该怎么办？
在开发系统时，您可能经常需要计算表中的行数，例如交易系统中的变动记录总数。
[En]
When developing a system, you may often need to * calculate the number of rows in a table * , such as the total number of change records in a trading system.
随着系统中记录数越来越多，select count(*) from t 语句执行得也会越来越慢
count(*) 的实现方式
在不同的 MySQL 引擎中，count(*) 有不同的实现方式。
- MyISAM 引擎把一个表的总行数存在了磁盘上，因此执行 count(*) 的时候会直接返回这个数，效率很高；
- 而 InnoDB 引擎执行 count() 的时候，需要把数据 一行一行*地从引擎里面读出来，然后累积计数。
这里讨论的是没有过滤条件的 count()，如果 加了 where 条件*的话，MyISAM 表也是不能返回得这么快的。
Q：为什么 InnoDB 不跟 MyISAM 一样，也把数字存起来呢？
A：因为即使是在同一个时刻的多个查询，由于多版本并发控制（MVCC）的原因，InnoDB 表”应该返回多少行”也是不确定的。
举个例子：
假设表 t 中现在有 10000 条记录，我们设计了三个用户并行的会话。
- 会话 A 先启动事务并查询一次表的总行数；
- 会话 B 启动事务，插入一行后记录后，查询表的总行数；
- 会话 C 先启动一个单独的语句，插入一行记录后，查询表的总行数。
在最后一个时刻，三个会话 A、B、C 会同时查询表 t 的总行数，但拿到的结果却不同。
这和 InnoDB 的事务设计有关系， 可重复读是它默认的隔离级别，在代码上就是通过多版本并发控制，也就是 MVCC 来实现的。 每一行记录都要判断自己是否对这个会话可见，因此对于 count() 请求来说，InnoDB 只好把数据一行一行地读出依次判断， 可见的行才能够用于计算”基于这个查询”的表的总行数*。
在执行 count(*) 操作时的优化
InnoDB 是 索引组织表，主键索引树的叶子节点是数据，而普通索引树的叶子节点是主键值。所以， 普通索引树比主键索引树小很多。对于 count() 这样的操作，遍历哪个索引树得到的结果逻辑上都是一样的。因此， MySQL 优化器会找到最小的那棵树来遍历*。
在保证逻辑正确的前提下，尽量减少扫描的数据量，是数据库系统设计的通用法则之一。
Q：TABLE_ROWS 能代替 count(*) 吗？
A：show table status 命令输出结果是 TABLE_ROWS 。但是实际上，TABLE_ROWS 是从采样估算得来的，因此它很不准。 所以，show table status 命令显示的行数也不能直接使用。
小结
- MyISAM 表虽然 count(*) 很快，但是不支持事务；
- show table status 命令虽然返回很快，但是不准确；
- InnoDB 表直接 count(*) 会遍历全表，虽然结果准确，但会导致性能问题。
如果你现在有一个页面，经常显示交易系统的操作记录总数，你只能自己数。
[En]
If you now have a page that often shows the total number of operating records of the trading system, you can only count it yourself.
自己计数的方法以及优缺点
用缓存系统保存计数
可以 用一个 Redis 服务来保存这个表的总行数。这个表每被插入一行 Redis 计数就加 1，每被删除一行 Redis 计数就减 1。
通过这种方式，读取和更新操作都很快。
[En]
In this way, both read and update operations are fast.
存在问题：Redis 的数据不能永久地留在内存里，缓存系统可能会丢失更新
解决方法：找一个地方把这个值定期地持久化存储起来。
存在问题：即使持久话存储， 仍然可能丢失更新。试想如果刚刚在数据表中插入了一行，Redis 中保存的值也加了 1，然后 Redis 异常重启了，重启后你要从存储 redis 数据的地方把这个值读回来，而刚刚加 1 的这个计数操作却丢失了。
解决方法：Redis 异常重启以后，到数据库里面单独执行一次 count(*) 获取真实的行数，再把这个值写回到 Redis 里就可以了。异常重启毕竟不是经常出现的情况，这一次全表扫描的成本，可以接受。
存在问题：即使 Redis 正常工作，这个值还是逻辑上 不精确的。
假设存在一个页面，要显示 操作记录的总数，同时还要显示 最近操作的 100 条记录。那么，这个页面的逻辑就需要先到 Redis 里面取出计数，再到数据表里面取数据记录。
可能存在两种情况：
- 一种是，查到的 100 行结果里面有最新插入记录，而 Redis 的计数里还没加 1；
- 另一种是，查到的 100 行结果里没有最新插入的记录，而 Redis 的计数里已经加了 1。
情况1：
会话 A 是一个插入交易记录的逻辑，往数据表里插入一行 R，然后 Redis 计数加 1；会话 B 就是查询页面显示时需要的数据。
在 T3 时刻会话 B 来查询的时候，会显示出新插入的 R 这个记录，但是 Redis 的计数还没加 1。这时候，就会出现数据不一致。
情况2：
会话 B 在 T3 时刻查询的时候，Redis 计数加了 1 了，但还查不到新插入的 R 这一行，也是数据不一致的情况。
在并发系统里面，我们是无法精确控制不同线程的执行时刻的，因为存在图中的这种操作序列，所以，我们说 即使 Redis 正常工作，这个计数值还是逻辑上不精确的。
两个不同的存储构成的系统，不支持分布式事务，无法拿到精确一致的视图。
在数据库保存计数（优）
这个计数直接放到数据库里单独的一张计数表 C 中
解决了崩溃丢失的问题，InnoDB 是支持崩溃恢复不丢数据的。
要解决计数不准确的问题，因为交易、存在是看不见的，所以在逻辑上是一致的。
[En]
To solve the problem of inaccurate counting, because the transaction, the existence is invisible, it is logically consistent.
虽然会话 B 的读操作仍然是在 T3 执行的，但是因为这时候更新事务还没有提交，所以计数值加 1 这个操作对会话 B 还不可见。因此，会话 B 看到的结果里， 查计数值和”最近 100 条记录”看到的结果，逻辑上就是一致的。
不同的 count 用法
Q：在 select count(?) from t 这样的查询语句里面，count(*)、count(主键 id)、count(字段) 和 count(1) 等不同用法的性能，有哪些差别？
A：
count() 的语义
count() 是一个 聚合函数， 对于返回的结果集，一行行地判断，如果 count 函数的参数不是 NULL，累计值就加 1，否则不加。最后返回累计值。
所以，count()、count(主键 id) 和 count(1) 都表示 返回满足条件的结果集的总行数；而 count(字段），则表示 返回满足条件的数据行里面，参数”字段”不为 NULL 的总个数*。
分析性能差别的原则
- server 层要什么就给什么；
- InnoDB 只给必要的值；
- 现在的优化器只优化了 count(*) 的语义为”取行数”，其他”显而易见”的优化并没有做。
对于 count(主键 id) 来说，InnoDB 引擎会遍历整张表， 把每一行的 id 值都取出来，返回给 server 层。 server 层拿到 id 后，判断是不可能为空的，就按行累加。
对于 count(1) 来说，InnoDB 引擎遍历整张表，但 不取值。 server 层对于返回的每一行，放一个数字”1″进去，判断是不可能为空的，按行累加。
单看这两个用法的差别的话，count(1) 执行得要比 count(主键 id) 快。因为 从引擎返回 id 会涉及到解析数据行，以及拷贝字段值的操作。
对于 count(字段) 来说：
- 如果这个”字段”是定义为 not null 的话，一行行地从记录里面读出这个字段，判断不能为 null，按行累加；
- 如果这个”字段”定义允许为 null，那么执行的时候，判断到有可能是 null，还要把值取出来再判断一下，不是 null 才累加。
也就是前面的第一条原则，server 层要什么字段，InnoDB 就返回什么字段。
但是 count(*) 是例外，并不会把全部字段取出来，而是专门做了优化，不取值。count(*) 肯定不是 null，按行累加。
Q：优化器就不能自己判断一下吗，主键 id 肯定非空啊，为什么不能按照 count(*) 来处理
A：MySQL 专门针对这个语句进行优化，也不是不可以。但是这种需要专门优化的情况太多了，而且 MySQL 已经优化过 count(*) 了，直接使用这种用法就可以了。
结论：
按照效率排序的话， count(字段)< count(主键 id)< count(1)≈ count(*)，所以我建议你，尽量使用 count(*)。
Q：先前用事务来确保计数准确。由于事务可以保证中间结果不被别的事务读到，因此修改计数值和插入新记录的顺序是不影响逻辑结果的。但是，从并发系统性能的角度考虑，你觉得在这个事务序列里，应该先插入操作记录(insert into t)，还是应该先更新计数表(update cnt_t)呢？
A:
从并发系统性能的角度来看，应该先插入操作记录，然后再更新盘点表。
[En]
From the point of view of concurrent system performance, the operation record should be inserted first, and then the counting table should be updated.
- 更新COUNT表涉及行锁竞争首先插入和更新可以最大限度地减少事务之间的锁等待，并提高并发性。
[En]
updating the count table involves row lock competition. Inserting and updating first can minimize lock waiting between transactions and improve concurrency.*
PS：计数表保存了多个业务表的计数值不会导致行锁等待。
使用一个计数表来记录多个业务表的行数，并且一定会在表名段中添加唯一的索引。类似于以下内容的表结构
[En]
Use a count table to record the number of rows of multiple business tables, and it is sure to add a unique index to the table name field. A table structure similar to the following
CREATE TABLE rows_stat (
table_name varchar(64) NOT NULL,
row_count int(10) unsigned NOT NULL,
PRIMARY KEY (table_name)
) ENGINE=InnoDB;
在更新计数表的时候，一定会传入where table_name=$table_name，使用主键索引， 更新加行锁只会锁在一行上。 而在不同业务表插入数据，是更新不同的行，不会有行锁。
Original: https://www.cnblogs.com/ydssx7/p/16517122.html
Author: ydssx
Title: MySQL实战45讲 14
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/505152/
转载文章受原作者版权保护。转载请注明原作者出处！