单个表上亿行数据的主键、索引设计,及分页查询

一,概述

一般而言,我们对关系型数据库系统,进行表结构设计时,会按数据的种类,进行分类,一般有如下种类:

1)主数据,其数据量基本稳定,不随时间而线性增长。比如,分公司,产品,经销商。 这种数据库表,我们一般以 tm_ 作为表名的前缀, 意思是 table of master data。
2)系统级数据,其数据量基本稳定,不随时间而线性增长。比如,用户权限控制,配置参数。 这种数据库表,我们一般以 ts_ 作为表名的前缀, 意思是 table of system。
3)日志数据表,随时间而线性增长,但会安排定时任务定期删除旧数据,保持总体数据量稳定。 这种数据库表,我们一般以 tl_ 作为表名的前缀, 意思是 table of log。
4)接口数据表,随时间而线性增长,但会安排定时任务定期删除旧数据,保持总体数据量稳定。 这种数据库表,我们一般以 ti_ 作为表名的前缀, 意思是 table of interface。
5)业务交易数据,随时间而线性增长,用户平常关注最近若干天的数据,少数情况下会查阅很久以前的数据。 这种数据库表,我们一般以 tt_ 作为表名的前缀, 意思是 table of transaction data。
6)关系数据,可能是以上 1,2,5 的关系表,我们分别以 tmr_, tsr_, ttr_ 作为表名的前缀。

通常,数据量大的,都是上述 “5. 业务交易数据”

分类 前缀

数据量随时间

线性增长
定期删除 唯一主键 唯一索引 时间字段索引 外键索引

主数据 tm_ N N Y N/A 系统数据 ts_ N N Y N/A 日志数据 tl_ Y Y – – Y 接口数据 ti_ Y Y Y Y 业务交易数据 tt_ Y N Y(可选) Y(可选) Y 关系数据

tmr_

tsr_

ttr_

N/A N Y

二、业务交易表的主键、索引设计

业务交易数据,按通常的理解,一般有主表、明细表两种。

业务交易主表的主键,一般是 id/uuid;另在某个时间字段上,加上索引。比如:

1 CREATE TABLE ow_pkg.TT_FLOW_IN
 2 (
 3    IN_UUID varchar2(32),          --pk
 4    IN_SHEET_CD varchar2(255) NOT NULL,  
 5    IN_TIME date NOT NULL,          --index column of time
 6
 7    SEND_NODE_ID decimal(38,0) NOT NULL,
 8    RECEIVE_NODE_ID decimal(38,0) NOT NULL,
 9
10    CREATED_BY varchar2(20),
11    CREATED_DT date,
12    UPDATED_BY varchar2(20),
13    UPDATED_DT date,
14    UPDATE_CNT INTEGER DEFAULT 0  NOT NULL
15 )
16 ;

其中, in_uuid 为主键。

对于交易主表的主键,可用按 SQL 语法,创建 primary key, 也可以只创建成唯一索引(UNIQUE INDEX)。之所以会有这种的做法,是因为有的数据库,比如 MS SQL Server, 默认在主键上创建聚集索引(clustered index, 不同的数据库,名词可能有所差异),数据的存储,按主键的数值顺序,如果我们使用 uuid 做主键,这可能不是我们期望的。
在使用 uuid 作为主键数据时,一种特别的设计,是在主键字段上创建普通索引、不创建主键、不创建唯一索引。
因 uuid 本身就能保证数据的唯一性,不需要使用数据库的 primary key 或 UNIQUE INDEX 语法来保证数据唯一性。且有的架构师,担心每行数据 insert 到表时,拥有 primary key 或 UNIQUE INDEX 定义的表,数据库会自动进行主键数据的唯一性检查,如果数据量极大,这个唯一性检查的步骤有可能需要花费额外的时间,还不如使用普通索引,跳过主键数据的唯一性检查。

这里我们创建唯一性索引。

CREATE UNIQUE INDEX idx_tt_flow_in_in_uuid ON ow_pkg.TT_FLOW_IN(IN_UUID);

一般在交易主表的某个时间字段上,创建普通索引,或者聚集索引(clustered index),比如:

CREATE INDEX idx_tt_flow_in_in_time ON ow_pkg.TT_FLOW_IN(IN_TIME);

交易表的数据,一般是 insert 多、delete 少,如果不定义主键、不创建聚集索引(clustered index),正常情况下,数据的存储也是按时间顺序的,与创建聚集索引(clustered index)的效果相同。

对于 业务交易明细表,一般创建明细表主键、在明细表指向主表的字段上创建普通索引。比如:

1 CREATE TABLE ow_pkg.TT_FLOW_IN_DETAIL
 2 (
 3    IN_DETAIL_UUID varchar2(32),                --pk
 4    IN_UUID varchar2(32),                    --fk
 5    PROJ_ID decimal(38,0) NOT NULL,
 6    STATUS_ID decimal(38,0),
 7    CONTAINER_ID decimal(38,0) NOT NULL,
 8    REAL_QTY decimal(10,0),
 9    PLAN_QTY decimal(10,0),
10    CREATED_BY varchar2(20),
11    CREATED_DT date,
12    UPDATED_BY varchar2(20),
13    UPDATED_DT date,
14    UPDATE_CNT INTEGER DEFAULT 0  NOT NULL,
15 )
16 ;
17 CREATE UNIQUE INDEX idx_tt_flow_in_detail_in_detail_uuid ON ow_pkg.TT_FLOW_IN_DETAIL(IN_DETAIL_UUID);
18 CREATE INDEX idx_tt_flow_in_detail_in_uuid ON ow_pkg.TT_FLOW_IN_DETAIL(IN_UUID);

交易明细表不需要在某个时间字段上,创建索引。此时基于 in_uuid 查找 tt_flow_in_detail 表,数据量不会超过 30 行。

三、分页查询

SQL 标准中,有分页查询的语法。一般只针对业务主表进行查询分页、然后点击查找结果的某行,弹出窗口显示业务明细表数据。

这里的分页查询 SQL 为(基于 Oracle):

SELECT * FROM (
    SELECT ROW_NUMBER() OVER (ORDER BY i.in_time desc,i.IN_SHEET_CD,i.in_uuid ) as rownum_xx
    ,i.*
    from TT_FLOW_IN i
    where i.in_time between to_date('2020-01-01 00:00' ,'yyyy-mm-dd hh24:mi') and to_date('2020-01-02 00:00' ,'yyyy-mm-dd hh24:mi')
    and i.IN_SHEET_CD is not null
) xx
WHERE rownum_xx >= 0 and rownum_xx  20;

以上 SQL 的 where 中的参数,可以动态参数。比如对于 java ,可以使用占位符 ? ,使用 Java 的 PreparedStatement , 进行执行。

通常大家忽略的是 order by 这部分。这一部分一般按顺序依次为: 业务主表的时间字段(逆序排序)、业务主表的单证编号、其它可见字段、 业务主表的主键

不加排序(order by) 的分页是耍流氓,没意义的;排序字段中必须包含用户能理解的数据项,如果只按后台 id/uuid 排序,用户会觉得数据混乱无序;如果 order by 最后不加主键,有可能导致某些行的数据,既出现在第 n 页、又出现在第 n+1 页。
截图示例(按时间范围搜索,折桂周转包装管理系统)

单个表上亿行数据的主键、索引设计,及分页查询

Original: https://www.cnblogs.com/jacklondon/p/big_table_design_and_paing.html
Author: 杰克伦敦尘
Title: 单个表上亿行数据的主键、索引设计,及分页查询

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/592752/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Java:回调机制

    1. 什么是回调函数回调函数(callback Function),顾名思义,用于回调的函数。 回调函数只是一个功能片段,由用户按照回调函数调用约定来实现的一个函数。回调函数是一个…

    Java 2023年5月29日
    080
  • 【Spring】 @ConditionalOnExpression 满足条件才初始化Bean 的奇技淫巧

    1.声明 某个Bean 仅在一定条件下 才初始化Bean,否则 就不初始化。 2.如上,如果在swappingA应用启动时,通过@Resource去获取线程池2,就会启动失败,找不…

    Java 2023年5月29日
    080
  • Spring mvc源码分析系列–Servlet的前世今生

    Spring mvc源码分析系列–Servlet的前世今生 概述 上一篇文章Spring mvc源码分析系列–前言挖了坑,但是由于最近需求繁忙,一直没有时间…

    Java 2023年6月8日
    0100
  • Bitmap 位图 Java实现

    以 bit 作为存储单位进行 0、1存取的数据结构。可用作布尔值存取,比如给定第i位,该bit为1则表示true,为0则表示false。 适用于对布尔或0、1值进行(大量)存取的场…

    Java 2023年6月6日
    0112
  • JSP九大内置对象详细介绍

    内置对象的特点: 1.由JSP规范提供,不用编写者实例化。 2.通过Web容器实现和管理 3.所有JSP页面均可使用 4.只有在脚本元素的表达式或代码段中才可使用( 九大内置对象:…

    Java 2023年5月29日
    076
  • CentOS7系统配置国内yum源和epel源

    1.备份原文件 首先进入 /etc/yum.repos.d/目录下,新建一个repo_bak目录,用于保存系统中原来的repo文件 2.在CentOS中配置使用网易和阿里的开源镜像…

    Java 2023年6月13日
    099
  • Java 重载

    java允许一个类中含有多个同名方法,但要求各个同名方法的形参数量或类型或顺序不一致。 调用方法时按照传入的实参调用对应的方法,这就叫重载。 如果同名方法且形参一致,那就不叫重载了…

    Java 2023年6月5日
    084
  • 记录一次缓存引起的线上BUG

    背景 有一个需求大概是这样的,为了提高推荐系统的性能,需要本来从A服务获取的帖子信息,改为从Redis里面重新读取 Redis里面没有存帖子的所有信息,只存储了推荐系统必要的字段 …

    Java 2023年6月5日
    072
  • 【spring-boot】分页类使用

    pom.xml中 pageDTO.java UserService.java UserServiceImpl.java 实现类 UserController.java Origin…

    Java 2023年5月29日
    069
  • 使用objc4V818.2源码编译,没有什么比苹果底层源码更有说服力去证明底层原理真假

    前言为什么会想要调试源码? 苹果开源了部分源码, 但相似内容太多, 基本找不到代码见的对应关系, 如果能像自己工程一样进行跳转那多好哇~~苹果源码开源地址: https://ope…

    Java 2023年6月16日
    094
  • 归并排序求解逆序对

    cpp;gutter:true;</p> <h1>include</h1> <h1>include</h1> <h…

    Java 2023年6月5日
    097
  • Spring(二)-生命周期 + 自动装配(xml) +自动装配(注解)

    1、生命周期 Spring容器的 bean的生命周期; Truck @Data @ToString public class Truck { //品牌 private String…

    Java 2023年6月15日
    080
  • 记录一下copy我博客的地址(捂脸)

    背景 今天又需要基于Spring扩展点做些事情,来看看自己之前记录的博客,好奇百度页面搜索了下看看能不能搜出我的文章,发现了熟悉的字眼和图片,发现完全就是自己的…. 有…

    Java 2023年6月6日
    0117
  • Lambda表达式使用场景

    java;gutter:true; // list集合 ArrayList list = new ArrayList<>(); list.add(new Person(…

    Java 2023年6月15日
    083
  • 笔试小总结

    Arraylist里面存储默认是Object的,不能直接赋值给String类型的变量,需要强转。 值传递和引用传递 class Test { String str = new St…

    Java 2023年6月5日
    076
  • Spring AntPathMatcher

    Spring AntPathMatcher AntPathMatcher是用来对资源路径或者url的字符串做匹配使用的。采用的是Ant风格的格式 Ant风格的资源地址支持3中匹配 …

    Java 2023年6月7日
    087
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球