MySQL源码解析之执行计划

  • MySQL执行计划介绍
  • MySQL执行计划代码概览
  • MySQL执行计划总结

一、MySQL执行计划介绍

在MySQL中,执行计划的实现是基于 JOINQEP_TAB这两个对象。其中JOIN类表示一个查询语句块的优化和执行,每个select查询语句(即Query_block对象)在处理的时候,都会被当做JOIN对象,其定义在 sql/sql_optimizer.h

QEP_TABQuery Execution Plan Table的缩写,这里的表Table对象主要包含物化表、临时表、派生表、常量表等。 JOIN::optimize()是优化执行器的统一入口,在这里会把一个查询语句块 Query_block最终优化成 QEP_TAB

MySQL-8.0.22版本之后,又引入访问方式 AccessPath和执行迭代器 Iterator对象,再结合JOIN和QEP_TAB对象,最终得到整个解析计划的执行路径。

二、MySQL执行计划代码概览

本文主要 基于MySQL-8.0.25版本,进行说明。

优化器的入口函数: bool JOIN::optimize(),对应代码文件 sql/sql_optimizer.cc

// 主要功能是把一个查询块Query_block优化成一个QEP_TAB,得到AccessPath
bool JOIN::optimize() {
    ...
    // 下面主要是为了可以借助INFORMATION_SCHEMA.OPTIMIZER_TRACE表,跟踪优化器的执行状态和执行步骤
    Opt_trace_context *const trace = &thd->opt_trace;
    Opt_trace_object trace_wrapper(trace);
    Opt_trace_object trace_optimize(trace, "join_optimization");
    trace_optimize.add_select_number(Query_block->select_number);
    Opt_trace_array trace_steps(trace, "steps");
    ...
    // 窗口函数装配优化
    if (has_windows && Window::setup_windows2(thd, m_windows))
    ...
    // 拷贝Query_block上的条件副本到JOIN结构关联的成员对象,为后续优化做准备
    if (Query_block->get_optimizable_conditions(thd, &where_cond, &having_cond))
    ...
    // 统计抽象语法树中的叶节点表,其中leaf_tables是在Query_block::setup_tables中进行装配
    tables_list = Query_block->leaf_tables;
    ...
    // 分区裁剪
    if (Query_block->partitioned_table_count && prune_table_partitions()) {
    ...
    // 尝试把聚合函数COUNT()、MIN()、MAX()对应的值,替换成常量
    if (optimize_aggregated_query(thd, Query_block, *fields, where_cond,
                                                                &outcome)) {
    ...
    // 采用超图算法生成执行计划,注意超图算法通过set optimizer_switch="hypergraph_optimizer=on"方式启用
    if (thd->lex->using_hypergraph_optimizer) {
        FindBestQueryPlan(thd, Query_block, /*trace=*/nullptr);
        // 如果Join优化器是超图算法,处理结束直接返回
        return false;
    }
    ...

下面代码主要涉及Join优化器连接方式为 左深树的情况,主要用到 join_tab数组来进行组织关联

根据代价计算表的连接方式,核心函数 make_join_plan(),实现非常复杂。比较关键的函数是 bool Optimize_table_order::choose_table_order()

其主要思想是通过贪婪搜索 Optimize_table_order::greedy_search,根据最小的连接代价,进行有限的穷举搜索(细节参考Optimize_table_order::best_extension_by_limited_search)

最后,找出了近似最优解的联系、排列和组合。

[En]

Finally, the connection, permutation and combination of the approximate optimal solution are found.

    if (make_join_plan()) {
    ...
    // 语句块谓词条件下推,提升过滤性能
    if (make_join_Query_block(this, where_cond)) {
    ...
    // 优化order by/distinct语句
    if (optimize_distinct_group_order()) return true;
    ...
    // 分配QEP_TAB数组
    if (alloc_qep(tables)) return (error = 1); /* purecov: inspected */
    ...
    // 执行计划细化,优化子查询和半连接的情况,具体策略可以参考mariadb的文档:
    // https:// mariadb.com/kb/en/optimization-strategies/
    // 关键代码是setup_semijoin_dups_elimination,主要对半连接关联的策略进行装配
    if (make_join_readinfo(this, no_jbuf_after))
    ...
    // 为处理group by/order by创建开辟临时表空间
    if (make_tmp_tables_info()) return true;
    ...
    // 生成访问方式AccessPath,供后续迭代器Iterator访问使用
    create_access_paths();
    ...
    return false;
}

三、MySQL执行计划总结

MySQL的执行计划是整个数据库最核心的模块,其代码也在不断地迭代更新过程中。执行计划中优化器的好坏和背后的搜索策略、数学模型紧密相关。MySQL支持的搜索策略有穷举搜索、贪婪搜索,对应的Join优化器有左深树算法和超图算法,整个优化过程主要是基于CBO策略进行优化。

执行计划运行的过程, 实际上就是一个动态规划的过程。这个过程的优劣,快慢决定了MySQL和主流商业数据库的差距。只有深入地理解MySQL优化器的运行原理,才能帮助我们积极有效地探索更高性能优化的可能。
最后,由于笔者知识水平有限,有遗漏之处,也希望更正。

[En]

Finally, due to the author’s limited level of knowledge, omissions, but also hope to correct.

Enjoy GreatSQL 😃

文章推荐:

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。

微信&QQ群:

QQ群: 533341697

微信群:可搜索添加 GreatSQL社区助手微信好友,发送验证信息”加群”加入GreatSQL/MGR交流微信群

GreatSQL社区助手: wanlidbc

Original: https://www.cnblogs.com/greatsql/p/16560603.html
Author: GreatSQL
Title: MySQL源码解析之执行计划

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/505077/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Mybatis-Plus 实现乐观锁

    是指在读取一行数据时,记下它的版本号、最近修改的时间戳或校验和。然后,你可以在修改记录之前检查版本有没有发生变化。 适用场景 适用于读多写少的场景,乐观锁相信事务之间的数据竞争概率…

    数据库 2023年6月6日
    0123
  • 【转】SpringBoot多模块打包瘦身分离

    背景 首先项目是个多层级的多模块springBoot项目,每次打出来的jar包都在90M,其中包含核心代码以及所有依赖的jar包,上传到服务器速度比较慢。 由于核心代码(contr…

    数据库 2023年6月6日
    0143
  • 2022 IEEE 编程语言榜单发布!Python 又双叒叕霸榜了,学 SQL 工作更吃香!

    哈喽兄弟们! 近年来,Python 宛如一匹黑马,一骑绝尘,横扫 TIOBE、Stack Overflow 等榜单,如今在 IEEE Spectrum 发布的第九届年度顶级编程语言…

    数据库 2023年6月14日
    0149
  • 高可用 | Xenon 实现 MySQL 高可用架构 常用操作篇

    原创:知数堂 上一篇文章,我们详细介绍了 Xenon 实现 MySQL 高可用架构的部署过程。接下来本篇将介绍 Xenon 的常用操作,帮助大家在完成环境搭建之后,能把 Xenon…

    数据库 2023年5月24日
    0146
  • 数据库发展史2–数据仓库

    ​ 回顾数据仓库的发展历程,大致可以将其分为几个阶段:萌芽探索到全企业集成时代、企业数据集成时代、混乱时代–“数据仓库之父”间的论战、理论模型确…

    数据库 2023年6月11日
    0142
  • [LeetCode]27. 移除元素

    给你一个数组 nums 和一个值 val,你需要 原地 移除所有数值等于 val 的元素,并返回移除后数组的新长度。 不要使用额外的数组空间,你必须仅使用 O(1) 额外空间并 原…

    数据库 2023年6月9日
    0118
  • JUC自定义线程池练习

    JUC自定义线程池练习 首先上面该线程池的大致流程 自定义阻塞队列 首先定义一个双向的队列和锁一定两个等待的condition 本类用lock来控制多线程下的流程执行 take和p…

    数据库 2023年6月11日
    0141
  • 机器学习实战-决策树

    1.决策树的构造 1.1优缺点 优点: 计算复杂度不高:以ID3为例,每次运算都是基于某一列特征,特征计算完后,下次计算不考虑该最有特征,并且通过适当剪枝可以简化复杂度 输出结果易…

    数据库 2023年6月16日
    0151
  • leetcode 669. Trim a Binary Search Tree 修剪二叉搜索树 (简单)

    一、题目大意 给你二叉搜索树的根节点 root ,同时给定最小边界low 和最大边界 high。通过修剪二叉搜索树,使得所有节点的值在[low, high]中。修剪树 不应该 改变…

    数据库 2023年6月16日
    0127
  • MySQL新建用户与授权

    test为用户名,1234为密码,%意思是任何一台主机都可以登录,如果只能本机登录则设置为localhost 说明:test为数据库的名称 说明:第一个test为数据库的名称,第二…

    数据库 2023年6月9日
    0127
  • 彻底解决SLF4J的日志冲突的问题

    今天公司同事上线时发现,有的机器打印了日志,而有的机器则一条日志也没有打。以往都是没有问题的。 因此猜测是这次开发间接引入新的日志jar包,日志冲突导致未打印。 排查代码发现,系统…

    数据库 2023年6月6日
    0267
  • MYSQL/Oracle中常用函数总结

    记录在日常工作或者学习中中使用到的函数,以下是做一个备忘~ MySQL: 窗口函数: 原文地址:https://zhuanlan.zhihu.com/p/92654574 1、窗口…

    数据库 2023年6月14日
    0189
  • Could not initialize class org.apache.maven.plugin.war.util.WebappStructureSerializer

    404. 抱歉,您访问的资源不存在。 可能是网址有误,或者对应的内容被删除,或者处于私有状态。 代码改变世界,联系邮箱 contact@cnblogs.com 园子的商业化努力-困…

    数据库 2023年6月6日
    0137
  • 二叉树遍历的常用方法

    概述 二叉树的遍历可以说是解决二叉树问题的基础。我们常用的遍历方式无外乎就四种 前序遍历、 …

    数据库 2023年6月11日
    0114
  • ReentrantLock 公平锁源码 第2篇

    Reentrant 2 前两篇写完了后我自己研究了下,还有有很多疑惑和问题,这篇就继续以自问自答的方式写 如果没看过第1篇的可以先看看那个https://www.cnblogs.c…

    数据库 2023年6月16日
    0118
  • git 烂笔头

    触类旁通, 举一反&amp…

    数据库 2023年6月9日
    0135
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球