whoami

• Sergei Golubchik
• MariaDB Corporation，MariaDB 首席架构师
• MySQL 开发者：1998-2010
• MariaDB 开发者：2010-…

• 说话往往太快 ☹

宏观概览

阶段 1: 到达

协议

• Vio（虚拟 I/O）层，用于从上层抽象出 socket/ssl/tcp
• net_serv.cc — 线上传输协议，数据包
  • zlib 压缩数据包有效载荷

读取数据包

1202 bool do_command(THD *thd)
1203 {
1267   packet_length= my_net_read_packet(net, 1);
1292   if (packet_length == packet_error)
1330   {
1331     return_value= TRUE;
1332     goto out;
1333   }
1339 
1340   packet= (char*) net->read_pos;
1357 
1359   command= fetch_command(thd, packet);
1391   return_value= dispatch_command(command, thd,
1392         packet+1, packet_length-1, FALSE, FALSE);
1426 out:
1431   return return_value;
1432 }

命令分发器

1685   switch (command) {
1701   case COM_REGISTER_SLAVE:
1717   case COM_CHANGE_USER:
1782   case COM_STMT_BULK_EXECUTE:
1787   case COM_STMT_EXECUTE:
1792   case COM_STMT_FETCH:
1797   case COM_STMT_SEND_LONG_DATA:
1802   case COM_STMT_PREPARE:
1807   case COM_STMT_CLOSE:
1817   case COM_QUERY:
2063   case COM_QUIT:
2074   case COM_BINLOG_DUMP:
2106   case COM_REFRESH:
2159   case COM_SHUTDOWN:
2230   case COM_PING:
2272   case COM_DEBUG:
2368   }

mysql_parse

7991 void mysql_parse(THD *thd, char *rawbuf, uint length,
7995 {
8016   lex_start(thd);
8017   thd->reset_for_next_command();
8025   if (query_cache_send_result_to_client(thd, rawbuf, length) <= 0)
8026   {
8029     bool err= parse_sql(thd, parser_state, NULL, true);
8031     if (!err)
8076       error= mysql_execute_command(thd);
8081     else
8091       query_cache_abort(thd, &thd->query_cache_tls);
8098     thd->end_statement();
8099     thd->cleanup_after_query();
8101   }
8102   else
8110     thd->update_stats();
8119 }

查询缓存

• 缓存来自客户端的查询
• 以及查询的结果 — 作为网络数据包
• 因此它对查询处理的开销非常小
• 如果查询被缓存，则立即发送结果 — 无需处理

• 问题：一个大互斥锁 — 并发性差 ☹

阶段 2: 解析

解析器

• 入口点: parse_sql()
• bison 构建的 LARL(1) 解析器, sql_yacc.yy
• 手写词法分析器 (sql_lex.cc) — 非 flex
• 查询被解析到内存数据结构中
  • 表列表 (TABLE_LIST)
  • SELECT 树 (SELECT_LEX)
  • 表达式树 (Item)
    · · ·

Item

• 表达式的基类
• 字段、字面量、函数、变量、子查询…
• 属性：名称、类型、可能为 NULL、NULL 值、字符集、校对规则、使用的表、常量项，…
• 方法：val_int, val_str, val_real, val_decimal; reset, add; eq, print, fix_fields, …

value= expr->val_int();  // or val_str(), val_real(), …

准备执行

• 检查权限
• 打开并锁定表
  • 锁定元数据
  • 使用表缓存
  • 解析视图、触发器、存储函数
• 调用 item->fix_fields();
  • 字段找到它们所属的表
  • 项确定它们的基本属性（可为空？常量？使用的表？）

阶段 3: 优化

查询转换

• 等值传递 — optimize_cond()

  WHERE t2.f2 = t1.f1 AND t1.f1 = 7

  ↓

  WHERE t1.f1 = 7 AND t2.f2 = 7

• NOT 消除 — negate_expression()

  WHERE NOT t1.f1 < 7

  ↓

  WHERE t1.f1 >= 7

更多查询转换

• 外连接 → 内连接 — simplify_joins()
• 条件下推到不可合并的派生表和视图中 — pushdown_cond_for_derived()
• “常量”表 — join_read_const_table()
• IN (列表) → IN (子查询)
• 视图合并
  · · ·

• 在 JOIN::optimize_inner() 中

范围优化器

• 支持 >, >=, <, <=, =, <>, IS NULL, <=>, BETWEEN, IN, LIKE, 以及以上任何组合与 AND/OR 的结合
• 仅支持与常量的比较
• 向存储引擎请求每个索引范围的估算值 — handler::records_in_range()
• 构建范围树

范围优化器：示例

CREATE TABLE ( ... INDEX (a,b) ... );
SELECT ... WHERE a IN (1,2) AND b IN (3,4) OR
                 a=7 AND b BETWEEN 3 AND 8 OR
                 a > 9 AND b < 5;

执行计划

• 创建可能的索引列表
• 如果可能，考虑 "range"
  • 否则使用统计信息
• 考虑文件排序 (filesort), GROUP BY
• 执行贪婪搜索以找到最佳计划
  • 最佳计划是成本最低的那个

使用的统计信息

• 来自存储引擎的统计信息
  • 表扫描成本 (handler::scan_time)
  • 索引查找成本 (handler::read_time)
  • 索引基数 (handler::info)
• 引擎无关的统计信息
  • 基数（针对表、列、索引）
  • 列的最小值/最大值、NULL 比例
  • 列的直方图
  • 采样

阶段 3: 执行

连接

• 嵌套循环连接 — sub_select()
  • 对于第一张表中的每条匹配行
    • 对于第二张表中的每条匹配行
      · · ·
      • 对于最后一张表中的每条匹配行
      • （通常）将结果发送给客户端 — end_send()
• “对于每条匹配行”意味着
  • 获取下一行 — info->read_record()
  • 检查 (部分) WHERE 子句 — evaluate_join_record()

发送数据

• 不是一个独立步骤
• 不一定发送任何数据

  class select_result;
  ├─class select_send;
  ├─class select_export;
  ├┬class select_insert;
  │└──class select_create;
  ├─class multi_update;
  └─class multi_delete;

• 当它执行发送时：查询缓存 → net_serv.cc → vio
• 它也可以进行聚合 — end_send_group()
• 或者将行写入临时表 — end_write()

临时表

• 优化器决定使用临时表：嵌套连接循环填充该表

• 可用于聚合 — end_update()
• 可用于 UNION, CTE, 窗口函数，…
• 可以是 MEMORY 或 Aria — create_tmp_table()

文件排序 (Filesort)

SELECT a,b,c FROM t1 ORDER BY a LIMIT 10

• 快速排序 + 多趟归并排序
  • 排序键 + 行“位置”
  • 或排序键 + 其他列值
• 或二叉堆

SE API (存储引擎 API)

• handler
  • rnd_next(), rnd_pos(), index_read(), index_next(), ...
  • scan_time(), read_time(), records_in_range(), ...
  • open(), close(), repair(), create(), drop_table(), ...
• handlerton
  • drop_database(), close_connection(), show_status()
  • commit(), rollback(), prepare(), savepoint_set(), savepoint_rollback(), ...

问题？