当前位置:首页 > 短网址资讯 > 正文内容

MySQL升级5.6 SQL变慢调优案例

www.ft12.com4年前 (2017-07-21)短网址资讯1399


背景:

某业务DB从5.5升级5.6后,同一sql执行时间由毫秒级飙升到了20秒,sql文本如下

select * from big_table as t
where ( t.plan_TYPE = 1 or t.plan_TYPE=3 )
and t.limit_TYPE in (10)
and t.xx_ID = 25773208367
and t.USER_ID in (133174222100)
plan by t.gmt_create desc , t.ID desc limit 1,10

以下是解决过程:

查看短网址当前执行计划

*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: t
         type: range
possible_keys: idx_xx_id,idx_gmt_create
          key: idx_gmt_create
      key_len: 17
          ref: NULL
         rows: 6816016
        Extra: Using index condition; Using where
1 row in set (0.00 sec)

表上短网址数据库的索引分布

  PRIMARY KEY (`id`),
  KEY `idx_xx_id` (`xx_id`,`plan_type`,`user_id`),
  ……
  KEY `idx_gmt_create` (`limit_type`,`xx_id`,`gmt_create`)

该sql选择索引idx_gmt_create,因其符合最左前缀策略,故排序没有使用到filesort,其访问路径大致如下:


  • 反向扫描idx_gmt_create叶子结点,搜寻(limit_type,xx_id)=(10,25773208367)的元组;

  • 回表,验证该元组对应的主键记录是否满足约束(plan_type,user_id)=(1 or 3, 133174222100),满足则计数加1否则丢弃,继续扫描下一个元组;

  • 当计数达到10时,停止扫描,将对应的10条记录返回给客户端; 


root@ 03:20:56>select limit_type,count(*) from big_table group by limit_type;
+-------------+----------+
| limit_type | count(*) |
+-------------+----------+
| NULL | 226865 |
| 9 | 463346 |
| 10 | 13353116 |
+-------------+----------+
3 rows in set (3.13 sec)

作为复合索引的引导列,limit_type字段的选择性惊人的低,这是查询变慢的主要原因之一。之所以要强调”之一”,是因为针对本例,只要其他字段足够给力,即便limit_type=10也能很快执行完毕,查看xx_id的分布情况,也是比较畸形,该sql又很不幸的选择了候选行最多的那个。

root@ 04:01:12>select xx_id,count(*) from big_table where limit_type =10 group by xx_id order by xx_id desc;
+-------------+----------+
| xx_id | count(*) |
+-------------+----------+
| 25773208367 | 13352433 |
| 25770261347 | 2 |
| 258809681 | 148 |
| 1 | 2100 |
+-------------+----------+
4 rows in set (5.79 sec)

如果xx_id=1,该sql最多只需要比较2100条记录即可返回,会很快执行完毕,然后返回短网址背后对应的原始长地址;

即便xx= 25773208367,如果能快速找出满足非索引字段约束的主键记录,sql也会很快执行完毕,mysql是在验证了海量的(limit_type,xx_id)=(10,25773208367)元组后,才凑齐10条同时满足(plan_type,user_id)约束的主键记录,据此我们可以反推出最早满足所有约束条件的user_id,其查询逻辑如下:

select user_id,count(*) from big_table t where limit_type =10 and xx_id =25773208367 and ( t.plan_TYPE = 1 or t.plan_TYPE=3 ) group by user_id having count(*)>=10 order by gmt_create desc limit 1,5; 5 rows in set (1 min 12.42 sec)

执行结果:

+------------+----------+
| user_id | count(*) |
+------------+----------+
| 1851362558 | 15 |
| 2118141658 | 11 |
| 2641244918 | 14 |
| 2448823838 | 17 |
| 16375410 | 32 |
+------------+----------+
5 rows in set (1 min 12.42 sec)

随便挑一个替换25773208367,比如1851362558,执行计划没有变,原本需要运行20多秒的sql却在200毫秒内执行完毕。

 

而5.5版本的执行计划为:

*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: t
         type: range
possible_keys: idx_xx_id
          key: idx_xx_id
      key_len: 18
          ref: NULL
         rows: 116
        Extra: Using where; Using filesort

虽然采用了filesort,但是经索引idx_xx_id过滤后的候选行非常少,故执行时间很短。


 

解决方案

修改sql,添加force index (idx_xx_id),此方案不够灵活;

修改sql,将排序字段从gmt_create改为gmt_modified,因无法采用索引排序5.6会选择idx_xx_id,此方案可能造成返回数据有误;

修改sql,将t.limit_TYPE in (10)改为t.limit_TYPE >9 and t.limit_TYPE <11,优化器会认为sql没有满足索引最左前缀便不再使用idx_gmt_create,这招似乎有点贱,同时说明MySQL优化器还不够智能。

 

结束语

5.6优化器做了大量改进,以本sql为例,让其选择了idx_gmt_create从而省去了filesort,之所以运行变慢了是因为表字段数据分布太不均匀,而本sql又凑巧满足了各种坑,这算是一个意外吧。




扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_313.html

分享给朋友:

相关文章

AI技术领先的微软、谷歌,竟然输给了亚马逊?

AI技术领先的微软、谷歌,竟然输给了亚马逊?

[ FT12短网址资讯 ] 一家长青不败的公司,肯定不会把鸡蛋放在一个篮子,其会建立一个庞大的生态系统。对于一家AI公司来说,想要长足的发展,就需要建立庞大的生态体系,而要想建立庞大的AI生态体系,就需要同时满足应用场景、生态系统...

人工智能识别性取向:披着技术外衣的面相学?

人工智能识别性取向:披着技术外衣的面相学?

[ FT12短网址 ] 近期,一份来自斯坦福大学的研讨宣称,他们的算法能够经过对照片中人物的表情、动作和神态停止剖析,推断出人物的性取向。但批判家却以为,这只是披上了人工智能外衣的伪科学和面相学。图片来自“123rf.com.cn...

短网址和二维码的完美结合

网址缩短服务是一个非常经典的互联网应用,国内最早的是新浪短网址:t.cn,基于BS架构,后台在SSH框架(Struts2.0+Hibemate3+Sprin93)下进行开发,根据用户请求进行相关的数据维护和逻辑操作;前台运用JQuery开发...

ofo飞鸽代工厂探访:一分钟造4辆车

ofo飞鸽代工厂探访:一分钟造4辆车

共享单车竞争趋于“白热化”的同时,各地方正在赶紧办理整治乱停乱放。大家不禁思考,这些单车终究产于何处?怎样的流程才能让单车在短时间内大批下线?带着疑问,短网址资讯小编走进天津飞鸽自行车厂,对ofo出产线进行了实地看望。  在这家位于天津市区...

人工智能在六大领域中的应用与展望

人工智能在六大领域中的应用与展望

[FT12短网址 ] 科学技术是第一生产力,科技进步正在成为推进经济发展的重要推动力,对中国经济发展的贡献率已经上升到56.2%。面对正在兴起的人工智能浪潮,如何占据行业发展制高点,如何促进与实体经济深度融合,形成新增长点?“加快建设制造强...

FT12短网址对科大讯飞2017半年报及人工智能战略的解读

FT12短网址对科大讯飞2017半年报及人工智能战略的解读

[ FT12短网址资讯 ] 2017年8月10日,科大讯飞应邀在合肥举行投资者交流会。董事长刘庆峰、高级副总裁兼董秘江涛、财务总监张少兵对公司半年报及人工智能战略进行了详细解读,并现场回答了投资者及网友十分关注的问题。鄙人一直对科大讯飞这几...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。