当前位置:首页 > 短网址资讯 > 正文内容

《Google运维解密》之问题排查

www.ft12.com6年前 (2017-07-31)短网址资讯2270
女主宣言

该文章出自于ADDOPS团队,是《Google运维解密》系列的关于问题排查的一篇分享。该文章主要是和大家聊了聊日常运维问题排查时候的一些原则与心得。推荐大家结合前面的解密系列文章一起来看,这样就能更系统的了解Google SRE在运维方面的一些精华了。希望该文章能给大家日常问题的排查能有个更好的启发。

PS:丰富的一线技术、多元化的表现形式,尽在“FT12短网址资讯”,点关注哦!

前言

今天我们来聊聊“问题排查”这个话题,本人到目前为止还在参与短网址服务一线运维的工作,遇到过很多“稀奇古怪”的线上故障和问题,结合SRE中给出的一些方法,来说说“问题排查”那点事。

排查问题不是玄学

排查出线上问题,并找到根本原因加以解决,是一件很有成就感的事情,曾经有人问过我,“你是怎么想到问题出现在xxx的?又是怎么确认根本原因是xxx的?”,我只能淡淡的说:“靠经验”,然后感觉这个逼装的自己还算满意。


其实这个“靠经验”说的很模糊,一直以来,大家都觉得排查问题要靠经验,但是又说不出具体通过啥经验排查出了问题,最后让排查问题逐渐变成了一门玄学。

排查问题犹如破案

排查线上问题,就和侦探破案一样,就是一个不停分析线索,推理的过程,在你准备破案之前,先要明确以下两点。


系统异常是正常的,正常是特例

时至今日,计算机系统已经变得异常复杂,一次用户请求可能要经过发送请求,DNS解析,运营商网络和IP转换,负载均衡,服务器硬件,虚拟机/容器,视业务逻辑的复杂程度,可能还要调用其它组件,存储,数据库,缓存等。每个环节都可能出现问题,有的组件又是分布式的,大大增加的排查问题的难度。


所以出现问题后,不要着急,保持好心态,要认为“系统异常是正常的,正常是特例”。


飞行员首要任务是保持飞机飞行

在初级飞行员的课程中捡到,在紧急情况中,飞行员的首要任务是保持飞机飞行,相比保证乘客与飞机安全着陆,故障定位和排除是次要目标。--SRE

所以,恢复线上系统是首要任务,而不是找到它发生的原因。


明确案情

先评估出这个问题的影响范围,是全网用户不可用,还是某些用户,是某条业务线出现问题,还是很多业务线都出现问题,评估出案情的大小,是普通的民事案件,还是刑事案件。


真相只有一个

计算机是一门科学,而且计算机是由0|1组成的世界,在这个世界里只有“是或否”,没有中间地带,所以在计算机世界“凡事都有根本原因”,“没有偶然发生,一切都是必然”。


所以,你要坚信真相只有一个。


理清线索

理清目前得到的线索和信息,比如监控上有网络报警,有用户反馈无法访问,有开发人员反馈服务器有问题,不要漏掉看似无关紧要的线索,把这些线索先整理下来,后面一并分析。


扩大信息量

尽可能扩大你接受到的信息量,比如问询一下开发人员今天有没有做线上改动,网络组有无重大调整。获取到有价值的信息,对于排查问题至关重要。


查看监控,细看某个监控项的变化,追踪日志和调试信息都是扩大信息量的手段。


分析证词

分析用户反馈的现象,数据是可信的,有时候人说的是不可信的,举个例子,之前有开发反馈我们虚拟机有问题,有些虚拟机接口返回异常,有些正常,他就让我们帮查查虚拟机的问题,但是最后是代码调用一处动态配置造成的。


很多反馈的信息描述,是经过描述者过滤加工过的信息,他的排查和分析有可能把你“带歪了”,先要用怀疑的态度,分析每个人的证词。


当你听到蹄子声响时,应该先想到马,而不是斑马

排查问题不要先入为主,有时候你觉得极其简单,看似非常不可能发生的事情,可能就是原因,不要轻易的排除掉某项原因,比如“宇宙射线导致某个电路信号出错”。


我们之前有个mysql连接异常的问题,查了很久,做了很多调优都没有解决,最后发现是网卡跑满了。


从大到小,从上到下

排查步骤,先“从大到小”,先看比如运营商网络,机房状态等比较宏观的地方是否有问题,逐一排除,逐步缩小问题范围。“从上到下”,先从现象发生的顶端调用链逐一排查,逐步向下深入。


SRE给出的一些方法

SRE给出了一些方法可以借鉴:

  • 问题排查的几个步骤:定位,检查,诊断,测试/修复,治愈。

  • 什么,哪里和为什么,找出系统正在执行“什么”,询问系统“为什么”执行这些操作,以及系统的资源都被用在了“哪里”可以帮助你了解系统为什么出错。

  • 确定“最后一个修改”发生的时间。

  • 提供丰富的诊断和监控工具。


下次遇到问题,使用以上方法试试看,让问题排查不再是“很玄妙的东西”。

扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_366.html

标签: google运维
分享给朋友:

相关文章

O2O进入下半场,百度或携人工智能实现弯道超车?

近日,百度外卖副总裁陈锦晖宣布辞职的消息刷爆了互联网,百度外卖业务要出售给顺丰的消息也时有流出。正如美团CEO王兴所言,国内O2O行业已经进入了“下半场”。随着移动互联网人口红利减退,烧钱竞争所带来的粗放式增长已经告一段落。 实际上在今年第...

推荐一个技术文章 短网址服务:十年积累,一键触达!

推荐一个技术文章 短网址服务:十年积累,一键触达!

作者|FT12短网址 编辑|短链接 授人以鱼不如授人以渔,这个小小的工具,将会让你的学习成长,事半功倍。 你也许尝试过 InfoQ 网站的搜索方式,坦白来说,体验并不好。你知道公众号上有很多优质内容,但除了在历史列表人肉...

淘宝&支付宝:连续一段时间未登录将销号

淘宝&支付宝:连续一段时间未登录将销号

日前阿里巴巴对旗下淘宝、支付宝平台的服务协议进行了修改,对于用户的权利和义务进行了更细致的界定,同时规定在淘宝、支付宝平台的非活跃用户在一定时间之后将会进行销号处理。淘宝平台方面,此次新增加规定,用户不得以任何方式转让,否则淘宝平台有权追究...

群雄逐鹿的云计算时代,谁能独领风骚

群雄逐鹿的云计算时代,谁能独领风骚

[ FT12短网址 ] 由德意志银行数据显示,中国国内公有云市场2016年增长率为150-200%。国内的云服务器市场是一超多强的局面,阿里云领跑,腾讯紧随,其次亚马逊和微软,之后是UCloud,以及是其他国内玩家,如华为云和中国...

阿里巴巴的大数据之战

本文作者:李娜  2017年6月1日,菜鸟与顺丰因快递柜数据惹起一场互相封杀的大战,震动了全体业界。  固然在国度邮政局的参与调停下,两边的营业互助和数据传输已于6月3日临时规复,但这场3Q大战今后,又一次将有数用户卷入的巨擘互杀,有可能成...

摩拜ofo争相进行新一轮融资 传金额高达数亿美元

同享单车再次掀起融资竞赛。腾讯科技从多个权威消息源获悉,摩拜单车、ofo都在进行新一轮的融资,并且金额都到达数亿美元。6月12日,一位接近摩拜单车高层的人士向腾讯科技透露,摩拜单车很快将宣告E轮融资。而此前据外媒《The informati...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。