SRE是什么?[color=rgba(0, 0, 0, 0.75)]
SRE(Site Reliability Engineering),站点可靠性工程,起源于2003年。在系统管理员模式下,通常是通过人工操作完成任务,而SRE倾向通过设计、构建自动化工具来取代人工操作。SRE的本质是用软件工程的思维和方法解决复杂的运维问题。
[color=rgba(0, 0, 0, 0.75)]
DevOps是在2008年年末流行起来,强调自动化替代人工操作,以及利用软件工程手段执行运维任务。DevOps的核心是"全栈交付", SRE的出发点是“保障和提升系统稳定性”,两者要做的事情其实本质上差别不大,但是角度不同。可以认为DevOps是SRE核心理念的普适版本,SRE是DevOps模型在Google的具体实践。
[color=rgba(0, 0, 0, 0.75)]
Google SRE方法论[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
Google将SRE团队的运维工作限制在50%以内,剩余时间花在研发项目上。实践中,SRE管理人员要经常度量团队成员的时间分配,有必要的话,可采取措施将过多的运维压力转移给研发团队。
[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
对于迭代创新速度与产品稳定程度之间的矛盾,可以使用“错误预算”工具处理。”错误预算”起源于这样的理念:任何产品不能,也不应该做到100%可靠。对用户来说,99.999%和100%的可用性是没有实质区别。其中,错误预算 = 1 - 可靠性目标。可以将错误预算用于新功能上线或者产品创新,如:最大化新功能的上线速度,同时保证服务质量。
[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
监控系统不应该依赖人来分析警报信息,而是由系统自动分析,仅当需要用户执行某种操作时,才需要通知用户。
[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
可靠性是MTTF(平均失败时间)和MTTR(平均恢复时间)的函数,通过事先预案并将最佳方法记录在“运维手册”上通常可以使MTTR降低3倍以上。
[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
新资源的部署与配置是相对比较危险的操作,必须要小心谨慎地执行。
[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
任何盈利性服务都关心高效利用各种资源,SRE最终负责容量的部署和配置,因此SRE必须承担起任何有关利用率的讨论和改进。
[color=rgba(0, 0, 0, 0.75)]
SLA、SLO、SLI[color=rgba(0, 0, 0, 0.75)]
- SLI, Service level Indicate, 服务质量指标
[color=rgba(0, 0, 0, 0.75)]
该服务的某项服务质量的一个具体化指标,请求延迟为大部分服务的一个关键SLI,除此之外有错误率,吞吐率,可用性等。这些指标的计算过程:在某一个度量时间范围内将原始数据收集起来,计算速率,平均值、百分比等汇总数据。通常用9的数量来描述可用程度,99%可用性被称为9个9,99.999%被称为5个9.
[color=rgba(0, 0, 0, 0.75)]
- SLO, Service Level Object, 服务质量目标
[color=rgba(0, 0, 0, 0.75)]
服务的某个SLI的目标值,SLO的定义是 SLI<=目标值。
[color=rgba(0, 0, 0, 0.75)]
SLA计算器
[color=rgba(0, 0, 0, 0.75)]
[color=rgba(0, 0, 0, 0.75)]
SLO百分位
一天
一周
一月
一年
99%
14m12s
1h40m48s
7h18m17s
3d15h39m29s
99.9%
1m26
10m5s
43m50s
8h45m57s
99.99%
9s
1m
4m23
52m36s
99.999%
<1s
6s
26s
5m16s
99.9999%
<1s
<1s
3s
32s
[color=rgba(0, 0, 0, 0.75)]
- SLA,Service Level Agreement, 服务质量协议
[color=rgba(0, 0, 0, 0.75)]
服务与用户之间的一个明确的,或者不明确的协议,描述了没有达到SLO之后的后果。SLO和SLA的区别是,“如果SLO没有达到时,有什么后果?”如果没有明确定义的后果,那么我们在讨论的是SLO,而不是SLA。
[color=rgba(0, 0, 0, 0.75)]
SRE的目的[color=rgba(0, 0, 0, 0.75)]
SRE的最终目的是提高稳定性,从业界稳定性通用的衡量标准看,有两个非常关键的指标:
[color=rgba(0, 0, 0, 0.75)]
- MTBF,Mean Time Between Failure,平均故障时间间隔。
- MTTR,Mean Time To Repair, 故障平均修复时间。
[color=rgba(0, 0, 0, 0.75)]
想提升稳定性,就会有两个方向:
[color=rgba(0, 0, 0, 0.75)]
- 提升 MTBF,也就是减少故障发生次数,提升故障发生间隔时长;
- 降低 MTTR,故障不可避免,那就提升故障处理效率,减少故障影响时长。