请选择 进入手机版 | 继续访问电脑版

ITIL,DevOps,ITSS,ITSM,IT运维管理-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

查看: 2168|回复: 0

金融行业-KeyBank银行DevOps转型案例

[复制链接]
发表于 2018-11-15 15:41:09 | 显示全部楼层 |阅读模式
本帖最后由 adminlily 于 2018-11-15 15:42 编辑 - b; S0 j: b* T: V4 F3 E/ {" `

2 Z. @% ~! s+ ~; H4 D  s& }$ [' \5 Z
本文根据John Rzeszotarski和Chris McFee在DOES16(DevOps企业峰会16)的演讲《Banking on DevOps》整理而成。

1 w$ i# S- ~8 I7 d

8 R) Q, h- l1 c$ J
背景:KeyBank是北美15家最大的银行之一,有超过190年的历史,主要服务于企业客户。总资产大约为940亿美元。Keybank银行及其子公司,提供了一系列的零售和商业银行服务,包括商业银行贷款,投资管理,金融,投资理财产品,以及个人服务等。 经过多年的发展和并购,该金融机构的IT系统变得异常复杂。

: b, K6 o# w( Z( g
( I/ D' _6 {5 s, w: o
灾难:2年前KeyBank经历了一次严重的系统停机事件,在修复该事件的过程中,由于对系统复杂度理解不足,导致更大的服务终止问题。该事件引起KeyBank高层高度重视。这也说明没有痛点企业很难下决心解决问题。
7 |: C6 b- O! m& B% P5 ?* _) `

. x- M8 l: b# `: x# P# B. Q
首先,KeyBank成立了一个4个人的资深技术小组(START),负责了解KeyBank采用的系统复杂度到底是怎么样的。
' i$ a2 ]8 d, T6 t8 H

( S& u+ I/ h- S$ M
该小组历经三个多月的时间,把银行每个主要交易事务所涉及到的硬件(服务器,网络)和软件服务都绘制到一个图示中。结果发现历经多年发展,KeyBank维护的IT系统的复杂度着实惊人:仅仅一个用户登陆(Login)行为,就要经历190个网络跃点(见下图)
% Z% Y  |$ R9 M7 N: ~6 T
1 a5 g5 x9 z! ]9 d/ T! |
0?wx_fmt=png.jpg

# Q9 ~9 b1 O# M0 E) |  a

! c  x: e: Y3 z! C. p, c  X5 w+ ~6 C- d
一个登陆动作会历经190个网络跃点
4 ?* B' Z% @  ^5 r' _, v* V0 ~

5 Q5 E( K9 ?- ^! G) ]& C; N6 o0 T& c5 e
其它发现的问题主要包括:

# Z5 y' ^5 z$ _5 C; a* v

% L! s# u  L" W  ?
·     缺少统一配置(服务器,网络等)
1 M. _. X" B' t" N* a! F" k

7 _" O: j: t1 m
·     缺少自动化
+ i0 p& \# Y2 I0 i+ C: Z1 c9 v3 Z

( O8 h: ^- q9 \4 d! W! o
·     团队之间职责不清、缺少沟通

1 m' J- y2 t1 }: u, V" p( c

" t+ ?8 S* x* p# }1 R8 S
·     不同环境迁入导致的高额技术债

& E) U; w% ]( G8 N$ m" i

- T& |! }* h" m* n( Z
这些问题使大家意识到要想类似(或更严重)的服务停止事件不再发生,需要从根本上解决这些问题。从此KeyBank开始了DevOps之旅。

% M. c# b9 w8 G* J- i

4 G2 Q+ d1 D% Q* Y* R6 `: q5 r
当然,首先这个小组要说服高层接受DevOps理念。他们用数据来说服老板们(下图):
1 e8 D! T6 F" ~% A

/ x% r) a3 {+ F  l$ U: }) O
0?wx_fmt=png.jpg

% P! J8 ?3 J: u2 P

6 z4 D: C6 Q% Q. c
给公司高层的DevOps好处分析

) w/ e. @2 d5 L1 `9 @$ P! p8 t( n8 x
- f5 x1 I( e! x, C0 f, K
基本上就是跟老板说,通过实践DevOps,可以:

3 j$ D! G1 L: \. M

( o; o& o9 c3 S
·     优化50%的测试资源(想说可以减掉50%的人工吧??)

4 c8 M: a6 L# }4 K/ B* W1 t' v# C

# r  F+ Y0 U- M3 D# b( J% @+ ~
·     优化40%的发布和代码管理工作

0 U7 }: X* Z2 k/ E

" R9 M: r, o! n0 {5 {% ?2 t3 R5 I9 e8 h
·     优化20%的基础设施工程师

% ]) l- e9 S" w/ _' Q5 ^' T- q
: F# ~& q- q3 a$ {( a) R, ]
·     降低85%的产品上线周期(测设、安全、发布)!
1 R; `2 |, f  Y& r3 W) i9 m
: T; ~) ~; z- h% q
·     降低30%的新产品Defects!
, Z  k) E5 N+ K+ O) T1 R9 p
% T8 l" {4 s7 B; x7 s# s! l
·     再降低50%的部署失败率!

& A2 F% w' U9 _8 x
' t. o/ l0 p. t- G! i9 v3 ~8 E
(这几个哥们够拼的,把自己都逼上绝路了)
, [2 U% e$ V; n( l; i
3 T/ s* R" z( Y$ g% u" i' @  ]2 U
KeyBank的高层看了还是很心动的,但是搞DevOps要花钱,再增加IT预算也不现实(刚刚出了事故)。最后他们达成一致:
, Y, s9 g3 `. P( O+ @7 O* c- _
8 d$ B, k: r' @" y; K0 [% Y% [# q
·     老板自掏腰包搞了个天使投资(估计是从现有IT预算里挤出来的)
' @0 O1 S, K: ~4 J

2 W6 T# {0 i' m- J- ^' ~2 X3 _6 F
·     先成立一个4个人的DevOps小组(后面会说这个小组做什么),后期发展到10~12个人的规模

$ f8 q) M2 V0 p) m0 S6 }6 }  y
& e! V& h- K* b3 l: z# H& D: f( }
·     先找一个业务价值大的项目开始(网上银行)实践

2 V; g- f4 C3 r

/ m6 m4 ?# z  ?0 _6 ^- X8 l
这个4人DevOps小组的重点攻关方向只有三个:容器,自动化测试,持续交付。
7 b0 e% o; N2 I8 L" f, v

5 `( d4 A6 j" I1 u" v) {! ]
关于这三个重点方向的确定,是KeyBank对该企业硬件和配置环境复杂度,测试质量和低测试效率(顺便说下,他们之前建了很多外包测试中心),还有自动化程度不足的深思熟虑的结果。当然对很多类似的企业也有很多参考价值。

& a( d2 Y9 ^- P3 t0 n) |

. J. s4 d! f) `& M: e  v
0?wx_fmt=png.jpg

% t) {$ ?  }' x* Y2 Q0 ]/ c
7 Y, v- i4 B4 v0 P0 u! u
KeyBank的三个DevOps重点方向
6 c# ^4 g9 c* R, q1 Z

; \: s. ]) L9 d0 b2 K# n
容器使得KeyBank可以采用Immutable Server的策略,大大简化了环境管理的复杂度。另外在Docker之上,他们也采用Kubernetes来保证高可用性,热部署,和环境的自我修复。两位倾情推荐!
; a2 w6 g7 D/ g8 H0 Q
& z0 ~" j  ]0 P  r9 q8 t
* ]) s0 X% e- d
0?wx_fmt=png.jpg

% h0 F4 F2 A3 O, D$ V

9 z% W8 h+ x, z7 P& n
通过Kubernetes把Docker连接和管理起来

; K% p5 o  ]3 ^# W- @
% z: \) f# D9 f1 o4 r% \2 ]
两位继续谈到了自动化测试的重要性,也提到了转换到自动化测试需要比较长的培训和试错时间。但一切都是值得的。现在他们每个Build要运行超过5,000个测试,而执行时间只有15分钟!这在手工测试时代是不可想象的。

1 [+ @* a* g) \, b- J( T

2 R. l+ a8 Z& X! X8 G7 {
接下来是持续交付。持续交付使得整个交付周期形成一个无缝的流,也让每个不同的部门/角色都能协同在一起工作。业务现在分析人员也开始写Gherkin代码,而运维人员则写基础设施即代码的脚本。
% _1 R3 n+ J5 X( p. V& m$ A

, T. v/ t( b% E* M" i
经过一年半的努力(并不算长),KeyBank达成了以前不敢想象的IT能力:

6 H7 x0 j3 y. G9 D( {, U

; h! N& A- L$ ~; q  P, ]0 ]
比如测试执行时间,以前的测试84个场景要执行1200小时,而新的自动化测试覆盖195个场景,只需要12分钟。

" u; X* l0 P1 i' U( {
6 p- ~7 J# d, T7 x0 P5 w/ ~+ f
最令他们骄傲的是,2016年KeyBank收购了First Niagara,一下子网上交易量暴增。而即使在并购后最初上线运行的前4天的高峰期,他们还热部署了10个发布到,结果没发现一个产品缺陷!更多见下图。

1 o& ~: M; Y; T
1 c4 H* p" n; F( ~6 g# c% b$ H0 W
0?wx_fmt=png.jpg
  o  v2 r# `' E% u

3 h  k/ C+ B2 T" W9 J
只用了一年半时间,KeyBank的IT就达到了非常惊人的结果
2 I' R9 p5 H6 Q: ]% W) e

! R. ?0 F1 t7 t9 Q8 k
以上就是KeyBank的DevOps转型简介。有兴趣的读者可以访问https://www.youtube.com/watch?v=xgSkva_Eq5s观看完整视频(需翻墙)。

" R* r% F: w% H; D/ H0 @

- L4 {; [! q4 r1 Y2 c) g/ g
最后一张图送给工具控们:
2 n( p8 t: l3 D* y6 d7 K' H: L

( y7 v' L) t, D; \5 F( L( N
0?wx_fmt=png.jpg
KeyBank 的DevOps工具链

+ T8 r4 y# ~4 }$ I4 ]
, r  @/ \% z/ n3 T$ w. [( c' K
) [$ d; ?# H+ |( t1 c% p7 E
原创:DevOps咖啡馆

9 J. H, g; M0 R2 s
, m7 [& U5 U0 L; _3 O6 Y' ]

7 U. v1 g7 l, V0 U0 {
' d, a& i! K# U6 O9 Q( x+ g; _5 V$ P+ E
) t7 g( S" G9 O: x3 P; x
3 m- Y  V7 ^; [# h. T1 N) z8 E' l
, D& T3 Z: _/ D  C. H5 U

+ ]6 h' l: Q" H! E0 R




上一篇:教你了解DevOps:从概念、关键问题、兴起到实现需求
下一篇:阿里云基于Devops实践之路

本版积分规则

参加 ITIL 4 基础和中级专家认证、v3专家升级、DevOps专家认证、ITSS服务经理认证报名
本站关键字: ITIL| ITSM| ISO20000| ITIL培训| ITIL认证| ITIL考试| ITSS| ITSS培训| ITSS认证| IT运维管理| DevOps| DevOps培训| DevOps认证| itop| itil4| sre| 开源ITSM软件

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1 )|网站地图

Baidu

GMT+8, 2021-5-7 03:47 , Processed in 0.162033 second(s), 33 queries .

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表