超燃!支付宝技术双11纪录片《一心一役》全球独家首发

2019-11-13 16:17

  和过去10年一样,2019年天猫双11又创造了一个全新的纪录。

超燃!支付宝技术双11纪录片《一心一役》全球独家首发

  这个数字背后,是数代支付宝工程师们殚精竭虑、不断突破技术难关。

  今年双11之前,小编邀请到11位经历双11的技术同学口述实录,特别筹备了纪录片《一心一役》,讲述这一路走来的那些隐秘往事。

  点击链接观看《一心一役》:https://v.qq.com/x/page/u302073emyw.html

  — 9分钟的视频看了不过瘾分割线 —

  对于技术人员来说,维持双11全天24小时稳定流畅固然不易,但最为考验的时刻当属零点刚过,人们操起手机,刷新早已存好的购物车,点击支付的那一刻!

  11年,零点越来越平滑的双11购物背后,支付宝有过哪些不为人知的技术探索,今天也特别放送。

  一、从外部瓶颈说起

  事情从一开始就显得不是很顺利。

  2011年的双十一,在高峰时期少数用户无法付款,经过调查发现,这是因为少数银行的网银系统在压力下出现故障。早年的支付宝交易,用户点击支付后需要从支付宝和银行的接口去付款,而早年这个接口的性能很差,每秒只能支持几十到上百笔交易,稳定性也比较差,一旦流量上来,容易发生故障。

  如果不解决这个问题,今后的每次大促都会出现无法付款的情况,极大影响用户体验。但是,这个问题单靠技术是很难解决的,银行对网银系统的演进有自己的规划,支付宝无法去干涉它们的系统。

  不过,聪明的运营人员想出了一个变通的办法。在2012年的双十一,支付宝通过活动吸引用户先充值后付款,让用户先将钱充值到支付宝余额上,到双十一直接从余额里面扣款就行,这样,外部的瓶颈就被转换到内部了。这样做效果非常显著,付款失败的问题大为缓解。

  然而,外部的瓶颈始终存在,面对每年翻倍提升的流量峰值,支付对外部的依赖始终是一个隐患,不知道什么时候就会爆发。

  解决这个问题最好的办法,就是不通过网银,让资金在内部的系统中流转,先充值后付款就是这个原理。那么,有没有一个方法,吸引用户把钱放到支付宝里呢?2013年6月,支付宝推出余额宝,歪打正着的解决了这个问题,到2014年底余额宝就吸引了1.85亿用户,在13年和14年的双十一,交易峰值也分别实现了4倍和3倍的增长。

  2018年5月,支付宝接入网联清算平台,同时在这些年里,银行也在大力提升自己的系统能力,中大型银行的网银系统支持的交易笔数已经达到2万笔/秒以上,外部问题基本得以解决。

  解决了外部瓶颈之后,支付峰值的数字能有多高,就看支付宝的系统如何化解一年比一年更凶猛的流量洪峰。

  二、容量规划:三军未动粮草先行

  事实上,支持交易笔数峰值面临的首要问题,并不是设计一个完美支持横向扩展的架构,而是对可能的流量峰值进行准确估计,然后安排对应的机器和资源。如果不做估计,可能发生两种情况:预备资源过多,架构过度设计,造成资源浪费;预备资源过少,无法完美支持大促,造成部分支付排队或失败。每年双十一备战,负责大促的决策团队会根据历史数据、大促目标来拟定一个交易数值,然后将这个数值拆解为各个系统所需要应对的流量,从而进行系统容量规划。

  双11大促的场景指标一般包括交易创建数、收银台展现数、交易支付数。总的支付目标数已经有了,运维人员根据总tps/单机tps的算法计算出应用在每个指标下的单机能力,然后,参考历史活动数据,可以计算应用在不同场景链路下的单机tps。

  但是,这种做法人工干预较多,对于各个应用的容量预估的粒度比较粗,后来,支付宝又建设了容量分析平台,可以进行自动化的细粒度的容量分析。

  它的原理是,如果我们把一个链路理解为一个业务,链路根节点可以理解为业务的源头流量请求,每个链路上的节点(这里的节点包括应用、DB、tair等)都能计算出该节点调用次数相对于根节点流量的系数。因此,当业务源头的QPS确定时,就可以基于链路数据,计算出每个节点的QPS。

  2018年的双十一,支付宝还建设了智能容量模型,不但可以根据业务流量进行容量预估,还可以智能的产出应用资源部署方案,使得在该方案下,部署单元在承载给定业务流量时的容量水平处于目标范围。

超燃!支付宝技术双11纪录片《一心一役》全球独家首发

  智能容量模型是支付宝对AIOps探索的一部分,也是对数据技术和人工智能在系统中落地实践的一部分,这方面也是当前支付宝技术探索的方向之一。

  三、LDC与弹性架构:大促最强武器

  对流量进行预估并进行合理的容量规划之后,接下来就看我们的架构是否能支持流量峰值了。


上一篇:全景式复合型组合拳,UC携手柳岩打造双11薅猫毛狂欢盛宴
下一篇:碰瓷区块链!Sality病毒疯狂盗取虚拟币 感染超3万台电脑
扩展阅读
江苏一公司被贾跃亭罗永浩欠款 合计超4400万元
江苏一公司被贾跃亭罗永

江苏一公司被贾跃亭罗永浩欠款 合计超4400万元...点击了解…

互动触发多线叙事,爱奇艺用《他的微笑》给互动影视打个样
互动触发多线叙事,爱奇

每一次内容领域的变革背后都有科技的影子,4G的到来,让移动观影成为内容的开发驱动,视频网站的手......点击了解…