【靠分散架构实现每秒20万笔交易】中国支付龙头142亿次海量红包派送关键大剖析
2017-11-16 12:11:11 | 来源:ithome | 投稿:阿呆 | 编辑:dations

原标题:【靠分散架构实现每秒20万笔交易】中国支付龙头142亿次海量红包派送关键大剖析

腾讯支付基础平台与金融应用线的平台研发部技术营运总监程伟指出,为了应付高频次的交易量,腾讯近年导入分散式架构,以及SET化的思维。(摄影/沈庭安)

从创立后,每逢正月初八,过完年假的第一个开工日,腾讯高层总会站在广东总部门口派发红包,这个每年惯例,到了腾讯员工数千人时,还是如此,光是包红包,秘书们就包到手软。

为此,腾讯旗下负责支付业务的财付通,干脆开发一套电子红包系统,先在腾讯内部使用,发现效果不错。2014年除夕时,更结合社交支付,推出微信红包服务,一上线就火红,第一年就收发了2千万次红包,今年的除夕夜更是创下历史新高,春节期间一共累计达到142亿次红包的收发量。

9亿多用户的微信支付和8亿多用户的QQ钱包,是中国4大入口网站的腾讯旗下最知名的支付工具,也是驱动腾讯的两架马车。先前腾讯揭露了2017年春节微信支付发送红包的数据,收发总量是惊人的142亿次。而且,光是在除夕夜跨初一的凌晨,瞬间交易量就达到每秒20.8万笔。跟红包服务初次上线的2014年春节时期相比之下,当时利用微信发送红包的总量只有2,000万次,短短3年间,红包收发总量整整翻了700倍!

电子红包发送的玩法很多,不只是1对1的送红包,还可以分抢,例如有人发出100元红包到一个群组,能设定最先点击的5个人,每人都能分道20元。而且这不是先记帐再事后拨款,而是抢到后立即入帐,可以用来发红包给别人的即时金流拨款。

对支付系统更大的挑战是“扩大效应,而且大约是1比5的倍率。”腾讯支付基础平台与金融应用线(FiT)平台研发部技术营运总监程伟解释,平均是1笔交易,参与的帐号数是5倍。这意味着,每秒完成20.8万笔交易的同时,在微信支付和QQ钱包背后的支付平台FiT,得每秒处理100万个帐户的付款、扣款处理。程伟日前来台分享腾讯支付架构设计经验时,透露了这个令人难以想像的爆量难题。

3年内从千万笔膨胀到百亿笔的爆炸性成长

程伟表示,2005年成立的财付通,在2015年升级为FiT,并且可大致将其发展的历程分成3个阶段。

2005年至2008年为初创时期,团队规模还很小,在当时的支付性能约是最高每秒数百笔;2009至2012年则是快速发展期,技术或业务方面都是并驾齐驱的在成长,这是这时候程伟加入当时仍称作财付通的FiT。他透露,这段期间内,腾讯推出了“QQ农场”的手机游戏。当时在中国大陆是一款很热门的游戏,他们也顺势在QQ农场推出了“充话费送化肥”的活动,吸引更多人加入,将腾讯推向了高速成长的时期。

“在当时,全国移动支付的应用量,不会有上百、上千笔,更不可能是上万人同时在做支付的事情。”程伟更说,QQ农场火热时期,每秒30笔交易对系统来说已经是很高的负荷量了。也是那时候开始,腾讯开始从集中式的架构转型为分散式架构,应付逐渐升高的支付需求。

2013年微信支付上线,成为腾讯蓬勃起飞的关键分水岭。微信支付推出至今,每年的支付交易量呈倍数成长。以红包发送量最高的春节期间来看,2014年红包发送量2,000万次;2015年直接翻5倍,来到10.1亿次;2016年又成长了8倍,总量来到80.8亿次;最后一次是2017年的142亿次。

“技术层面来看,非常有挑战性。”爆炸性的支付量成长,加上涉及金流、即时地交易,程伟指出,系统的性能、安全、稳定,是腾讯支付的三个关键。

系统必须可以应付瞬间的高流量,而且当用户对支付服务的依赖性越来越高时,稳定性的需求就越来越高。

“系统的稳定性不能出现任何地抖动。”他举例,去超市买东西,用户排队结帐,结果系统支付不了;或是,搭计程车,系统从用户端扣款了,但是却没有发送通知给司机,双方就会因为支付而陷入胶着。

面对即时性要求极高的支付场景,超过10亿用户的消费权益都掌握在腾讯支付手中,因此他们必须具备快速应变的处理能力,否则失去的不仅是用户的信任,更是企业的社会价值、国际商誉。

更甚者,腾讯支付也不仅有社交性的支付交易,商业支付也在他们支援的范畴中,更凸显出金融交易安全的严肃性。他指出,商业支付跟发红包虽然都是支付交易,但两者的维护等级与影响是完全不同层级的事,程伟表示,企业付款有可能单笔交易金额有可能动辄上亿元。系统出错,可能会导致企业用户的支票无法兑现,影响很大。

对支付平台而言,各种快速扩充缩编容量的能力、提高稳定性的能力、可以因应各种金融技术或新兴场景的业务与技术能力等,这类确保稳定、安全和连续性的种种技术或能力,“都要在用户按下Pay键时,像汽车润滑油一样,充斥到每一个零件上,让高度复杂的支付系统,可以提供非常便捷的体验。”他说。

纾缓腾讯支付的高速公路:分散式架构、多SET化

腾讯支付早期采取单一机房单机运作策略,就是在一台大型伺服器设备来承载所有业务,包含用户、订单、商户、交易单、充值单、提现单等都集中到单机上。不过,一旦用户量需求增加,就无法扩充容量,毫无弹性可言。

等到QQ农场崛起,甚至是红包发送服务的爆红后,腾讯支付需要开始培养“快速扩缩容”的能力,程伟解释,要有能力在一个月内从1万台扩充到20万台的扩充能耐,反之也然。此外,应用场景也越来越多元,基金、证券、保险等,都是由FiT作为系统的支撑者。

因此,腾讯从2010年起,逐步转型到分散式架构。可以单机房内无限扩容,把原本单机承担的服务水平拆分到多台机器上,也让服务叠加可以相对容易。“当时从每秒几十笔的能力,提升到上百、上千的每秒交易。”程伟说。

腾讯为了撑起超大流量交易,在支付平台架构上分成四层,除了与用户端AP或手机App串接的支付Gateway层外,采无状态服务设计,其上就是订单系统层,这属于业务逻辑层,包括了用户注册、卡号、姓名身份证等资讯都在这一层进行验证。或像是交易限额这类业务逻辑,也在这订单系统层控管。最后一块则可谓是核心层,分为两个部分:帐户系统,以及串接全中国260多家银行的银行界接系统。

不仅如此,腾讯还有一套自己的解决思路:SET化。每一层系统,都会进行多SET化的部署,将一套系统分散部署到不同的SET实体群组上。SET是一套标准化的实体伺服器群组的作法,不是一种电脑丛集的概念。一个SET就是建立一个可以用来满足执行一套应用系统所需的全部伺服器的标准化群组。

实际部署时,就按SET群组的数量来建置,如支付平台,负责对外串连“支付Gateway”CGI介面层,就有不同用途SET群组,例如微信GGI/CAE介面的SET1和SET2(两套),或是手机版QQ钱包的CGI/CAE介面也有2套SET。不同用户的流量,就分散到不同的SET实体群组来处理。

确保服务的连续性,引入第三方伺服器做灾难备援

即便已经做了各种防范措施,但仍会有不可抗的因素,能造成机房灾难,例如大规模停电等。

因此,程伟表示,为了确保服务的持续可用性,光是A机房与B机房间彼此的灾备还不够。他们引入了第三方的仲裁伺服器(Third△Server)。简单来说,A机房与B机房是同时运作,各自承载了50%的用户数,彼此间还有半同步的复制机制。而A、B两边机房的交易都会优先在C机房记上一笔。在C机房内则会有一份所有交易Log的压缩档。

当A机房出现问题时,B机房可以随时备援,若是一旦连B机房备援都救不了火时,就可以启动C机房所保存的数据。而且当A出现问题,B救援时,也可以从C进行查核,确认断点资讯的完整性。

程伟特别指出,传统银行发生问题时,会瞬间冻结所有服务。但是他们利用这样的方式,可以把影响的用户数降到非常低。“A出现问题时,B是不受影响的,而且重新启用A机房系统时,还大约有15分钟的决策过程。”程伟解释,为了将风险降到最低,系统不会马上就恢复A机房的运作,而是在最短的时间内(平均15分钟)先进行平行作业,并且再确认从对帐、会计、结算作业都能顺利执行无误,才会重新启用A机房的系统。而这一连串作业都全面自动化,任何机器发生问题,系统也都能通过自动化维运机制自行修复或回复。

程伟强调,巨量的数据处理需要强大的维运平台,而一套越好的维运平台,一定会越来越迈向自动化、智能化,以及可视化的发展样貌,一要减少人为介入,其次是能自动分辨所有问题也能自动处理,最后一项可视化就是要做到,让一切部署、业务流程、指示与资源都通过视觉化的方式一览无遗。

tags:

上一篇  下一篇

相关:

中国不准外资独自营运云端服务要求,AWS出售部份资产予当地业者

示意图,与新闻事件无关。 图片来源: AWS Amazon旗下的云端服务Amazon△Web△Services(AWS)周二(11/14)对外证实已出售部份中国资产予当地业者,以迎合中国政府的外资投资规定。AWS在中国的合作业者—光环新网(

HPE以R3分散式帐本技术发表首个区块链服务

示意图,与新闻事件无关。 图片来源: HPE Hewlett△Packard△Enterprise(HPE)上周五(11/10)发表该公司HPE△Mission△Critical△Blockchain区块链家族的第一个成员—Mission△Critical△Distributed△Ledger△T

该国号称离中国最近却得不到中国人的喜欢 [生活]

该国号称离中国最近却得不到中国人的喜欢该国号称离中国最近却得不到中国人的喜欢,美女众多这是为何。中国有很多的邻国,向陆地上接壤的有俄罗斯、蒙古、朝鲜、巴基斯坦、阿富汗、印度、不丹、尼泊尔、缅甸、老挝、

全球500大超级电脑:中国仍夺冠亚军宝座,进榜数量首度超越美国

中国的神威?太湖之光守住全球500大超级电脑冠军宝座。 图片来源: ISC, 作者:Jack△Dongarra 国际超级电脑大会(ISC)本周一(11/13)公布了每半年一次的全球五百大(TOP500)超级电脑排行榜,由中国的神威?太湖之

外国人眼中的中国姑娘随便搭讪都能成功 [生活]

外国人眼中的中国姑娘随便搭讪都能成功外国人眼中的中国姑娘随便搭讪都能成功,中国女孩一见老外就疯狂是真的吗?最近网络上有很多消息,都是在说这个国家的女人,很想嫁到中国来。那个国家的女人在家里地位很低,羡

站长推荐: