Kakao集团承诺,为防止10月15日发生的大规模服务中断事态再次发生,未来5年将把服务器相关投资增加至原有规模的3倍以上,并设立直属于CEO、专责保障服务稳定性的专门组织。
Kakao集团于7日上午11时举办年度开发者大会“if Kakao集团 dev 2022”,通过紧急对策委员会防止再发对策小委员会委员长南宫勋等人的主旨演讲公布了上述计划。Kakao集团公开了服务中断修复迟缓的技术原因、今后的补救措施,以及为此进行的治理结构与实务组织改编等计划。
◇服务稳定化投资扩大3倍=Kakao集团首先表示:“(为落实计划)未来5年将把(服务器相关)投资金额扩大至过去5年投资金额的3倍以上规模”。这包括明年开工的第二数据中心(IDC)建设、含服务器在内的基础设施设备采购、信息保护强化、人力成本等领域的投资。Kakao集团相关人士称:“具体数字属商业机密,无法公开。公开范围正在内部讨论。”
不过,5年间总投资规模预计将达数万亿韩元。当天发表主旨演讲的Kakao集团紧急对策委员会防止再发对策小委员会共同委员长高宇灿说明:“(各项改善计划)几乎每一项除初期投资费用外,仅年度运营费就需数百亿韩元或数千亿韩元级别的大胆投资决策才能实施。”在基础设施投资方面,Kakao集团在设备投资(CAPEX)中对含数据中心的有形资产去年全年投资2111亿韩元,今年1~3季度投资3080亿韩元。从明年起将产生第二数据中心工程费等,未来5年有形资产投资额预计将轻松超过1万亿韩元。
作为主要投资执行领域的第二数据中心将按照防止此次SK C&C板桥数据中心火灾重演的要求进行定制设计,明年开工。将不间断电源装置(UPS)与电池在空间上分离,即使电池室发生火灾,UPS也能不停机地向服务器供电。发生火灾时,将具备把起火区域与外部隔断并喷洒灭火气体与冷却水的系统。
◇直属CEO的技术组织专责应对=Kakao集团还将进行组织改编,设立专责服务稳定化工作的组织。负责维持服务稳定性、并在发生故障时承担修复工作的“信息技术(IT)工程组织”将从现有开发组织下独立并升格,并追加引进专家,大幅扩大规模。曾任Kakao集团企业间交易(B2B)技术子公司Kakao Enterprise Corp.副社长的高宇灿委员长将负责该组织并统管实务。目前还在讨论将其置于洪殷泽CEO直属之下的方案。同时新设“灾难恢复委员会”,在发生服务中断时担任应对指挥塔角色。
组织改编是Kakao集团摆在最前面的防止再发计划。南宫委员长当天作为主旨演讲首位发言者开场表示:“通过此次事故,kakao将出现多种变化,但最大的变化是基础设施组织的重构。将由Kakao集团的IT工程专家(组成)专门组织,集中营造稳定的服务环境并进行投资。”Kakao集团相关人士称:“IT工程组织将进行相当于新设级别的改编”,“规模与构成目前正在具体化。”
◇建设kakaotalk专用备用IDC=Kakao集团还将补强公司内外被指不足的技术与系统。对于像kakaotalk通信功能那样、即便主数据中心停机也必须立即恢复的服务,将推进单独建设专用备用(灾难恢复·DR)数据中心的方案。该计划源于这样的判断:Kakao集团最基础的服务kakaotalk通信出现故障,大幅加剧了此次事态的损害。
Kakao集团通过kakaotalk及以其为基础的公司协作工具kakaowork进行内部沟通,而连内部沟通渠道也出现服务故障,导致故障修复迟缓。此外,kakaotalk通信虅为免费服务,但主张因此在经营等方面受到间接损失的用户申报件数,仅公司官方统计就超过1万3000件,据悉Kakao集团在制定针对这些用户的赔偿方案上也颇为苦恼。
◇南宫勋:“改善不足的双重化”=Kakao集团在已对开发者(运营管理)工具实现双重化的基础上进一步实现三重化,补强被列为恢复正常迟缓技术原因的服务多重化措施。多重化指通过运行多台服务器,在一台服务器出现问题时由备用服务器继续提供服务。此前Kakao集团曾自行说明,服务所需数据已实现双重化,但处理数据的开发者工具未实现双重化,导致故障修复迟缓。
不仅是开发者工具,对象存储、服务器配置信息、部署设定等服务运营所需的其他系统也将实现双重化或三重化。在基础设施层面,为实现多重化,将在数据中心之间建设单独专用网络,以便迅速完成大容量流量传输,并将主干中心从目前的2处增至3处。
将重新审视仅假定流量暴增情形的故障应对方案,并针对数据中心停机这一新的紧急情况对员工实施应对演练。将按重要程度确定各项服务的恢复优先顺序,使应对流程更加体系化。作为预防紧急情况下业务中断的应急预案,“业务连续性计划(BCP)”也将在外部咨询后加以完善。
多重化措施与组织改编一并成为南宫委员长在主旨演讲中强调的部分。南宫委员长表示:“我们的双重化就像一座未完工的桥。我们不足的双重化未能尽到双重化的作用,最终未能阻止故障”,“将改善包括不完善的双重化在内的所有部分”。他同时强调:“Kakao集团ESG(环境·社会·治理结构)的首要课题就是‘稳定地提供我们的服务’本身”。
前一天,韩国科学技术情报通信部长官李宗镐也要求Kakao集团推进服务多重化、强化灾难演练、制定用户赔偿方案等,并要求在1个月内报告措施结果与计划。10月15日,SK C&C板桥数据中心电池室发生火灾,导致入驻该处的Kakao集团3万2000台服务器断电,kakaotalk、Kakao集团T等Kakao集团服务在最长127小时33分钟内出现全方位接入故障。






