中国4G市场有多重要?2017年中国4G用户将超过10亿,同期全球4G用户也不过20亿左右。中国移动4G市场统治力有多强?当中国联通和中国电信,在2016年底还在为4G注册用户数破亿而弹冠相庆时,中国移动已经成为全球首个4G LTE注册用户超过5亿的运营商。在中国,每增加10个4G用户,就有6个来自中国移动,全世界每增加10个4G用户,就有3个来自中国移动。

fetch_file5da8498ec326f604bb5b1bb5ab86f039-picture

究竟是什么原因,让中国移动在4G时代呈现出一家独大的态势?坊间最大的两个谣言莫过于——初期独占技术占优的TDD牌照与TDD与TD-SCDMA的3/4G平滑演进。

辟谣一:2013年底,工信部“同时”向三大运营商发放了TD-LTE牌照,不存在中国移动初期独占TD-LTE牌照的情况。两年后,工信部只向联通电信办法了FDD牌照。只是拿到TDD牌照后,联通电信并未跟进基站建设,始终苦等FDD牌照。高通等公司相关研究表明:TDD的分布频段总体高于FDD,其覆盖能力先天弱于FDD,TDD并不是某些小编嘴里所说的香饽饽,工信部给中国移动的这张牌也并不是“四个2带两王”。

fetch_file9a9774915ef7cea960c847e5dd6749d9-picture

辟谣二:关于3/4G平滑演进,一众小白认为TD-SCDMA可平滑演进到TD-LTE,而联通电信无法实现平滑演进。实际上,无论是移动的TD-SCDMA还是联通的WCDMA还是电信的CDMA,都无法向任何4G LTE技术平滑演进。之所以大众会误解,是因为官方将TDD-LTE命名为TD-LTE,让大家认为这是TD-SCDMA的LTE版。

fetch_file2b25fba39e37efdb697969ebe0d83fb3-picture

既没有技术倾斜,又没有技术便利,甚至还有在3G时代的第一波团战中TD-SCDMA给自己放了一个晕眩和弱化技能,中国移动竟然能实现4G用户快速增长。这种如同武侠小主说中“打通任督二脉”带来的逆天转变,恐怕让许多运营小伙伴心理戏和看完下图一样样的——居然还有这种操作!

fetch_filea9b90fc2dddb67cc9a306dcca2eda961-picture

这里有一个大背景要交代:移动互联网发展初期,受到社交媒体软件OTT服务冲击,面临管道化危机。中国移动切实感受到了用户体验在用户“增长“留存”方面的重要性。新环境、新形势,居安思危的中国移动意识到自己已走到了十字路口。

fetch_filefc33e75684e4c91c5ad730ce93a3fd45-picture

站在路口的人有很多,可是真正走在正确道路上的寥寥无几。在中国,许多科技互联网企业最终都演变成劳动密集型企业,其根本原因就在于它们无法体会“试验驱动创新、数据驱动决策”的精髓。中国移动意识到并找到了合适的工具,选用了优秀的A/B测试工具(有哪些?),并广泛应用在旗下的服务和App之中,不仅“想到”,而且“做到”。

让我们通过三组案例,来了解一下中国移动是如何在4G时代通过A/B测试工具实现持续创新和快速决策的。

01 案例一:4G管家——业务更名优化

4G管家,是中国移动为4G用户专门定制的移动端APP。您可以将4G管家看作升级版的“中国移动移动营业厅”App。在上线众多的XX移动App之后,仍然单独上线4G管家,并采用全新的定位、接入大量专属服务,足以证明:

中国移动打算在产品体验层面上打出差异化,让新老用户都能与以往的移动产品区分开。因此,用户活跃度就成为4G管家的核心关注指标,每一处修改不仅要大胆创新而且要稳妥慎重。

此时,产品部门提出了一个更新计划:将业务文案由“话费余额”修改为“话费账单”,并对应在APP首页和服务页面进行修改。

按照以往的思路,大致的流程可能会是这样的:产品部门提出改名需求,讨论后确定“话费账单”,全量更新后,如果数据正向还好,如果结果指标不理想,就需要紧急回滚,如此反复,怎么看都不像一次产品决策,更像是一次豪赌。

fetch_file8167885ded4b858001883a43e36de16c-picture

好在当时中国移动已经开始接触A/B测试,他们采用 A/B测试 (吆喝科技提供)单盲试验的方式,将两个版本同时测试,对不同版本的用户进行行为对照试验(如下图所示)。吆喝科技的AppAdhoc A/B Testing采用科学的试验流量分割,使得每一组试验对象具备一致的用户特征,并在试验过程中也可以随时调整用户流量。

fetch_file0b62c69d950a045e7becb5a60c13d7bb-picture

此时,中国移动可以将优化指标分为三个维度进行观察:基础指标(PV、UV)、关键指标(次日留存率)、核心业务指标(七日留存率、余额入口点击量、余额入口点击率),从而判断本组试验从基础到核心业务的数据表现。

此次试验在运行了近三周之后(一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周),后台数据已经能够非常明确显示出:

  • 试验版本的“话费账单”文案在安卓端和iOS端的指标置信区间显著,上下限均为负值,导致核心业务数据下降近23%;而且试验版本对iOS端部分核心关注数据有负面影响;用户对试验版本文案的接受度不高,整体功能识别度低于原始版本的“话费余额”文案。

  • 原始版本,无疑通过直观数据证明了起产品合理性,产品团队综合考虑了用户对于余额业务的使用情况和核心价值后,最终决定放弃此次求改维持原文案不变。

此后,中国移动在4G管家上进行了“防诈骗短信”功能灰度发布。“诈骗短信”鉴别这样的功能呼声一直很高,为什么中国移动要采用灰度发布的形式呢?

一方面,移动端入口寸土寸金,一个新功能的露出,也就意味着其他功能显示层级下降,有可能会造成整体运营效果的下降;另一方面,增加的防诈骗短信功能会对4G管家的人工服务工作量造成较大压力,需要在保证无使用异常的情况下,实现整体的平稳过渡。

AppAdhoc A/B Testing平台支持灰度发布的功能,企业可在试验过程中随时调整用户流量,在版本稳定无bug的前提下,逐步扩大新版的使用群体,完成产品发布的平稳过渡。

fetch_fileed85da99c1179ae3ec0c0f1cef6ca87b-picture

通过AppAdhoc A/B Testing的灰度发布功能,此次试验在三周左右的时间内,顺利上线了新功能,并得到了积极的数据改变。试验结果表明:

  • 新功能的上线使用户活跃度得到了大幅提高,对iOS端的核心业务数据提升明显(平均增加68%);

  • 防诈骗短信功能发布无异常,有效缓冲了人工服务的压力,保证了新功能的平稳顺利上线。

目前,4G管家应用已经完成了其历史使命,更名为10086(APP),但是中国移动在移动端的努力还没有结束,涉及10086的内容我们在案例三中还会展开说明。从这两个例子中我们可以看出,在“试验驱动创新、数据驱动决策”方面,A/B测试相比经验主义的决策模式,有着难以匹敌的优势——低成本、高效率、风险可控、精确度高。业界专家曾言,顶级的PM也只能跑得赢一半的 A/B Testing。

02 案例二:中移在线 APP 导流页优化

据预测,微信将在2017年内实现总用户量10亿的量级……对,三大运营商4G注册用户总和……求各位运营商小伙伴内心阴影面积(⊙﹏⊙)……几乎覆盖了所有中国移动用户,如果竞争在这玩得风生水起,后果不堪设想。让每一个微信用户都转化为移动的用户,这是中国移动喜闻乐见的。

在公众号的主要服务模块以及每一期运营活动中,都有一个专门引导用户下载APP的落地页,10086的数据部门负责人发现,目前版本的下载界面很长(有6屏之多),虽然每屏都有引导下载的入口,但数据显示,除了首屏的下载转化相对较多以外,其他几屏的数据很不理想。在综合评估后,产品部门决定将新版下载界面缩短至一屏,看是否能对下载转化进行提升,具体方案如下:

原始版本:页面内容相对丰富,分为6屏从不同角度描述APP功能,且每个页面都有转化按钮;
试验版本:将原有的6屏内容整合为单一屏,同时增强CTA按钮的视觉效果。

fetch_file195f981e48b198c97f2265b6a2778e21-picture本次试验选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为7天。

在观察对比不同版本的试验数据后,产品部门得出了科学的试验结论:新版入口不论从点击还是转化来说,数据都达到了统计显著,样本提升幅度在55%,从置信区间的预估看来,整合为一屏后的导流转化至少可以增加12.4%;

这些数据很好地验证了数据部门和产品部门的假设,基于中国移动10086公众号现有的用户,过多的功能介绍反而会分散用户的注意力,只需要简明扼要的表达移动端可以给他们带来的价值,用户自然就会下载产品;本次试验的带来的宝贵经验,也为后续的产品优化提供了更加明确的方向。

03 案例三:10086客服界面更名优化

多年以来,网友以“调戏”10086短信自助服务为乐,或许也真的是因为中国移动短信自助服务真的很好用。10086在许多网友心中就是中国移动的代名词,前文提到的4G管家后期正式更名为10086,也证明了10086所蕴含的品牌价值。

fetch_file800467485bbd15e4312c7cf8c1f6bd9f-picture

如何在10086APP上延续10086的服务口碑,并不仅仅是简单的服务接入和功能整合,而涉及到体验迁移是否顺利的大问题——没有基本盘,海量4G用户从何谈起?

目前10086 APP客服问题页面默认采用“热门问题展开形式”进行展现,产品部门推断这种展现方式导致“积分”等类型问题、和拨打10086等按钮无法一屏展示,进而影响用户快速找到相关问题知识,造成客服界面的使用率较低。可能几个问题稳下来之后,用户依然一脸懵逼、无奈离开。

fetch_file8dd4708e5b4adf9be834c21b09b69406-picture

为了提升首页各问题栏目的点击量以及在线客服支持的利用率,降低用户在APP内拨打10086次数,减少10086客服中心压力,产品部门决定通过A/B测试修改应用中客服界面的布局和按钮,决定创建3个试验版本,具体方案如下:

fetch_file972f908998993b6482e5dda369734a90-picture

本次试验选择A/B测试与灰度发布相结合的方式,初始流量分配4%(各版本分配1%的流量),在确保真实环境下无bug及报错情况后,逐步调大试验流量,试验周期为14天。同时,将各版块中问题栏目的点击和“联系在线客服”的按钮点击,作为本次试验的核心关注指标。

fetch_file0b1f38396c730c22093ac2f14250d017-picture

这一次测试和发布,最红数据结果非常重要,影响也非常深刻,让我们先来看看,最终都得出了那些结论:

  • 不论“热门问题”的展开与否,还是“拨打10086”按钮存在与否,对用户点击不同类型的问题栏目都没有显著的直接影响;如果要提升问题栏目的点击,要关注具体问题的以及答案的质量;

  • 从引导用户点击在线支持来说,不展开“热门问题”并去掉“拨打10086”按钮的试验版本3效果最好,统计显著结果并提升了近25%;

  • 对于试验版本1,数据结果显示当“热门问题”栏被折叠,页面最下方的客服和拨打10086按钮上移,用户关注热线以及在线客服的兴趣也会相应提升,其中选择拨打电话的用户提升更加明显;

  • 这些数据证明用户对页面下方的按钮使用率(包括拨打10086和使用在线客服),与“热门问题”的是否展开还是有一定关联的,产品部门可以依据本次试验的宝贵经验,为后续的优化明确方向。

fetch_file7ffea6353fdbf6bc065a98343f981919-picture

让我们来看看10086最新的用户界面:在线服务被首页推荐,作为下方三个TAB标签之一并剧中,顶端突出在线人工客服,隐去10086热线,展开了热门回答,精选了露出的题目,并在每个分类下添加了标签,几乎每一处改动都是基于这次试验所得出的结论。

A/B观

“管理方式越落后,经验主义越盛行,产品决策越依赖运营能力和供应链管理能力,而非产品创新即便像中国移动这样占据主导地位的企业,核心竞争力依然来自产品创新与体验。而提升产品体验就要学会用试验驱动创新、用数据驱动决策——A/B测试是被国际一流科技公司普遍采用的数据分析工具和产品决策工具。科学运用A/B测试,才有机会跑赢竞品、跑赢巨头、跑赢整个行业。


著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。