数据产品 | AB TEST 平台自建思路分享

mingsquall
mingsquall
mingsquall
4
文章
0
评论
2020-12-1813:12:00 评论 1,231 2858字
摘要

希望为大家介绍企业内部是如何从 0 到 1 进行 AB TEST 平台搭建的,为大家提供一个框架,包括计划在企业内部自建 AB TEST 平台以及正在自建 AB TEST 平台的同学。

笔者由于过去工作内容经历了从产品到研发再到产品的这样一个转换过程,目前从事了数据产品相关的工作,方向也从单一功能的设计或是数据统计分析实现等方向,切换到了通过「提供平台化的数据产品来解决企业中面临的一系列实际问题」的方向上来。

本文主要是一个自建思路的分享。

希望为大家介绍企业内部是如何从 0 到 1 进行 AB TEST 平台搭建的,为大家提供一个框架,包括计划在企业内部自建 AB TEST 平台以及正在自建 AB TEST 平台的同学。

Intro

一切都要从问题和需求出发,相信很多企业内部在产品迭代发展到一定阶段之后,会面临一系列的问题,对于我们公司内部来说,最早遇到这个问题是在做业务改版的时候,大家提出来一个核心问题:

我们改版到底能优化到什么程度?

换一句话说,就是:改版前后的效果有多大的提升?

当然了,针对效果这一层面,可能还需要有不同维度的数据目标体系的支撑。假设我们有一个优化的方向(目标),经历过四五次改版,但每次改版后直接发版,其中的一些优化点(包括信息架构、UI设计、文案提示等)也都没有进行对比,也就不知道我们对目标的提升。

当然了,也可能并没有带来「真实的提升」!

为什么这么说呢?以一组实际数据来举例,假如说:

我们在8月、9月做了2次首页改版优化,在8月、9月月底进行了发版,下面展示的为「是否进行改版」的优化数据对比:

进行改版的数据指标结果:

数据产品 | AB TEST 平台自建思路分享

看起来我们在8月、9月发版后,在次月的数据都比上个月有了一定的提升(1%),这样就可以说明我们的改版就是好的了吗?(未必)

实际上,在另外一个没有进行改版优化的世界中,数据指标如下:

数据产品 | AB TEST 平台自建思路分享

过去的时间无法逆转。我们发现其实保持原有的功能特性,反而在观测次月数据的时候会比上一个月有更大的提升(2%)。

问题来了:那我们不是白改了...

确实可能出现这样的情况,我们以为的好其实是假象,不做调整反而比做了调整还要好。

当然了,以上其实是一个比较极端的情况。

随着公司的业务发展,在一定的方向上探索比较清晰了之后,肯定是希望精细化的迭代,每次改动都比原始版本都有一定的提升,这样我们整体的 ROI 一定是朝着更好的方向前进。

由此来看,借助 AB TEST 这样一个能力,能够帮助我们科学的进行产品决策和迭代优化。

目录

1 需求调研

2 AB TEST 相关

3 AB TEST 平台产品设计

4 企业内部自建 AB TEST 平台面临的问题

需求调研

作为数据产品,以产品视角,仍然需要关注的是面向的用户以及场景是什么。因此前期的用户访谈、需求收集是必不可少的。

以及我们需要进行市场竞品调研,像国内的吆喝科技,国外的Google Optimizer等,大部分平台的整个实验建立过程还是具备一定的相似性的,我们可以吸收借鉴一些经验。

由于是企业内部自建的 AB TEST 平台,我们面向的用户群体主要是企业内部用户,包括:各业务线产品、运营、设计、业务研发、算法等。

我们可以建立「角色 - 场景 - 目标 - 实验假设 - 具体方案」的需求收集表格,与各部门同事进行沟通。

最后抽象为我们的应用场景。

举例来看,针对这几类用户可能有不同的基本需求

  • 【业务产品】希望观测业务首页不同信息组织方式对于业务转化率的影响
  • 【运营】希望观测不同引导文案或者按钮文案对于点击率的影响
  • 【设计】希望观测不同卡片样式对于入口点击率的影响
  • 【业务研发】希望观测不同后台业务逻辑对于业务转化率的影响
  • 【算法】希望观测不同推荐算法对于物品点击率的影响

将上述需求进一步抽象为我们的应用场景(不同公司业务的不同应用场景可能有差异),包括:

  • 客户端页面场景(业务产品、运营、设计)
  • 服务端应用场景(业务研发)
  • 推荐算法应用场景(算法)

为了满足上述 AB TEST 应用场景,具体要如何设计呢?

在开始介绍之前,我们先来带大家回顾一下 AB TEST 的相关知识。

AB TEST 相关

实际上,AB TEST 是我们在产品迭代过程中演进出来的科学迭代方法,基于 AB TEST 的迭代与以往/常见的方法是不同的,过去的时候因为迭代过程中的一些局限性,可能会导致无法得出正确的结论。

其实国内携程 AB TEST 做的也比较早,这里引用携程的一位负责人的话来介绍 AB TEST:

"

AB实验可以简单认为是传入一个实验号和用户分流ID到AB实验分流器

分流器吐出分流版本A、B、C、D

通过截取应用流量落地一段时间分流数据

就可以分析具体版本的优劣

决定启用新版本或者沿用老版本

"

上述是一个面向工业界的实践概括,而从学术方法论的角度,一个比较标准的 AB TEST 流程应该分为以下几步:

数据产品 | AB TEST 平台自建思路分享

AB TEST 平台产品设计

上述基本流程在应用到我们的具体使用场景中时

一部分流程是我们以文档形式进行记录并与各方进行同步的

一部分流程则是需要我们在 AB TEST 平台完成配置流程操作

那么,我们设计的 AB TEST 平台主要关联以及支撑的环节(对应上文流程步骤)应为:

数据产品 | AB TEST 平台自建思路分享

以上3个主要环节是需要在 AB TEST 平台进行操作。

基于实验的生命周期,将上述3个环节进行详细拆解可以得到以下流程:

数据产品 | AB TEST 平台自建思路分享

横向展示的即为 AB TEST 平台的业务过程:

数据产品 | AB TEST 平台自建思路分享

基于实验实体建模以及业务过程,我们还需要完成详细的功能设计。

前期需要进行市场相关竞品的调研,大家可以参考 Google Optimizer 的 AB TEST 业务操作过程,并结合自己公司内部的实际应用场景进行设计。(相关功能具备一定的借鉴意义)

例如:

1.在创建实验环节,我们需要输入实验基本信息完成实验详细配置(包括分流策略、人群范围、不同实验的配置信息)选取实验的优化指标

2.在开始实验、结束实验环节,我们需要及时 Check 实验数据。

3.在发布实验环节,我们需要选择发布版本,并且如果在遇到问题的情况下可以进行实验的回滚

企业内部自建 AB TEST 平台面临的问题

由于我们面向的用户主要还是企业内部的用户,除了基本的 AB TEST 平台搭建之外,这其中还涉及到与公司内部已有的运营管理平台联动的问题。

例如,公司内部已经具备了一套运营管理平台,所有的客户端页面的框架、信息、图标、推荐规则等,均由运营管理平台进行下发控制。

美团首页场景为例,其首页的Banner位、金刚位、推荐位的信息,这些坑位理论上应该与后台的运营管理平台可以直接联动

那么在这样一个背景之下,AB TEST 平台与运营管理平台的关系如何处理?

如果闷头什么也不顾就开发了一个 AB TEST 平台,最后发现即便是想要改一个区域样式进行的实验成本都非常高,需要发版才能发布这个实验,那这样的结果也不是我们想要的。

实际上,我们希望更高效的利用运营管理平台提升我们的 AB TEST 效率,这样,很多实验是不需要开发、不需要发版,直接通过运营管理平台的配置就能与 AB TEST 进行联动。我们在实际的设计中需要考虑到这个情况。

以上,我们完成了 AB TEST 平台需求调研,介绍了基本的 AB TEST 知识,并简单带大家进行了实际的业务流程设计以及功能设计,包括企业自建 AB TEST 平台时可能遇到的一些问题,希望能为大家带来一定的启发。

End.爱数据网专栏作者:Salt专栏名称:PMSalt专栏简介:盐分汲取,数据观察,常年指北。个人公众号:PMSalt

  • 我的微信公众号
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: