优测总结什么是AB测试

什么是AB测试
AB测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是测试的高标准）。自2000年谷歌工程师将这一方法应用在互联网产品以来，AB测试越来越普及，已逐渐成为衡量互联网产品运营精细度的重要体现。
简单来说，AB测试在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个目标制定两个（或以上）可行方案，将用户流量分成几组，在保证每组流量在控制特征不同而其他特征相同的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学地帮助产品进行决策(比如你想优化某个位置的文案颜色，觉得蓝色比红色好，就可以保持这个位置一组流量的文案红色，一组蓝色，其他都相同，进行AB测试)。AB测试原理如下面图1。

图1：AB测试原理
AB测试是一种科学的评估手段，具备概率统计学理论的支撑。这里我简单解释一下原因。 概率论中有一个中心极限定理，意思是独立同分布的随机变量的和服从正态分布。对于AB测试，我们比较的是两组样本的平均表现，AB测试保证AB两组某个因素不一样(这个就是我们要验证的优化点)，AB两组其他很多未知影响因素一样(这些因素是独立同分布的随机变量)，当AB两组样本足够多时，这些其他因素产生的效果是满足同一正态分布的，因此可以认为对要验证的变量的作用是相互抵消的，这样待验证因素(即我们的控制变量)的影响就可以比较了，因此我们就可以通过实验来验证优化是否有效。
像Google，，百度，阿里，微博，大众点评等互联网公司很早就采用AB测试框架来驱动业务发展，为公司创造价值。
业内也有很多提供AB测试SAAS服务的创业公司，通过定制化的AB测试方案来为其他公司提供AB测试能力，如吆喝科技，ABTester, 云眼, Testin云测等等。