一个测试运行了一个星期,在200名访问者中显示了11%的增长,被宣布为赢家,但在收入数字中再也没有出现过。 如果没有事先决定样本大小,在结果看起来不错时停止,就会保证产生一大批假阳性。 诚实的版本的这一纪律涉及首先研究,少量和大量的测试,并告诉客户他们的流量不支持测试。
工作内容
- 首先研究 — 会话录音, 漏斗分析, 支持票和实际上与客户交谈
- 说明机制而不仅仅是变化的假设
- 在测试开始前计算样本大小和持续时间,并予以遵守
- 顺序或贝叶斯方法,如果它们比固定地平线测试更适合流量
- 丢失和平面的结果记录, 因为他们是你学到的大多数
- 当流量过低而无法进行测试时,则进行定性研究和最佳实践修复
为什么我们是可信的
我们编写了用于测量我们自己的测试的归属管道,包括由于不信任实时路径的完整性而存在的调节通道。 如果测量错误,则其上面的每个测试结果都是装饰。
什么移动价格
我们在发现后报价,在任何事情开始之前,数字是固定的。 这些是推动它的东西,所以您可以在与我们交谈之前大致了解您的项目所在位置。
- 流量量,这决定了测试是否可行
- 今天的分析是否值得信赖,这通常必须首先解决
- 实施每项测试需要多少工程工作
- 是否包括研究或您已经有它