新版让用户更快找到文件，能说明改动有效吗？也许名称更清楚，也许参与者做过上一轮任务，或新版刚好分到了经验更丰富的人。
设计实验围绕明确假设，安排改变一个或一组定义清楚的条件，比较相应结果，并尽量排除其他解释。它不是把任意前后数据放在一起，就可以宣布因果。
先定义改什么，以及怎样算完成
假设一家官网准备把资料入口从“资源”改成“产品资料”。假设是：更具体的名称，有助于初次访客找到适用文件。
名称是安排改变的条件，也就是自变量；是否正确获取文件、耗时或错误选择，是要测量的结果，也就是因变量。先定义主要结果和辅助结果，避免看到数据后挑最有利的一项。
完成更快却选错版本，未必更好。任务应要求找到并确认适用文件，而不是只统计进入栏目；任务说明也不要出现待测试的入口名称，免得提示答案。
若同时改布局、内容和命名，仍可研究整体方案，却不能轻易将差异归为名称。实验开始前明确这次要支持的是哪一项主张。
两个版本的比较，先检查这些条件
| 计划内容 | 在假设研究里怎样定义 | 需要防止的混淆 |
|---|---|---|
| 改变条件 | 两种资料入口名称 | 其他元素也一起变化 |
| 测量结果 | 正确获取适用文件 | 完成标准前后不同 |
| 参与分配 | 安排体验某个版本 | 熟练人员集中在一组 |
| 过程 | 同类任务、设备和提示规则 | 主持协助或中断不同 |
| 判断口径 | 事先写明主要指标 | 看数据后临时换指标 |
这些只是计划示例，没有假造实验结果。更复杂的业务结果，需要相应时间、数据和样本安排，一次原型任务不能推断购买或长期收益。
不同人比较，和同一个人比较，各有条件
条件允许时，将参与者随机分配到版本，减少背景差异的系统影响。分配规则应保留，不能为了预期结果把熟练用户安排到新版。
随机分配也不等于样本代表总体。招募是否符合目标人群，仍然是另一项需要交代的问题。
若同一人体验两个版本，可以让一部分先A后B，另一部分先B后A，减少顺序偏差。但第一次已经学会文件在哪，第二次可能自然更快。轮换顺序不能保证消除所有学习影响，任务经验应纳入解释。
没有条件控制分配时，可以采用准实验等思路，说明分组怎样形成、哪些解释无法排除。研究仍可提供线索，只是结论需要更谨慎。
执行一致，异常也不要悄悄删掉
统一任务、开始与结束、提示和协助规则，先试跑。不同执行者应知道何时回应、怎样记完成，保留原始记录，而不是最后凭印象打分。
设备失效、网络中断或主持人偏离计划，都需要标明。按事先规则处理异常，并报告理由，不能因为结果不利就排除。
分析根据计划进行，考虑样本、测量误差和控制限制。需要统计推断时，采用与设计和数据相符的方法，几个平均数或一两次快慢不足以宣布因果。
差异说明结果，行为材料帮助理解原因
实验比较可能显示结果不同，却未必解释为什么。任务观察和用户说明可补充浏览、判断与误解，但仍要分开看到的行为和推断的动机。
A/B测试是一种常见版本比较方式，同样需要清楚任务和指标。上线前后，渠道、内容与用户构成都可能同时变化，没有适当对照时，不能把差异全归于界面。
如果两个版本都难理解，先研究问题本身更合适。例如通过卡片分类检查内容组织，而不是只从两个不合适的名称里挑一个。
成功标志：报告能说明改变了什么、怎样比较、结果支持什么，以及还排除不了哪些解释。没有出现预期差异也可以形成决定，不必为了“实验成功”改变原来的问题。
保存假设、变量、分配、过程、异常与限制，方便复查。结论支持的是具体人群和任务中的一项决定，不是给整个设计盖上永久有效的印章。
58UI可帮助将官网改版问题转为可比较的UI/UX与原型条件，并提供企业官网设计开发、品牌视觉、响应式适配及体验诊断。可查看设计服务，或联系58UI先讨论任务与判断口径。
相关服务
