定量研究方法真的比定性研究复杂难懂吗?

?

  

 来源:每个人都是产品经理

定量研究方法真的比定性研究复杂吗?

定量研究实际上并不困难。在本文中,作者介绍了一些最常见的定量研究方法的用例,并估算了每个实例的成本和难度,以帮助您更好地找到定量研究的方法。

您是否需要有关产品用户体验的数字数据,但不确定该怎么做?

许多从事用户体验和研究的专业人员倾向于采用定性方法,这被广泛认为比定量(定量)研究更容易。但是,必须承认,定性研究可能会规避大样本量并量化相关的统计数据。

量化方法是经验丰富的用户体验研究人员工具包的重要组成部分。

量化方法允许您:

使用数字标记产品的可用性;

数字有时比质量测试的结果更有说服力(特别是当你试图说服像CEO这样的高管时);

比较不同的设计(例如,产品的新旧版本,或产品与竞争对手的产品),并确定您观察到的差异是否具有统计显着性,而不是随机事故;

改善用户体验以衡量决策。例如,如果拟议的设计改进预计会花费很多来实现,那值得做吗?如果您估计这种变化会在一定程度上提高可用性,那么量化方法可以帮助您确定是否值得重新设计;

将用户体验改进与组织目标和关键绩效指标相关联(显示您的投资回报并展示用户体验研究团队的价值)。

定量研究,首先要确定的是:需要哪种定量研究方法?

在这里,我们介绍一些最流行的定量研究类型:

定量可用性测试(基准测试)

网络分析(或AppAnalytics)

A/B测试或多变量测试

卡分类

树测试

调查和调查

聚类数据

可取性研究

眼动测试

每种方法都可以生成有价值的定量数据,但这些技术在收集的数据类型以及所需的资源和工作量方面差别很大。

本文列出了这些方法的最常见用例,并估算了每个实例的成本和难度。此外,应该理解,在这些方法中需要不同的最小样本量来确定统计显着性。

1.定量可用性测试(基准测试)

使用:随时跟踪可用性,与竞争对手进行比较

费用:中等

收集难度:中等

分析难度:中等

方法类型:行为

使用环境:基于任务

虽然不经常使用,但定量可用性测试(有时称为可用性基准测试)很像定性可用性测试 - 用户需要使用该产品来执行实际任务。

两者之间的主要区别在于可用性测试优先考虑观察,例如识别可用性问题。相比之下,定量可用性测试侧重于任务收集或成功时间等指标。

收集具有相对较大样本量(大约35个参与者或更多)的指标后,您可以使用它们跟踪产品可用性的进度,或将其与竞争对手产品的可用性进行比较。

您选择的可用性测试类型(面对面,远程托管或远程非预定)将影响成本。由于定量和定性可用性研究的目标不同,测试结构和使用的任务也需要不同。

第二,网络分析(或AppAnalytics)

目的:检测问题并确定其优先级并监控性能。

成本:低

收集难度:低

分析难度:高

方法类型:行为

使用环境:直播

分析数据描述了人们对您的实时产品的处理方式:他们去哪里,点击什么,他们使用什么功能,他们来自哪里,以及他们决定离开网站或应用程序的页面。

此信息可以支持各种用户体验活动。特别是,它可以帮助您监控产品中的各种内容:UI或功能的性能,并确定哪些内容无法正常工作。

三,A/B测试或多变量测试

使用:比较两个设计选项

成本:低

收集困难:低

分析难度:低

方法类型:行为

用法:直播

虽然您可以使用分析来监控产品性能,但您也可以创建实验来检测不同的UI设计如何通过A/B测试或多变量测试来更改这些指标。

在A/B测试中,团队创建同一UI的两个不同的实时版本,然后将每个版本显示给不同的用户,以查看哪个版本的性能最佳。

例如,您可以创建同一个号召性用语按钮标记的两个版本:“获取定价”和“了解详情”,然后您可以跟踪按钮在两个版本中收到的点击次数。

多变量测试类似,但涉及一次测试多个设计元素(例如,测试可能涉及页面上的不同按钮标签,布局和位置。)

这两个基于分析的实验都非常适合确定相同设计的不同变体,并且可以结束团队关于哪个版本最佳的争论,但这种方法的一个主要缺点是它经常被滥用。

四,卡片分类

用途:识别信息架构标签和结构

成本:低

收集难度:低

分析难度:中等

方法类型:态度(人们怎么说)

使用环境:没有产品

在卡片分类研究中,参与者被给予内容项目(有时字面上写在索引卡片上),并且需要以对他们有意义的方式对这些项目进行分组和标记。

测试可以亲自进行,也可以在实体卡上进行,也可以使用卡片分类平台进行远程测试。

此方法使您有机会输入用户信息空间的心理模型。他们用什么术语?他们如何在逻辑上将这些概念结合在一起?对创建类似组的参与者的百分比进行定量分析可以帮助确定大多数用户可以理解的分类方法。

五,树测试

使用:评估信息架构层次结构

成本:低

收集难度:低

分析难度:中等

方法类型:行为

使用环境:基于任务,没有产品

在树测试中,参与者尝试仅使用您站点的类别结构来完成任务。它本质上是一种通过将其与UI的所有其他方面隔离来评估您的信息体系结构的方法。

假设您的产品是宠物用品网站,这是您的顶级层次结构,您可以要求参与者完成任务 - 找到一个狗项圈。

对树测试结果的定量分析将显示人们是否可以在信息层次结构中找到项目的正确路径以及有多少参与者选择了错误的类别。此方法可用于识别符合人们期望的IA结构,标签和展示位置。

6.调查和问卷调查

使用:收集有关用户态度和行为的信息

成本:低

收集难度:低

分析难度:低

方法类型:态度

使用环境:任何

调查是一种灵活的用户研究工具。您可以在各种环境中管理它们:实时网站,电子邮件或可用性测试后的短期拦截。

它们可以产生定量和定性数据的组合 - 评级,每个选择题的答案比例,以及公开答案。您甚至可以将对调查的定性响应转换为数字数据。

您可以创建自己的自定义调查或使用许多已建立的调查问卷之一(例如,系统可用性量表或净推荐分数)。调查问卷的一个优点是,您通常可以将结果与行业或竞争对手的分数进行比较,以了解您的工作方式。

即使您创建自己的自定义调查,您仍然可以跟踪平均分数以监控产品改进。

七。聚类定性数据

用途:确定定性数据中的重要主题

成本:低

收集难度:中等

分析难度:中等

方法类型:态度(人们怎么说)

使用环境:任何

该技术不是数据收集方法,而是更定性的数据分析方法。

它涉及根据共同主题对定性研究(如日记研究,调查,焦点小组或访谈)的观察进行分组。如果您有大量观察结果,则可以计算提及特定主题时的实例数。

例如,假设您进行日记研究,要求参与者每天在日常生活中使用您的产品,并每周报告一次,以了解他们使用您产品的环境。

该方法可以识别特定主题或情况的一般性或频率,例如用户投诉或UI问题的频率。这种方法是从大量定性信息中挖掘数值数据的好方法,但它可能非常耗时。

八,理想的研究

用途:确定与您的产品或品牌相关的属性。

成本:低

收集难度:低

分析难度:低

方法类型:态度

使用环境:基于任务

定量可取性研究试图量化和测量产品的某些品质,例如美学吸引力,品牌强度和语调。

这些研究可以根据您的研究问题量身定制,但通常包括首先向您的产品展示参与者(通过向他们展示静态图像或要求他们使用实时产品或原型)。

然后,您将要求他们通过从描述性词汇表列表中选择选项来描述设计。随着样本量的增加,一些趋势开始出现。例如:您可能有84%的受访者将设计描述为“新鲜”。

九,眼动测试

使用:确定哪些UI元素分散注意力并且可以找到或发现。

成本:高

收集难度:高

分析难度:高

方法类型:行为

使用环境:基于任务

眼动追踪研究需要特殊设备来跟踪用户在界面上移动时的眼睛。当许多参与者(30个或更多)在同一界面上执行相同的任务时,会出现有意义的趋势,您可以通过一定的可靠性来判断页面的哪些元素吸引了人们的注意力。

眼动测试可以帮助您确定需要强调或强调哪些界面和内容元素,以便用户可以实现他们的目标。

运行眼动追踪研究的主要障碍之一是高度专业化,极其昂贵且设备有些不稳定以及需要进行广泛的培训。在尝试确定用于指导研究问题的定量方法时,您需要了解什么?

例如:

我们的产品可用性如何随时间而变化?

与竞争对手相比。我们的表现如何?

我们哪个问题影响最大?我们应该如何优先排序?

对于这些类型的问题,您可能希望使用定量可用性测试,网站分析或调查。

如果您想回答更具体的问题,也许其他方法更好。例如:

我们应该如何修复我们的全球导航类别?

我们的大多数用户对我们的视觉设计有何看法?

我们应该在仪表板中使用这两种设计中的哪一种?

对于这些研究问题,您可能希望使用A/B测试,卡片分类,树木测试,编码定性评估,可取性研究或眼睛跟踪。

但是,这些建议中有一些灰色地带。例如,出于安全或技术原因,A/B测试可能不适合贵公司。

如果是这种情况,您可以进行面对面的定量可用性研究,以比较两个原型。但是,这不是定量可用性测试的典型用法,因此这里不再讨论。

在研究问题之后,选择方法中第二个最有影响力的因素是成本。

根据您的研究方式,这些方法的成本可能会有很大差异。您使用的工具,您拥有的参与者数量以及研究人员花费的时间将影响最终成本。

低预算团队将依赖于数字方法 - 远程可用性测试,在线卡分类平台,如OptimalSort,A/B测试以及Web或应用程序分析。

根据经验,现场方法(例如面对面可用性测试,面对面卡类型)往往更昂贵,因为它们需要更多时间供研究人员使用。

此外,他们可能需要旅行和设备租赁。眼动测试是此处列出的最昂贵的方法,只应由具有大量预算和研究问题的团队使用。

选择方法后,了解它并确保获得有用的结果。

警告:您不能只收集指标并在没有任何统计分析的情况下开始做出决策。仅收集来自5个用户的评级量表响应,平均并继续进行是不够的。

对于此处讨论的每种方法,建议使用最小样本量来获得可靠数据并确定统计显着性。如果你不这样做,你不能保证你的发现不只是侥幸。

无论您选择哪种方法,请务必考虑研究相关统计概念所需的时间。我保证定量研究并不像看起来那么困难,而且您的定量数据也是值得的。

作者:研究玉,Shence洞察用户行为数据公共号码研究所(ID:SDResearch)

作者:凯特莫兰

NielsenNormanGroup

本文由