在用户研究中,很多时候我们会采取问卷调查的方法,因为它成本相对较少,而且能够快速得到定量结果。所以在用户研究领域颇受欢迎。但是如何才能够很好地实施问卷调查?怎样设计一份好的调查问卷?
只有等到自己做了问卷,才知道问卷难做,才知道制作高质量的问卷是一项技能。以下是我个人在工作中总结的一些感想和方法。
一、何时使用问卷调查
什么时候适合使用问卷法这点很重要,遇到以下三种情况使用问卷法效果最佳:
-
用户概要:研究现有用户构成;
-
满意度调查:重要改进之前进行,以便改设计,解决人们遇到的问题;
-
价值观调查:安排在大型市场营销活动之前,目的是确定产品描述和促销方案。
二、问卷调查步骤
问卷调查法总共分为5个大步骤,分别是:问卷前准备、问题设计、问卷执行、问卷分析和后续研究。
第一步:问卷前准备
前期定性研究对于之后进行问卷调查尤为有用,而不应该一开始就着手想问卷的问题如何设计。在设计问卷之前,要先定义好研究的方向和目标的问题。
(1)启动会
召集需求方、利益相关者和设计师进行一次启动会,能让设计团队深入了解本次调查的意义。
明确目标:用一两句话说并写下为什么要做这个调查。
例如:为了了解我们的基础用户从去年开始是否发生变化以及如果是,又是什么原因?
了解他们眼中最吸引人的产品特征,从启动会中我们可以从需求方得到很多问题,此时可以先收集,供日后设计问题的步骤的时候使用。
(2)用户访谈
在时间和成本条件允许的情况下,可以进行一次针对目标人群的用户访谈。焦点小组、访谈和观察研究可以提供细致、特定的价值和行为信息,引导人们写出调查问卷的问题来检验普遍性,从而能够为问卷的选项提供更多的可能性,有利于帮助后期问卷的编写。
(3)设定日程安排
确定好问卷的目标后,可以先写下此次问卷调查的日程安排,举例如下:
(根据调查样本数量合理安排时间t)
第二步:问题设计
问卷前准备完成后,我们可以进行问题设计了。
(1)首先对设计问题进行头脑风暴,进行前记住两种调查目标:
-
描述性目标:建立受众的背景资料;
-
探索型目标:通过人们对问题的回答之间的关系来解释人们信念和行为。
例如:
-
描述目标:了解用户的收入(高收入)、喜好(爱化妆)。
-
探索目标:通过用户的收入和喜好的回答,能够解释用户是一个高端化妆品的消费者。
(2)一般调查问题的类型:
特征类别:描述用户是谁,他的硬件和软件环境如何?
-
人口统计学:了解调查对象的概况,年龄职业?
-
技术问题:用户拥有的技术情况和相关经验,他们用什么手机?在管理网上隐私设置方面有多熟练?
行为类别:刻画用户的行为表现。
-
技术运用:如何使用您关心的技术,他们每周上网频率是多少?
-
产品使用:什么产品功能是用户想使用的?
-
竞争对手:用户都访问什么其他网站?
态度类别:探究用户的想法和信念。
-
满意度:他们喜欢您的产品吗?我们的产品是否具备他们想要的功能?
-
偏好:您的产品最吸引他们的是什么?
-
希望:他们想要什么?他们觉得缺少了些什么功能?
特征数据最为稳定,不会经常变化,可研究价值较低。行为数据和态度数据对于研究较为有价值,但会容易因时间变化而变化,因此条件允许的情况下最好隔一段时间进行一次调查,提高研究的准确性。
(3)制作调查问题列表
根据脑暴和之前启动会收集下来的问题和问题的类型,我们需要制作一份问题列表,问题的答案选项应该要具体、详尽且相互排斥。整份问卷最好控制完成时间<20分钟,问题个数最好<20题。
问题列表如下图:
(4)问题的设计需注意以下几点:
不要让人们预测他们的行为,例:
你愿意使用在XXX APP嘛?( 错 )
你用过或想要使用网上购物平台吗?比如:XXX APP?( 对 )
避免否定问题,例:
下列哪些特征是您不感兴趣的?( 错 )
下列哪些特征是您感兴趣的?( 对 )
问题不要太多,例:
您是否发现您会因为网页的加载速度慢而沮丧?( 错 )
您是否会因为网页的某些性能而沮丧?( 对 )
如果是,以下哪方面的网页性能让你沮丧?
A. 页面长度、B. 加载时间、C. 图片尺寸…
尽量具体,例:
您最近用了多长时间在XXX网上购物?( 错 )
A. 一些、B. 很多、C. 每天
您最近用了多长时间在XXX网上购物?( 对 )
A. 没有、B. 0-1小时、C. 2-3小时…
永远不要设限,例:
您最喜欢XXX网站的什么?( 错 )
您认为XXX网站的什么功能对您来说最重要?(可多选)( 对 )
保持一致,例:
您最近用了多长时间在XXX网上购物?( 错 )
A.没有、B.10-12小时、C.2-3小时…
您最近用了多长时间在XXX网上购物?( 对 )
A.没有、B.0-1小时、C.2-3小时…
避免极端化,例:
您每次上网都会浏览XXX APP吗?( 错 )
你多长时间访问一次去XXX APP?( 对 )
保持问题相关性,例:
问题与受访者经历相关。
创建后续跟进问题,例:
留下您的手机号码,后续会派发优惠券到您的账号中。
包含退出选项,例:
“以上都不是”、“不知道”、“没有答案”、“其他”。
(5)典型问卷的构成
典型的问卷是由4个部分组成:
-
引言:在引言部分主要是说明此次调查的目的、奖励、调查说明等信息,提前给受访者一个心理准备。
-
开头:开头的问题不应该太难,选择容易回答的问题,可减少问卷跳出率。
-
中间:可以采取受访者感兴趣与不感兴趣的问题来交替提问,这样不会让受访者感到无趣而终止填写。
-
结尾:一般是提问人口统计学相关问题和开放式问题,但开放性问题不宜太多。同时收集受访者的联系方式,对后续跟进研究有所帮助。
第三步:问卷执行
执行问卷的时候也不是把问卷投放到线上就完事,需要选定投放的样本、途径、还要考虑降低投放期间出现的一些偏差。
(1)确定调查样本和数量
根据调查的目标和前期的定性调查,确定调查样本的范围。注意:调查样本有时候并不等于产品的目标用户。
例如:要进行一次某电商APP的闪电送服务的满意度调查,此次调研的目标用户是某APP的用户,但是样本则是使用过闪电送服务的用户,并非全体用户。所以样本必须准确,否则会出现严重的偏差。
控制好样本的数量,以下是参考《洞察用户体验》给出的人口差异与样本量的关系:
假设标准误差5%可信度95%,正常的人口差异:
-
1000人口=150样本量
-
10000人口=300样本量
-
100000人口=800样本量
(2)尽量避免偏差
问卷里的偏差在所难免,以下偏差需要考虑在内:
-
抽样偏差:样本与目标受众偏差,例如:回答闪电送问卷的都是90%是女性用户;
-
不回复偏差:有一部分人总是忽视您的邀请,例如:没有注意到问卷banner 的用户;
-
时间偏差:邀请的人参与调研时间会影响回答方式。例如:想知道是否喜欢送礼物给父母,在父母亲节前,答案可能不一样;
-
持续性偏差:有些用户持续一周都在加班没时间访问XXX APP,在进行调查的时候可能会错过这部分用户;
-
邀请性偏差:例如优惠券力度不够,可能会损失这部分“势利”的用户;
-
自主选择偏差:有些人就是不想做问卷,或者就是图优惠券随便填写问卷;
-
呈现性偏差:问卷的外观、长度、问题设置可能会让部分用户拒绝填写;
-
期望性偏差:用户可能填写问卷时发现与自己自身情况部分而拒绝填写问卷。
(3)选择适合的邀请方式
日常问卷的活动中可以考虑采取以下的邀请用户方式:
-
邀请链接(BANNER、微提示):优点成本低,不唐突/缺点是严重的自主选择性偏差。需要检测页面浏览率(
pv)跟问卷填写率,算出回复率。如果回复率低,就不具有代表性。 -
电子邮件/短信:联系到的都是老用户。
-
打断式邀请:在用户浏览网页时候打断用户,让用户注意到问卷,为用户编号,根据编号抽取,确保样本随机性。
-
电话、面对面和标准信函调查。
第四步:问卷分析
收集到问卷结果后我们可以着手进行问卷分析,并且分析结果。
(1)计算(年龄、收入)
平均数、众数、中位数检测是否受极端数值影响?
标准的是正态分布状态,若出现双峰分布(众数与平均值相差大),需要进一步分析。
(2)比较
交叉制表:通过两个问题的答案合成一份表格,发现更有针对性的问题,例如:
-
问题1:您看美妆类视频的频率是?
-
问题2:您通常喜欢看哪中类型的美妆视频?
通过交叉制表的方法,我们可以得出结论:单个商品推荐对于经常看和偶尔看的用户来说吸引力差不多,化妆教程的话,对于偶尔看的人吸引力更大。
(3)整合
有时候问题里某些选项填写的数量远远少于其他选项的数量,我们可以把它们看作一个整体,从而减少干扰,例如:
问题:您的收入是多少?
这部分可以组合成一个大组8000-20000的人的占比
(3)总结误区
有时候我们总结分析结果的时候会有一些误区,应该尽量避免:
两件事情的发生时间相当接近并不足以说明两者有因果关系 :有一群人都很喜欢一个产品并经常会用,并不足以表明喜欢产品能让人更多使用它,也不足以表明频繁使用能让人更喜欢它。例如:微信、公司的邮件。
不细分人口子群 :有时看似简单的趋势,实际上是多个不同用户人口趋势共同的结果。例如:问卷一半满意一半不满意,不代表这个产品做的中等,要看回答的分布情况——即什么年龄群的人会觉得满意,什么觉得不满意,是否主要的目标用户都觉得不满意?可以利用交叉分析。
用事实混淆观点 :问卷调查的结果通常知识用户的观点,而不是事实。有关行为的问题基本都不能预测实际行动,人们诚实地认为他们可以预测自己要如何,但是他们心理状态和面对心理状态的恐惧使其真正遇到这些情况时不那么做。
(4)解释调查数据的时候必须考虑以下几点
-
人们什么都想要,问卷不能确定普遍认证的特性组合,但是能够告诉您人们如何确定特性的优先级别和看重哪些特性。
-
人们会夸大其词,想要表现理想中的自己。
-
人们即使对答案没有强烈的感觉,也会选择一个,所以要设置退出项。
-
人们总会爱猜测调查的意图,不提引导性的问题。 例如:你赞成在XXX APP卖成人用品吗?
-
人们会撒谎。
第五步:后续研究
如果想了解用户的价值观及其原因,访谈(知道背后的原因)、焦点小组和实地研究(了解用户的行为)都是不错的工具。