社会调查中问卷质量评估的意义及方法

社会调查中问卷质量评估的意义及方法

作者：苟巧玲

来源：《中外企业家·下半月》 2014年第10期

苟巧玲

（石河子大学五家渠商学院，新疆五家渠 831300）

摘 要：问卷调查是社会实践中一种常用的数据收集方法。在社会调查中问卷的质量直接影响着所搜集数据的质量和社会调查结果的正确性。笔者认为要提高社会调查的质量，必须重视研究工具的质量，重视和提倡对调查问卷进行质量评估。

关健词：问卷；评估方法；注意问题

中图分类号：R195 文献标志码：Ａ 文章编号：1000-8772（2014）30-0233-02

一、问题的提出

随着我国社会经济的发展，学术研究、政府机关、企事业单位和大众传媒等部门使用调查问卷的机会越来越多，问卷调查成了社会实践中一种常用的数据收集方法。在问卷调查的过程中，出现了许多对设计出的问卷不经认真细致的修改直接定稿或匆匆审视后就印刷使用的现象，严重影响了社会调查的声誉，人们也产生一种印象，社会调查越来越好做

了，人人都可以做了，做社会调查就是先想好一些问题设计成一份问卷，到人多的地方发发，再收回来把数据处理一下写成所谓的研究报告不就完成了。众所周知，社会调查的质量是由数据的质量决定的，而调查问卷作为收集数据的工具，其质量直接影响着所搜集数据的质量和社会调查结果的正确性，而不考虑问卷质量的调查其所产生的结论会怎样呢？对此笔者认为要提高社会调查的质量，必须重视研究工具的质量，重视和提倡对调查问卷进行质量评估。

二、问卷质量评估的意义

（一）什么是问卷质量评估

问卷设计中为修改问卷所进行的系列问卷审议、测试活动的总称称为问卷评估。

（二）问卷评估的意义

在问卷调查过程中，问卷是影响数据质量的重要因素。问卷通常是和人打交道的，因此问卷的内容、格式应该倚重心理学、行为学的相关知识；如果是份市场调查问卷，还要符合市场营销特点；要利用计算机进行数据处理还要具备计算机方面的知识；要对调查结果进行科学的分析，还要具备统计学知识等等，只有这样才能保证设计出的问卷有亲和性、实用性、强针对性。然而在社会调查实践中人们不同程度地存在着对问卷的误解和误用，不少没有做过调查的人认为，起草一份问卷就像写文章一样容易；甚至于一些专业人士也认为，可以不费力气地在一小时内搞定一份问卷，于是在问卷设计过程中，想到哪里就写到哪里，简单地罗列一些信手拈来的问题、不紧凑有遗漏问题的问卷层出不穷。面对广泛的问卷使用而言，对调查问卷的评估则非常的薄弱，最为典型的当属各高等院校硕博论文，他们的论文中常常用到问卷调查数据，为了说明数据的可靠性和客观性往往也会做一些形

式上的问卷信度和效度的评估来说明研究结果的价值，当然如果没有进行或通过问卷信度和效度的评估，他们的研究结果就会遭到质疑，所以然在现实中就成了一种套路，只要用到问卷调查数据多数会有问卷的信度和效度检验，但纵观文献却很少有对调查问卷评估的叙述。在社会调查实践中大多数问卷设计者尚停留在问卷设计的技巧层面，诸如如何提问、如何设计答案、如何调整问题的顺序、如何排版等，而往往忽略了对问卷进行系统的信度和效度的评估，更鲜有对调查问卷的评估，即使有也多数对调查问卷的评估相当粗糙。为此笔者认为对社会调查问卷进行质量评估是借机提高社会调查数据质量的一个良好的锲机，应该在社会调查实践中引起足够重视。

三、调查问卷评估的方法

纵观文献资料，对调查问卷的评估方法大体上可以分为二类：一是问卷审议；二是问卷测试。为了帮助问卷的设计者更好地对调查问卷进行评估，下面分别讨论这二种方法的应用特点。

（一）问卷的审议

问卷审议多指对问卷的审核、讨论、议论，侧重在“议”。在问卷初稿设计出来后有必要对问卷进行审议，在这个阶段应让一些项目组以外的人来对问卷进行讨论，参加审议的人员应包括委托方代表、调查主题设计专家、问卷设计专家、访员、被调查总体的代表等等，这些人通常能为问题修改和回答选项的设置提供有用的意见和建议。在审议阶段应该将问卷中的一些明显的问题如语病、错别字等等挑出来进行改正。问卷的审议应在问卷测试之前进行。

（二）问卷的测试

测试，汉语词语之一，意思是考查人的知识、技能或对机械、仪器和电器等的性能和精度进行测量。在问卷定稿前对问卷测试是非常重要的，因为问卷实践中对被询问的问题做出回答是一个复杂的过程，被调查者回答问题首先必须理解问题，然后搜寻记忆或记录以找出所需要的信息，在找到信息之后，还需要考虑什么是问题的正确答案以及他们在多大程度上愿意披露这一答案，之后他们才会对问题给出回答，在这些步骤中的每一个环节都可能产生回答误差。通过问卷测试可以确定问卷中问题存在困难和错误，确定问题的顺序是否影响了对问题的解释以及问题的指南是否清楚，被调查者对问卷的表面印象如何等等。下面这些方法可用于问卷测试。

1.认知法

认知法是六十年代美国著名心理学家卡鲁尔首先提出的，它用来描绘不同的人在观察、组织、分析以及回忆信息、经验等方面不同的习惯性倾向。认知测试通常在“实验室”环境或在带有单面镜等监督设备的房间中进行，样本量相对较小，可循环使用，在进行认知测试后对问卷进行修改。方法有如下几点。

观察被调查者。通过观察可得到被调查者完成问卷时的行为信息，观察者要注意问卷中被调查者阅读的范围、答题的顺序、使用指南的情况、翻阅记录的类型、与谁进行了讨论、完成问卷各部分所需时间、对回答所作的修改或更正；还要与被调查者进行补充讨论，以了解他们对问卷、指南以及单个问题的反应，这样在对问卷问题重新措辞和组织时从他们的反馈意见中得到启示。

边想边说式访谈。这种访谈要求被调查者在回答问卷问题的同时“边想边说”，即一边思索，一边自言自语地说出感受，对每个问题都进行评论，这种方法对测试问卷、识别回答误差的潜在来源以及改进问卷等方面都非常有用。

在认知访谈中还会使用一些特别的技术。当访员希望被调查者专注于回答过程的特定方面时，如访员可能问被调查是怎样选择以及为什么选择这些答案时，他们是怎样理解概念、术语的等；要求被调查者用自己的语言重复指南或所问的问题，或解释术语和概念的定义，以此帮助确定被调查者是否按照设计者所希望的那样阅读并理解了指南的问题。另外还可以就被调查者对回答问题的精确性的自信程度进行等级评定，以这种方法表明被调查者对某个问题给出答案时所遇到的困难程度以及是否在猜答案。

2.焦点座谈

通过焦点座谈这种形式在问卷测试时，可用来评估被调查者对问题和指南中所用语言和措辞的理解程度，并评估可供选择的问题的措辞和形式。焦点座谈时要进行录音或录像，在单面镜后面的督察员（可能是问卷设计人员）要能看见讨论的情况。被检测的问卷可以在焦点座谈前即刻完成。焦点座谈通常以要求参与者阐述对问卷的总体反应开始。座谈会的主持人可以对问卷的问题进行逐条审议。主持人应该擅于追问，因为有的焦点座谈参与者可能不愿意发表负面评价。主持人应该给每个人发言的机会，要避免发生的被一两个人支配讨论的局面。焦点座谈最后应征求参与者对于问卷修改意见。

3.问卷试答

可以用少量的问卷通过试答来发现或回答下面的问题。

问卷措辞或顺序的问题；识别问卷格式或指南中的错误；确定被调查者无力或不愿回答的问题；提出对某些问题增加可以预编码的回答选项的建议；提供完成一次访问所需要的时间和回答率（包括项目无回答）的初始估计。

4.向被调查者了解情况

为了解被调查者完成问卷的过程，在问卷测试结束时向被调查者询问被调查者提供他们对调查中术语和概念的理解情况、他们完成问卷时所感受到的难易程度的信息以及自己对问卷的反应，同时提出存在的问题，如回忆信息时的困难、重复问题、敏感问题以及不清楚或难于回答的问题。这种方法在决定被调查者如何理解问题以及回答选项设置方面很帮助。

5.向访员了解情况

可用与焦点座谈相似的形式和使用评定表式的问卷来收集访员遇到的问题，得到他们对于问卷改进的建议。向访员了解情况通常在访员把问卷提交给焦点座谈成员之后或问卷试答期间进行。访员可以从各自角度提出对问卷改进的意见。

6.访员与被调查者相互配合的行为编码

由第三方对访员和被调查者之间相互影响及配合的情况给予系统编码。行为编码有助于识别一些问题，如访员有没有按照事先的措辞宣读问题，或被调查者提出要求澄清的某些问题等。如果行为编码表明某些问题的表述或回答确有困难，就应对这些问题进行修正。

7.分裂样本测试

在确定两个或多个版本的问卷或问题哪个更好时可以进行分裂样本测试。最简单的分裂样本设计是将一半样本试用问卷的一个版本，而另一半样本试用问卷的另一个版本。分裂样本测试能比较一个或多少问题，甚至于整份问卷；除此之外还能比较不同的数据收集

方法，以确定哪一种方法更好。

8.试点调查

为了观察包括问卷管理在内的调查过程中的各个阶段，需要进行试点调查。试点调查包括数据处理和分析。试点调查使调查机构能够了解到问卷在调查的其它阶段（数据收集、处理、审核、插补、估计以及数据分析）实际运作的情况。

四、问卷评估应该注意问题

问卷设计是一项专业性很强的工作，没有一定的专业理论和实践经验，不可能设计出优质问卷。西文不少学者甚至为此耗尽了毕生的心血，有的学者的终身成就不过是设计了一份高质量的、广为使用的调查问卷。为此在对问卷评估时要注意以下几点。

（一）遵循问卷设计程序

问卷的质量主要取决于问卷设计人员的业务素质及其对调查目的、调查主题的了解、研究及把握程度，同时也与问卷设计的执行过程密切相关。因此慎重地选择设计人员与严格地执行正确的设计程序成为控制问卷设计质量的关键。

（二）充分认识问卷评估的必要性和重要性

对问卷进行评估是提高调查研究工作质量不可或缺的环节。因为数据不仅赖于问卷收集，还是调查结论产生的依据，所以问卷的质量和数据的质量是相辅相承的，数据质量提高了，调查研究工作的质量也就高了。

（三）充分认识问卷评估改进问卷设计的意义

现阶段问卷评估是我国社会调查研究领域中的一个薄弱环节。一方面相当部分的研究者没有意识到问卷评估的必要性和重要性，另一方面，即使有人有这方面的意识，但囿于时间和资金限制，往往匆匆走过场，没有发挥问卷评估本来应有的作用。从投入产出的角度看，问卷评估所产生的效益是调查中任何环节所不可比拟的。如果问卷的问题设置出现了遗漏，就无法满足分析研究的需要；设置了看似相关但实际上并不需要的问题，也不能发挥什么作用，还会浪费调查的资源。

（四）对问卷进行信度和效度分析

问卷经过评估后基本上就要定稿了，在定稿之前可以用小样本对评估后的问卷进行信度和效度检验，用逻辑推断或对实证资料作统计检验分析，通过信度和效度检验的问卷基本上可以满足调查研究需要。

以上是本人关于问卷质量评估问题的一些不成熟的思考，其目的旨在为推进社会调查的应用和规范社会经济领域中调查的行为所尽的微薄努力，不足之处敬请同行指正。

参考文献：

[1]加拿大统计局《调查技能》项目组编，中国国家统计局《调查技能》项目组译.调查技能教程[M].北京：中国统计出版社，2002：78-79.

[2]柯惠新，沈浩.调查研究中的统计分析方法[M].北京：中国传媒大学出版社，2005：45-47.

[3]弗洛德·J.福勒（FloydJ.Fowler，Jr.）著.蒋逸民等译.调查问卷的设计与评估[M].重庆：重庆大学出版社，2010：48-49.

（责任编辑：时音菠）