计算机辅助电话调查数据质量控制策略:smt产品质量控制基本策略有哪些

  [关键词]民意调查;计算机辅助电话调查;数据控制   近几年来,我国政府统计调查机构广泛应用计算机辅助电话调查方法(CATI)开展民意调查,但由于国内理论和应用研究较少,在实际应用中存在一些问题和不足,致使其数据质量难以保证,统计民调机构的权威性受到质疑,制约了其为政府决策服务的能力。
  一、国内CATI应用及数据质量控制现状
  民意调查是对社会公众的意见、态度、意识等主观意向进行的调查。目前世界许多组织和政府机构采用计算机辅助电话调查方法开展民意调查,在欧美发达国家,几乎半数以上的调查均通过这种方法完成 。国外专家学者认为利用这种方法完成的成功调查,其调查数据非常接近无偏倚的标准化水平 ,并且这种方法给人们提供了进行调查质量全程控制的机会。我国近几年由政府统计机构大规模引进和应用CATI方法开展民意调查,目前全国28个省(区、市)政府民意调查机构建成计算机辅助电话调查线路2000多条,开展民意调查2000余项,完成有效调查样本1000万个。由于应用时间短,工作经验不足,各地民调机构目前还处于边学边干边研究的状态。通过应用实践,国内专家学者指出这种方法存在的缺陷,如无电话用户的流失造成范围误差,被调查者出于某种心理原因不提供真实答案造成测量误差,调查特定的群体时,受随机拨号技术的影响抽样效率会很低,一些受访者在同一个问题上,调查员的诱导性或语音语调等访问技巧不同导致两次访问结果出现不一致,对于电话调查的普遍反感情绪导致拒访比率过高 ,等等。
  在CATI调查数据质量控制上,目前国内政府民调机构基本采用CATI流程控制措施。一是利用系统具有的自动纠错和审核功能,检查答案的适当性和一致性,自动进行逻辑审核。二是督导现场监督调查员和在控制台对每个调查员进行监听,严查作弊。三是进行事后抽查问卷和对应调查录音,剔除不合格问卷。这些措施并没有从调查技术层面对调查进行有效控制,对保障和提高调查数据质量作用并不显著。
  二、影响CATI调查数据质量的主要因素
  1.中立答案比重过大导致数据失真。民意调查多数是对人们主观感受的测量,很容易受调查实施过程各种外在和心理因素的干扰,考虑到被访者有可能对调查中所涉及的某些部门和服务没有接触或体验,所以要在答案中设立“中立”选项(“不清楚”或“不了解”),以提高调查数据的客观性,减少无回答现象,提高调查效率。但在民意调查实践中,发现最终调查结果中该选项比重过大,赋值后结果出现明显错误,和真实情况不相符合的现象。委托单位在赋值上,一般把“满意”选项赋值100分,“不清楚”选项赋值为50分(介于“基本满意”和“不太满意”之间)到20分(倾向于“不满意”)。赋值过高造成评价数据失真,赋值过低,又很可能不能反映客观真实情况。如某民调机构在2010年度公共服务窗口行业群众满意度调查项目执行中发现,对民航等机构服务评价中,受访者没有给出明确意见而选择“说不清”的比例超过六成。如果仅凭这项调查结果去评价这些单位的服务质量,将不能反映真实情况。这种情况主要是因为CATI调查采用电话简单随机抽样对调查对象无法有效识别造成的。另外,调查时间不当也容易造成调查范围误差。在工作日时间进行民意调查,如果CATI系统拨通到住宅在家里,接受CATI调查的一般是老人和小孩,他们与外界接触相对较少,大多不能给出明确答案。
  
  2.虚假信息给数据分析造成困扰。在CATI应用中发现,在调查诸如收入、车辆、房产、职业、年龄、学历、奢侈品消费习惯等涉及个人信息和隐私的问题时,受访者普遍不愿意提供真实答案,给出虚假答案,或是虚报、瞒报,回答数据会比实际值偏高或是偏低,严重影响调查数据质量,给调查数据分组分析造成困扰。
  3.调查员对数据质量的影响。目前国内各地政府民调机构的调查员大多是在校大学生,计算机操作能力较强。但在调查实践中却发现,大学生访问员对现实的经济社会了解较少,沟通交流能力也比较薄弱,对受访者不规范的回答和方言缺乏有效的判断和识别。还有一些调查员为了多赚取收入而作弊。这些不真实的数据如果躲过现场督导的监督和事后的质量抽查,将会严重影响调查数据质量。
  三、CATI数据质量控制策略
  1.问卷设计策略。首先CATI问卷时间长度必须严格控制。CATI应用实践表明,国内城市居民对时间超过8分钟的CATI调查表现出厌烦、敷衍的态度,为尽快结束调查对大多提问给出中立答案,极大影响了调查数据质量。因此,要对问卷中的问题进行分析,能合并的要合并,能派生出所需数据的问题要省略,平均调查时长超过18分钟的问卷要根据问题偏向样本的属性切割成两份问卷,选取不同的时间和样本对象分别进行调查。其次要避免“大而空”的提问。如 “您对本地党委、政府落实科学发展观如何评价?”、“您对本地领导干部在廉洁自律方面如何评价?”等,这样的问题普通公众无法了解真实情况,常常选择中立选项应付了事,也容易产生以偏概全的回答,往往得不到真实的调查数据。另外,提问语言一定要通俗易懂,最好设定和公众生活相关的例子,便于受访者理解,愿意配合回答。
  2.中立答案的数据处理。方案一是CATI与其他调查方法结合运用。分出一部分调查样本,本着“区域就近、样本补差”的原则,进行面对面或实地调查,调查所得数据先进行单独分析,用于对比CATI调查数据,平衡差异,计算中立选项赋值,最后进行数据合并。方案二是选取调查内容接触人群最多区域的相应数据代替全部数据进行推算。需要注意的是,无论采取哪种方案,在调查报告中一定要说明调查技术参数,包括调查方法、调查时间、有效样本数、配额样本数、抽样方法、抽样母体等信息,以供相关方面根据上述信息判断调查的科学性、可靠性。
  3.选择最佳的调查时段。针对城市居民配合愿意普遍不高,在不当的调查时段进行调查效果不理想,甚至被当做扰民电话而被投诉的情况,要寻找和研究城市居民不同时间段对CATI调查的态度,是提高调查效率的重要途径。通过对民调实践研究发现,在周一至周五工作日期间,每晚19点至21点是适合CATI调查的时段,周六、周日适合CATI调查的时段较长,一般从10点至17点都可以进行CATI调查,如表1。
  4.建立分类样本库。建立CATI分类样本框是为了更有效地识别样本属性,降低范围误差,提高CATI调查效率和成功率。可以借助CATI项目执行和通过委托机构,把配合愿意较好的样本和某些特殊人群的电话分类收集,按照调查需要建立不同分层、不同属性的样本库。在样本库建立和使用的过程中,要坚持两个原则:一是定期更新原则。样本电话属性是不固定的,拆装电话、人员流动都会造成电话样本属性的改变,因此需要定期更新样本库以保证样本的真实性;二是间隔使用原则。库中样本被抽取使用,到下一次被抽取,中间至少要间隔半年以上时间,以保证民意调查的客观、公正,避免产生抽样误差。
  5.培养高素质的CATI调查员。首先要做好调查员的业务培训,在访问礼仪、访问技巧、访问立场、指标解释等方面进行细致的培训。其次要对调查员进行规范管理,实行严格的奖惩制度,对高质量完成调查的调查员要给予奖励,作弊的调查员要坚决清退。三是与高校合作,把政府民调机构建成大学生社会实践和兼职基地,由学校推荐高素质的学生从事政府民调工作,实现互利合作。
  (编辑/丹桔)

推荐访问:质量控制 计算机辅助 策略 调查