调研的数据不可靠怎么办?

挖数网精选
挖数网精选
挖数网精选
221
文章
0
评论
2020-06-2413:06:00 评论 15 2671字
摘要

在实际中,我们却常遇到信度和效度不高的情况,这就没有解决的办法了吗?在本文中,我们就来探讨信度不高,如何解决的问题。

在实际中,我们却常遇到信度和效度不高的情况,这就没有解决的办法了吗?在本文中,我们就来探讨信度不高,如何解决的问题。

一、为什么要做信度分析

1.信度是什么?

信度是指测验结果的一致性、稳定性及可靠性。指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度。从另一方面来说,信度就是指测量数据的可靠程度。信度公式为X=T+B+E,T表示真实值,B表示偏差即系统误差,E表示测量的随机误来差,X 表示测量结果。

一句话,信度就是测量过程中随机误差造成的测量值变异度的大小。

2.信度的意义是什么?

在对问卷进行分析时, 往往需要对问卷进行信度分析, 很多人不知道为什么要进行信度分析, 这里简单的阐述下。

一是相同的个体在不同时间,以相同的测量工具测量,或以复本测量,或在不同的情景下测量,是否能得到相同的结果,即测量结果是否随时间和地点等因素而变化;

二是能否减少随机误差对测验结果的影响,从而能够反映测量工具所要测量的真实情况,即测量结果是否具有稳定性、可靠性和可预测性。一个好的测量工具必须是稳定可靠的,且多次测量结果应前后一致。

一句话,信度的意义就是问卷能够真实表达被调查这的意愿。

二、信度的分类

1.重测信度

重测信度是指相同量表前后两次测量同一批次被调查者的回答情况的一致性,计算方法就是前后两次回答情况的简单相关系数。

重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。

2.分半信度

分半信度常用在不可能进行重复调查的情况下。其计算方法是将调查的条目分成两半,计算这两半测量结果的相关系数r,又称分半信度系数,以此为标准来衡量整个量表的信度。

使用分半信度评价信度时,应注意:一是问卷题项所测的应是同一种特质;二是如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性。三是然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式:

调研的数据不可靠怎么办?

3.克朗巴赫α系数(Cronbach’s α)

Cronbach’s α系数是Cronbach于1951年创立的,用于评价问卷的内部一致性。α系数取值在0到1之间,α系数越高,信度越高,问卷的内部一致性越好。Cronbach’s α系数不仅适用于两级记分的问卷,还适用于多级计分的问卷。

从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性x信度系数。这种方法适用于态度、意见式问卷(量表)的信度分析。

Cronbach α信度系数是目前最常用的信度系数,其计算公式为:

其中,K为量表中题项的总数,为第i题得分的题内方差,为全部题项总得分的方差。

调研的数据不可靠怎么办?

  • 低信度:α<0.5
  • 中信度:0.5<α<0.70
  • 高信度:0.70<α

一般地,问卷的α系数在0.8以上该问卷才具有使用价值。Cronbach‘s α值皆达0.85以上,表明问卷信度良好。

α系数有以下性质:

  • α系数是所有可能的分半信度的平均值
  • α系数是估计信度的最低限度

当问卷计分为二分名义变量时,即答案为0或1,α系数与KR20值相同,即库德-理查森信度公式是克隆巴赫的α系数的一个特例。

4.复本信度

复本通常是根据相同的设计说明分别独立编制的两个平行问卷,即题目不同但是内容相似的两份问卷。复本信度也叫等值性系数(coefficient of equivalence)。两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就是复本信度。就是我们理解的AB卷。

但是,复本编制相当不容易,易出现顺序效应,受练习的影响;复本信度只能反应问卷内容所造成的误差,无法反应答卷者本身所造成的误差等。

5.库得─理查森信度 (Kuder─Richardson)

库德-理查森信度适用于计算"对或错"的是非的同质性信度,其是计算所有可能的分半信度的平均数。最有代表性的计算公式是库德-理查森公式:

SX2为问卷测验总得分的方差,pi表示答对该题的人数占总答卷人数的比例,pi可视为该题的难度,qi=1-pi 。式中n为问卷包含的题项总数。

调研的数据不可靠怎么办?

6. 评分者信度

考察评分者信度的方法为,随机抽取相当份数的问卷,由两位评分者按记分规则分别给分;然后根据每份问卷的分数计算相关系数,就得到评分者信度。评分者信度也可以是一位评分者两次评分的相关系数。如果是多个评分者或一位评分者两次以上的评分,可采用肯德尔和谐系数和Kappa系数。肯德尔和谐系数用于等级资料,Kappa系数用于定性资料。

三、提高信度的方法

问卷的信度越高,受到人、时、地、物的干扰就越低,其所能反应事实或让人相信的程度越高,因此在问卷实施前如何有效提高信度是问卷测验成败的关键。通常提高问卷信度的方法为:

1.适当延长问卷的长度

问卷题目较多,其在一定程度上排除了偶然因素的影响,从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加并不总是成正比的,当信度系数较小时,延长问卷长度,问卷的信度系数增加较大;而当信度系数较大时,延长问卷长度对信度系数的影响就较小。

2.问卷的难度适中

当问卷题目难度太大时,问卷得分普遍过低;当问卷题目难度太小时,问卷得分普遍较高。问卷题目太难或太易都会使问卷得分差异减小,使实得分数方差减小,从而降低了问卷的信度。

3.问卷的内容尽量同质

内容同质的问卷,要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度,问卷的内容应尽量保持同质。

4.测验的时间要充分

一份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时,问卷的得分就不能反映答卷者的真实情况。

5.测验的程序要统一

问卷题目要统一,指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一,这些是问卷有较高信度的基本保证。

四.扩展阅读

信度和效度都是问卷调查数据分析前提,但多数情况下,信度和效度互相是有关联的,那效度有哪些影响因素?又如何解决效度底下的问题?我们会在以后进行详细论述。

End.

作者:赵否羲

作者介绍:中国统计网特邀作者,卫生行业的数据分析工作者,对统计理论和实验研究设计者有着丰富的实战经验

公众号:数图之间

本文为中国统计网作者原创文章,转载请在公众号后台联系小编

  • 我的微信公众号
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: