14. 척도의 평가 - 척도의 타당성과 신뢰성
- 평생학습관/경영지도사 2차
- 2017. 4. 27. 01:00
지난 시간에는 '제9장. 척도의 개발과 평가' 의 내용 중 척도 개발 시 고려해야 할 사항들과 자주 쓰이는 척도의 종류들에 대하여 정리해 보았다. (지난 시간의 정리 내용은 아래 타이틀 하단의 '이전글'을 통하여 확인할 수 있다)
이어서 이번 시간에는 9장의 나머지 부분인 척도의 평가와 관련된 내용을 정리해 보도록 할텐데, 이번 시간의 내용은 중요한 부분이니 필자가 제시하는 암기법 또는 본인만의 암기법을 활용하여 잘 이해하고 암기해야겠다.
그리고 지난 시간에도 강조하였지만, 암기할 때는 핵심 키워드 위주로 암기하고, 또한 전반적인 내용도 이해하여야 한다. 그래야 이것을 풀어서 쓸 때 암기한 핵심 키워드 앞 뒤로 문장을 구성할 수 있다. 만약 키워드만 암기하고 이해가 충분하지 않은 경우에는 서술 형태로 답안을 작성하기가 힘들어지니 유의해야겠다.
--------------------------------------------------
Written by 행복을만드는전략가
독한 세상에서 행복을 만드는 전략과 정보
--------------------------------------------------
Theme
척도의 평가
오류와 타당성 및 신뢰성
Construct는 추상적 변수이므로, Construct를 척도로써 측정한 경우 그 측정이 제대로 이루어졌는지를 평가하는 것은 매우 중요하다. 아래의 식에서처럼 측정값에서는 실제값과 더불어 여러가지 오류가 포함되어 있을 가능성이 있다.
* 측정값 = 실제값 + 체계적 오류 + 비체계적 오류
1. 체계적 오류 (Systematic error) : 측정도구인 척도 자체가 잘못되어 발생하는 오류.
ex> 길이를 재면서 온도계를 이용.
2. 비체계적 오류 (Nonsystematic error) : 측정하는 사람이나 상황으로 인하여 발생하는 오류.
ex> 흔들리는 버스 안에서 길이 측정
3. 척도의 타당성 (Validity) : 척도가 측정대상을 정확하게 측정하는 정도로써, 척도의 타당성이 높을수록 체계적 오류는 낮아진다.
cf. 참고로 '제6장. 실험법' 에서도 타당성이라는 개념이 언급되었는데, 6장에서 언급된 타당성은 실험디자인의 타당성과 관련된 내용이니 혼동하지 않도록 주의해야 겠다. 이 내용은 아래 관련글을 클릭하여 다시 한 번 확인해보자.
※관련글 - 9. 실험법 - 내적타당성, 외적타당성, 외생변수
4. 척도의 신뢰성 (Reliability) : 측정대상을 반복측정을 하여 동일한 결과를 얻는 정도로써, 척도의 신뢰성이 높을수록 비체계적 오류가 낮아진다.
타당성
타당성은 완벽하게 판단할 수 없으나, 아래와 같은 방법들로 타당성을 추정할 수 있다.
cf. 암기법 : '내'가 가진 '기계'가 있었는데, '동예' 라는 부동산중개업자가 '집판이(집을 판 사람)' 에게 그 기계까지 넘겨줘버렸다고 연상시켜 암기하자.
* 내
* 기 : 동예
* 개 : 집판이
* 내용타당성
* 기준타당성 : 동시타당성, 예측타당성
* 개념타당성 : 집중타당성, 판별타당성, 이해타당성
1. 내용 타당성 (Content Validity)
1-1. 개념 : 척도의 내용이 측정하고자 하는 Construct의 전체 영역을 얼마나 잘 대표하는가에 관한 것.
ex> 마케팅조사 시험에서 재무상태표, 포괄손익계산서와 관련된 문제를 내면 내용 타당성이 낮은 것이다.
1-2. 평가 : 내용 타당성에 대한 평가는 주관적일 수 밖에 없다. 따라서 분야 전문가에 의해 평가된 것이나, 기존의 검증된 척도를 사용하는 것이 내용 타당성을 높일 수 있는 방법이다.
2. 기준 타당성 (Criterion-Related Validity)
2-1. 개념 : 척도와 기준변수(종속변수) 간의 상관관계에 관한 것으로써, 척도A가 기준변수B를 측정하여 A와 B간의 상관관계 값이 높게 나왔다면 척도A는 변수B에 대하여 기준 타당성이 높다고 할 수 있다.
2-2. 세부 종류
2-2-1. 동시 타당성 (Concurrent validity) : 척도가 현재시점의 어떤 기준변수를 잘 나타내는 정도.
ex> 고교 졸업 시의 학업성과 (기준변수) :
학업성과를 측정하는 수단으로 내신성적(척도)과 수능성적(척도)이 있을 수 있는데, 이 중 수능성적과 학업성과 간에 높은 상관관계가 나타났다면 수능성적이 내신성적보다 동시타당성이 높다고 할 수 있다.
2-2-2. 예측 타당성 (Predictive validity) : 척도가 미래시점의 어떤 기준변수를 잘 예측하는 정도.
ex> 대학 졸업 시 평점이 높을 것으로 예측되는 학생 선발 (기준변수) :
대학 졸업생들의 과거 고교 내신성적(척도) 및 수능성적(척도)과 그들의 졸업평점 간의 상관관계를 조사한 결과, 수능성적 쪽에 더 높은 상관관계가 나타났다면, 수능성적이 내신성적보다 예측타당성이 높다고 할 수 있다.
3. 개념 타당성 (Construct 타당성 _ Construct Validity)
3-1. 개념 : 척도가 측정하고자 하는 Construct를 얼마나 정확하게 측정하는가에 관한 것.
3-2. 세부 종류
3-2-1. 집중 타당성 (Convergent validity) : 한 Construct를 측정하기 위하여 둘 이상의 서로 다른 척도로 측정했을 때 각 측정값 간의 상관관계의 절대값이 클수록 집중타당성이 높다.
3-2-2. 판별 타당성 (Discriminant validity) : 둘 이상의 Construct를 측정하기 위하여 각각의 척도로 측정했을 때 각 측정값 간의 상관관계의 절대값이 작을수록 판별타당성이 높다.
3-2-3. 이해 타당성 (Nomological validity) : 여러 유사 개념들을 모두 측정할 수 있는 척도일수록 이해타당성이 높다.
ex> 체력을 측정하기 위해서는 체력을 구성하는 여러 요소들인 지구력, 순발력, 유연성 등을 측정하여야 하는데, 이런 개념들 모두를 측정할 수 있는 척도 A가 있다면 척도 A는 이해타당성이 높은 척도라고 할 수 있다.
신뢰성
신뢰성을 평가하는 방법들은 아래와 같다.
cf. 암기법 : 재복반내
(평소 신뢰도가 높은 직원이 있었는데, 그 직원이 큰 계약을 따 내자 동료들은 평소에 신뢰가 높아서 그런 것이라며 이구동성 "쟤 복 받네"라고 말하였다고 연상시켜 암기하자)
1. 재검사법 (반복측정 신뢰성 _ Test-Retest Reliability)
1-1. 개념 : 측정대상을 동일한 척도로 2회 이상 시간차를 두고 재검사 해보는 방법이다.
1-2. 장점 : 척도의 안정성 평가 가능.
1-3. 단점 : 시간차가 길어지면 우발적사건(역사적오염) 등의 여러 외생변수들로 인하여 응답자의 태도 자체가 바뀔 수 있고, 시간차가 짧으면 주시험효과가 발생할 수 있다. 결국 시간간격을 어떻게 설정하더라도 외생변수의 개입을 완전하게 막을 수 없다.
2. 복수양식법 (동등양식법, 평행법, 대안항목신뢰성 _ Alternative-Form Reliability)
2-1. 개념 : 재검사법의 단점인 주시험효과를 제거하기 위하여 매우 유사하지만 다른 척도(유사하지만 다른 항목)로 재검사를 해보는 방법이다.
2-2. 장점 : 재검사법의 단점 보완
2-3. 단점 : 유사하다고 하더라도 기존항목과 대안항목 간의 동등성이 떨어질 수 있고, 유사하면서 다른 대안항목을 개발하기가 쉽지 않다.
3. 반분법 (양분법 _ Split-Halves)
3-1. 개념 : 내적일관성을 확인해보기 위한 방법 중의 하나로 다항목으로 구성된 척도를 둘로 양분하여 이 둘 간의 상관관계가 높다면 내적일관성이 높다고 보는 방법이다.
3-2. 장점 : 내적일관성을 확인할 수 있는 방법
3-3. 단점 : 어떻게 분할(양분)하느냐에 따라 결과값이 달라지는 문제가 발생할 수 있다.
4. 내적일관성 (Internal Consistency)
4-1. 개념 : 한 Construct를 다항목 척도로 측정했을 때 항목들이 일관성을 갖는가에 관한 것으로써, 항목들 간의 상관관계가 높을수록 척도의 내적일관성이 높다고 할 수 있다.
4-2. 내적일관성 평가방법 : 반분법과 Cronbach's α가 있으며, Cronbach's α 계수가 절대적으로 많이 사용된다.
4-3. Cronbach's α (크론바흐의 알파)
4-3-1. 개념 : 모든 항목들 간의 상관관계 값들의 평균값.
4-3-2. Cronbach's α 계수를 구하는 공식 :
4-3-3. 평가 :
4-3-3-1. α 계수는 0에서 1 사이의 값을 가지고, 이 값이 높을수록 바람직하다.
4-3-3-2. 보통 0.8 이상이면 바람직하다고 본다.
4-3-3-3. α 계수가 낮을 경우는 일부 항목을 제거함으로써 계수 값을 높여 내적일관성을 높일 수 있다.
4-3-4. SPSS 프로그램에서 Cronbach's α 계수가 낮을 경우 항목을 제거하는 방법.
위는 SPSS 프로그램을 사용하여 Cronbach's α를 계산한 결과이다.
표 1에서 α 계수는 0.712로 나왔는데, 'nfc7' 항목을 삭제시키는 경우 Cronbach's α 계수는 0.762로 향상됨을 알 수 있다. 결국 오른쪽 끝 열의 '항목이 삭제된 경우 Cronbach's α' 열의 수치 중 가장 높은 수치를 제거하면 그 수치만큼 Cronbach's α 값이 증가함을 나타낸다.
표 1에서 'nfc7' 항목을 삭제한 결과 표 2에서 α 계수가 0.762로 상승되었지만, 'nfc6' 항목을 삭제하면 추가적으로 0.844까지 수치가 상승됨을 알 수 있다. 이 경우 'nfc6' 항목도 삭제한다.
이런 식으로 항목을 삭제하는 작업을 계속하다가 더이상 특정 항목을 삭제하여도 Cronbach's α 계수가 상승하지 않는다면 항목을 삭제하는 작업을 멈추면 된다.
위의 예에서는 'nfc7'과 'nfc6' 항목을 삭제함으로써, Cronbach's α 계수를 가장 높일 수 있었다.
cf. 참고로 척도의 신뢰성 평가방법에 대하여 답안을 작성할 때에는 반분법과 Cronbach's α 두 가지 방법 모두 내적일관성을 평가하기 위한 도구이므로, 암기할 때는 '재복반내' 로 암기하였지만 답안 작성 시에는 내적일관성을 먼저 기술하고 내적일관성을 평가하기 위한 세부방법으로 반분법과 Cronbach's α 가 있다고 작성하는 것이 바람직하겠다.
타당성과 신뢰성 향상방법
1. 타당성 향상방법
1-1. 측정대상에 대한 명확한 정의가 필요하다.
ex> 상표충성도를 구매행동 만으로 개념화할 것인지, 이에 더하여 태도까지 개념화할 것인지.
1-2. 측정대상에 대하여 이해도가 높은 사람이 척도를 개발하고 평가하도록 한다.
1-3. 집중타당성을 평가하여 상관관계가 높은지 확인해본다.
1-4. 정확한 의미전달을 위하여 용어사용에 신중을 기한다.
ex> '기대'라는 말은 '바램'과 '예상' 두 가지 의미로 받아들일 수 있다.
1-5. 기존에 개발되어 타당성이 있는 것으로 받아들여지는 척도를 이용한다.
2. 신뢰성 향상방법
2-1. Cronbach's α 값을 계산하여 내적일관성을 조사해본다. 일반적으로 항목이 많을수록, 척도점의 수가 많을수록 Cronbach's α 값이 커지는 경향이 있으나, 이 경우 응답이 어려워질 수 있으므로 적당히 조절한다.
2-2. Cronbach's α 값이 낮게 나오는 경우 일부 항목을 제거함으로써, Cronbach's α 값을 높일 수 있다.
2-3. Cronbach's α 값을 맹신해서는 안된다. 경우에 따라 항목들 간의 상관관계가 낮더라도 오히려 측정대상을 더 잘 측정하는 경우도 있으니 Cronbach's α 를 사용할 때에는 신중해야 한다.
ex> 사회계층은 재산, 소득, 학벌, 직업 등으로 개념화할 때, 이들 간에는 상관관계가 낮아 Cronbach's α 값이 낮게 나오겠지만, 실질적으로는 사회계층을 측정하는데 적합한 항목들이라고 볼 수 있다.
2-4. 기존에 개발되어 신뢰성이 있는 것으로 받아들여지는 척도를 이용한다.
2-5. 재검사법이나 복수양식법에 의하여 신뢰성 평가를 해본다.
