구성개념 타당성은 동일개념을 다른 방법을 측정했을 경우의 상관성 정도를 의미하는 수렴적 타당성과 다른 개념에 대해 동일한 측정방법 혹은 다른 측정방법을 적용했을 경우 측정값의 차별화정도를 의미하는 차별적 타당성으로 분류할 수 있습니다. 차별적 타당성은 다변량 분석 중 요인분석을 통해 파악할 수 있습니다. 요인분석은 항목들 간의 상관관계가 높은 것끼리 묶어 공통요인을 추출하는 분석방법입니다. 일반적으로 항목의 요인적재값(factor-loading) 즉 항목 중 상위요인이 설명하는 부분이 0.6이상이면 해당요인에 속하는 것으로 판단합니다. 요인분석을 통해 원래 의도한대로 하나의 개념으로 분류한 항목들이 동일한 요인으로 잘 묶이고 다른 개념으로 분류한 항목들은 다른 요인으로 묶이면 타당성이 있는 것으로 판단하게 됩니다. 다만 요인분석은 등간척도 이상에서만 적용가능하다는 한계가 있습니다.

대학 교육 만족도 조사나 공공기관의 고객 및 직원 만족도 조사를 수행하다 보면 이 설문지는 이런 점이 문제가 좀 있는 것 같다는 생각이 들 때가 있습니다. 그런 사례를 원문을 조금 변경해 열거해 보았습니다.

사례에서와 같이 설문조사의 외양을 갖추고 있으나 응답자의 의견을 공정하게 질문하는 것이 아니라 응답자에게 어떤 편향성을 유도하는 내용이라면 설문조사 결과는 의사결정의 품질을 개선하는데 기여할 수 없습니다.

일반적으로 대학이나 공공기관의 고객 만족도 조사는 연간 1회 내지 2회 정도 실시하게 되는데 대체로 해당 기관의 모든 시설 및 서비스 내용을 포괄하다 보니 설문지의 분량이 조사 대상자의 인내심을 넘어서는 경우도 가끔 발생하게 됩니다. 지나치게 긴 설문지는 straight liner나 speeder와 같은 불성실응답을 양산합니다.

그러므로 어느 정도 조사결과를 축적했다면 요인분석을 통해 조작적 정의에 부합하지 않는 문항은 선별한 후 전반적 만족도에 미치는 영향과 관리 상의 중요성을 고려하여 삭제 여부를 고려해야 할 것입니다.

문항에 대한 통계적 분석 결과에도 불구하고 관리상의 중요성 등을 고려할 때 설문의 수정이 어렵다면 로테이션, 설문지 책형 구분 등 설문지의 구성을 최대한 개선하여 응답자의 불성실 응답이 설문 조사 결과에 미치는 영향을 평균적으로 제어하는 것이 좋습니다.

측정의 타당성이란 측정도구가 측정하고자 하는 추상적 개념을 얼마나 잘 반영하고 있는지를 나타내는 개념입니다. 측정의 타당성은 흔히 구성개념 타당성이라고도 하며 추상적인 개념과 측정지표 간의 일치 정도를 말합니다. 

구성개념 타당성은 동일개념을 다른 방법을 측정했을 경우의 상관성 정도를 의미하는 수렴적 타당성과 다른 개념에 대해 동일한 측정방법 혹은 다른 측정방법을 적용했을 경우 측정값의 차별화정도를 의미하는 차별적 타당성으로 분류할 수 있습니다. 차별적 타당성은 다변량 분석 중 요인분석을 통해 파악할 수 있습니다.  

요인분석은 항목들간의 상관관계가 높은 것끼리 묶어 공통요인을 추출하는 분석방법입니다. 일반적으로 항목의 요인적재값(factor-loading) 즉 항목 중 상위요인이 설명하는 부분이 0.6이상이면 해당요인에 속하는 것으로 판단합니다. 요인분석을 통해 원래 의도한대로 하나의 개념으로 분류한 항목들이 동일한 요인으로 잘 묶이고 다른 개념으로 분류한 항목들은 다른 요인으로 묶이면 타당성이 있는 것으로 판단하게 됩니다. 다만 요인분석은 등간척도 이상에서만 적용가능하다는 한계가 있습니다.

측정의 타당성을 높이기 위해서는 시장과 소비자에 대한 사전 지식을 충분히 습득하고 탐색적 조사를 적극적으로 활용해야 합니다. 그리고 측정 항목은 가급적 선행조사에서 확인된 측정방법을 이용하는 것이 좋습니다.

2011년 【 문제 2 】 다음은 요인분석(factor analysis)에 관한 질문이다.

1) 요인분석의 목적과 방법에 대해 논하시오. (12점)

요인분석은 여러 개체 중에서 유사한 속성을 지닌 대상을 몇 개의 집단으로 구분하여 전체 자료의 구조를 이해하고자 하는 탐색적 분석방법. 변수의 축소를 목적으로 하는 요인분석의 경우 알려진 요인을 검증하는 확인적 분석과 새로운 요인을 추출하는 탐색적 요인분석 방법이 있음. 탐색적 요인분석에는 다시 주성분분석과 공통요인분석이 있음.

2) 요인분석에 사용할 수 있는 변수들이 갖추어야 할 조건을 쓰시오.(9점)

요인분석에 사용하는 변수는 모두 등간척도 이상의 연속형 변수여야 하며,

입력변수들은 서로 독립적인 정규분포를 따르고 변수별로 등분산가정을 충족해야 함.

관측치의 사례수는 최소한 변수의 3배 이상이 되어야 하고

입력변수 간에는 어느 정도 수준이상의 상관관계가 있어야 함.

3) 아이겐값(eigen value)과 커뮤낼러티(communality) 값이 갖고 있는 통계적 의미와 두 값의 관계에 대해서 설명하시오.(9점)

요인분석에서 아이겐 값과 커뮤낼러티를 이해하기 위해서는 요인적재값(factor loading)을 알아야 함. 요인적재값(factor loading)이란 변수와 요인간의 상관계수를 의미함.

커뮤낼러티(공통성, communality)란 추출된 요인이 변수가 가지는 분산의 몇 %를 설명할 수 있는가를 나타낸 값으로 변수와 요인들 간의 요인적재값(factor loading)을 제곱한 값들의 합.

아이겐값(eigen value)란 추출한 한 요인이 설명하는 총변량으로 입력변수들의 요인적재값(factor loading)을 제곱한 값들의 합.

즉 요인적재값을 변수의 관점에서 공통요인으로 얼마나 설명할 수 있는가를 파악한 것이 커뮤낼러티라면 각 요인의 관점에서 얼마나 많은 변수를 설명하는가를 파악한 것이 아이겐값(eigen value)임. 요인분석에서는 일반적으로 아이겐 값이 1이상인 요인만을 선택함.   

<요인분석 핵심정리>

요인분석은 회귀분석과 함께 다변량 분석 중 출제될 가능성이 높은 분석방법입니다. 이미 출제된 바 있을 뿐만 아니라 시장조사 실무와 학계의 연구에서 빈번하게 활용하는 방법이므로 일별할 필요가 있겠습니다.

1. 요인분석의 개념

▶ 변수 상호간의 연관성을 분석하여, 변수들에게 공통적으로 작용하는 요인을 추출하여 전체 자료를 대변하게 하여 변수의 수를 줄이는 분석방법

2. 요인분석의 기본가정

① 요인분석에서 사용하는 변수들은 모두 연속형 변수

(등간척도나 비율척도로 측정한 양적 변수)