구성개념 타당성은 동일개념을 다른 방법을 측정했을 경우의 상관성 정도를 의미하는 수렴적 타당성과 다른 개념에 대해 동일한 측정방법 혹은 다른 측정방법을 적용했을 경우 측정값의 차별화정도를 의미하는 차별적 타당성으로 분류할 수 있습니다. 차별적 타당성은 다변량 분석 중 요인분석을 통해 파악할 수 있습니다. 요인분석은 항목들 간의 상관관계가 높은 것끼리 묶어 공통요인을 추출하는 분석방법입니다. 일반적으로 항목의 요인적재값(factor-loading) 즉 항목 중 상위요인이 설명하는 부분이 0.6이상이면 해당요인에 속하는 것으로 판단합니다. 요인분석을 통해 원래 의도한대로 하나의 개념으로 분류한 항목들이 동일한 요인으로 잘 묶이고 다른 개념으로 분류한 항목들은 다른 요인으로 묶이면 타당성이 있는 것으로 판단하게 됩니다. 다만 요인분석은 등간척도 이상에서만 적용가능하다는 한계가 있습니다.

측정의 타당성이란 측정도구가 측정하고자 하는 추상적 개념을 얼마나 잘 반영하고 있는지를 나타내는 개념입니다. 측정의 타당성은 흔히 구성개념 타당성이라고도 하며 추상적인 개념과 측정지표 간의 일치 정도를 말합니다. 

구성개념 타당성은 동일개념을 다른 방법을 측정했을 경우의 상관성 정도를 의미하는 수렴적 타당성과 다른 개념에 대해 동일한 측정방법 혹은 다른 측정방법을 적용했을 경우 측정값의 차별화정도를 의미하는 차별적 타당성으로 분류할 수 있습니다. 차별적 타당성은 다변량 분석 중 요인분석을 통해 파악할 수 있습니다.  

요인분석은 항목들간의 상관관계가 높은 것끼리 묶어 공통요인을 추출하는 분석방법입니다. 일반적으로 항목의 요인적재값(factor-loading) 즉 항목 중 상위요인이 설명하는 부분이 0.6이상이면 해당요인에 속하는 것으로 판단합니다. 요인분석을 통해 원래 의도한대로 하나의 개념으로 분류한 항목들이 동일한 요인으로 잘 묶이고 다른 개념으로 분류한 항목들은 다른 요인으로 묶이면 타당성이 있는 것으로 판단하게 됩니다. 다만 요인분석은 등간척도 이상에서만 적용가능하다는 한계가 있습니다.

측정의 타당성을 높이기 위해서는 시장과 소비자에 대한 사전 지식을 충분히 습득하고 탐색적 조사를 적극적으로 활용해야 합니다. 그리고 측정 항목은 가급적 선행조사에서 확인된 측정방법을 이용하는 것이 좋습니다.

측정의 신뢰성과 타당성 영역은 최근 5년내 출제 점유율에 비해 최근 2년 이내 출제 점유율이 낮으므로 다소 관심을 기울일 필요가 있습니다. 특히, 신뢰성보다는 타당성에 대해 좀 더 높은 관심을 가져야 겠습니다.

2013년 【문제 3】 측정결과에 대한 척도의 신뢰성(reliability)과 타당성(validity)을 설명하고 신뢰성과 타당성의 관계를 설명하시오.(10점)

타당성은 측정도구와 방법에 관한 개념이고, 신뢰성은 타당성보다는 포괄적인 개념.

체계적 오차는 타당성과 관련된 개념으로 어느 대상을 측정하여도 항상 동일한 크기 와 방향으로 발생하는 오차. 반면, 비체계적인 오차는 신뢰성과 관련된 개념으로 측정 도구와 관계없이 측정상황에 따라 발생하는 오차.

타당성이 낮은 측정도구를 사용하게 되면 측정결과는 측정대상의 실제값과 괴리. 신뢰성이 낮은 경우에는 여러 번 반복해서 측정하더라도 측정한 결과값이 서로 유사하게 나타나지 않음. 정확한 측정을 위해서는 타당성이 높은 측정도구와 방법, 신뢰성 높은 측정이 필요함.

아래 2015년 측정의 신뢰성을 묻는 문제를 보면, 겉보기에는 매우 어려워 보이지만 사실 문제의 통계분석 결과표는 사회과학방법론이나 통계분석프로그램 관련 서적에서 흔하게 볼 수 있는 표를 조금 보기 쉽게 수정한 것입니다. 통계분석프로그램을 잘 알지 못하더라도 측정의 신뢰성을 정확하게 이해하고 있으면 누구라도 답변할 수 있는 문제입니다.

간혹, 통계분석결과가 시장조사론 문제에서 제시되는 경우가 있는데, 수험생 여러분들은 당황하실 필요가 없습니다. 통계분석프로그램을 몰라도 문제를 해결할 수 있는 경우가 대부분이기 때문입니다. 그러니 통계분석결과에 부담을 가지지 말고, 익숙해진다는 각오를 가지는 것이 좋습니다. 익숙하지 않은 형식의 문제와 내용이 어려운 문제는 구분해야 합니다.

2012년 【문제 5】 측정항목의 신뢰성 분석 결과 다음과 같은 통계량을 얻었다. 신뢰도를 높이는 방법과 그 이유를 설명하시오.(10점)