2016/08/08 - [야행하는 리서치] - 8. 실험설계의 종류①

2016/08/13 - [야행하는 리서치] - 9.실험설계의 종류②_진실험설계

준실험설계는 무작위배정에 의한 실험집단과 통제집단의 동질성을 확보할 수 없는 실험설계입니다. 준실험설계에는 다시 어느 정도 인과관계를 추론해볼 수 있는 준실험설계와 인과관계 추론이 어려운 준실험설계로 나누어 볼 수 있습니다.

인과관계를 추론해볼 수 있는 준실험설계에는 비동질적 통제집단설계, 회귀-불연속 설계, 단절적 시계열설계, 통제-시계열설계 등의 방법이 있습니다. 이 중 비동질적 통제집단설계를 제외하면 시장조사보다는 공공정책평가에 좀 더 유용한 설계라고 판단되므로 비동질적 통제집단설계를 살펴보겠습니다.

비동질적 통제집단설계는 조사대상 집단을 두 개로 나누어 한 집단에는 실험처리를 하고 한 집단에는 실험처리를 하지 않고 사전·사후측정을 하는 실험설계입니다. 비동질적 통제집단설계는 통제집단 사전사후측정 설계와 유사하지만 무작위배정을 통한 실험집단과 통제집단의 평균적인 동질성 확보가 이루어지지 않는 점에서 차이가 있습니다. 다만 비동질적 통제집단설계는 짝지우기(matching) 등의 방법을 통해 통제집단을 최대한 실험집단과 유사하게 구성하려는 실험설계입니다.

인과적 추론의 요건을 충족하지 못했다는 점에서 인과관계 추론이 어려운 준실험설계를 전실험설계(pre-experimental design)라고 부르기도 합니다. 전실험설계에는 단일집단사후측정설계, 비동질적집단 사후측정설계, 단일집단 사전사후측정설계 등이 있습니다. 이 중에서 실무에서 빈번하게 적용하는 단일집단사후측정설계를 살펴보겠습니다.

단일집단사후측정설계는 일회성사례연구(one-shot case study)로써 하나의 집단에 실험처리를 하고 그 측정값을 실험결과(effect)로 보는 방법입니다. 예를 들어 광고를 본 후 광고효과를 측정하는 조사가 단일집단사후측정설계 방식에 해당합니다. 단일집단사후측정설계는 성숙요인, 역사요인, 선발요인, 상실요인 등의 내적 타당성의 저해요인을 제어할 수 없어서 인과관계 추론의 타당성을 거의 기대할 수 없습니다.

단일집단사후측정설계는 한계가 분명함에도 불구하고 비교적 비용이 저렴하고 조사기간 역시 절감할 수 있다는 점에서 실무에서는 너무나 빈번하게 활용하고 있습니다. 그러나 단일집단사후측정설계를 적용하면서도 실험결과를 평가하려는 시도는 대단히 모순적이고 이상한 시도입니다. 설문지와 조사설계를 표준화하고 결과를 DB化하여 최소한의 기준을 형성하려는 노력이 필요합니다.