2016/08/08 - [야행하는 리서치] - 8. 실험설계의 종류①

2016/08/13 - [야행하는 리서치] - 9.실험설계의 종류②_진실험설계

준실험설계는 무작위배정에 의한 실험집단과 통제집단의 동질성을 확보할 수 없는 실험설계입니다. 준실험설계에는 다시 어느 정도 인과관계를 추론해볼 수 있는 준실험설계와 인과관계 추론이 어려운 준실험설계로 나누어 볼 수 있습니다.

인과관계를 추론해볼 수 있는 준실험설계에는 비동질적 통제집단설계, 회귀-불연속 설계, 단절적 시계열설계, 통제-시계열설계 등의 방법이 있습니다. 이 중 비동질적 통제집단설계를 제외하면 시장조사보다는 공공정책평가에 좀 더 유용한 설계라고 판단되므로 비동질적 통제집단설계를 살펴보겠습니다.

비동질적 통제집단설계는 조사대상 집단을 두 개로 나누어 한 집단에는 실험처리를 하고 한 집단에는 실험처리를 하지 않고 사전·사후측정을 하는 실험설계입니다. 비동질적 통제집단설계는 통제집단 사전사후측정 설계와 유사하지만 무작위배정을 통한 실험집단과 통제집단의 평균적인 동질성 확보가 이루어지지 않는 점에서 차이가 있습니다. 다만 비동질적 통제집단설계는 짝지우기(matching) 등의 방법을 통해 통제집단을 최대한 실험집단과 유사하게 구성하려는 실험설계입니다.

인과적 추론의 요건을 충족하지 못했다는 점에서 인과관계 추론이 어려운 준실험설계를 전실험설계(pre-experimental design)라고 부르기도 합니다. 전실험설계에는 단일집단사후측정설계, 비동질적집단 사후측정설계, 단일집단 사전사후측정설계 등이 있습니다. 이 중에서 실무에서 빈번하게 적용하는 단일집단사후측정설계를 살펴보겠습니다.

단일집단사후측정설계는 일회성사례연구(one-shot case study)로써 하나의 집단에 실험처리를 하고 그 측정값을 실험결과(effect)로 보는 방법입니다. 예를 들어 광고를 본 후 광고효과를 측정하는 조사가 단일집단사후측정설계 방식에 해당합니다. 단일집단사후측정설계는 성숙요인, 역사요인, 선발요인, 상실요인 등의 내적 타당성의 저해요인을 제어할 수 없어서 인과관계 추론의 타당성을 거의 기대할 수 없습니다.

단일집단사후측정설계는 한계가 분명함에도 불구하고 비교적 비용이 저렴하고 조사기간 역시 절감할 수 있다는 점에서 실무에서는 너무나 빈번하게 활용하고 있습니다. 그러나 단일집단사후측정설계를 적용하면서도 실험결과를 평가하려는 시도는 대단히 모순적이고 이상한 시도입니다. 설문지와 조사설계를 표준화하고 결과를 DB化하여 최소한의 기준을 형성하려는 노력이 필요합니다.

2016/08/08 - [야행하는 리서치] - 8. 실험설계의 종류①

실험설계를 살펴보기 전에 실험설계를 묘사하는 기호들의 의미를 정리해 보면 아래와 같습니다.

진실험설계는 무작위배정을 통해 실험집단과 통제집단의 비교가 가능하고 독립변수가 조작가능하며, 경쟁가설의 통제가 가능한 실험설계를 말합니다. 진실험설계 중 현실적으로 많이 사용하는 설계의 유형에는 통제집단 사후측정 설계가 있습니다.

통제집단 사후측정 설계는 인과적 추론의 저해요인인 역사요인과 성숙요인, 그리고 회귀요인을 제거할 수 있습니다. 그러나, 실험처리 전에 실험집단과 통제집단의 관찰값이 동일한지 여부를 점검할 수 없다는 한계가 있습니다.

통제집단 사후측정 설계가 처리 전 실험집단과 통제집단의 관찰값을 알 수 없다는 점을 보완한 것이 통제집단 사전사후측정 설계 혹은 고전적 실험설계입니다.

통제집단 사전사후측정 설계은 사전측정과 사후측정을 실시하게 되므로 검사요인이 유력한 내적 타당성 저해요인으로 작용하게 됩니다. 진실험설계 중 가장 강력한 실험설계의 유형에는 솔로몬의 4집단실험설계가 있습니다. 솔로몬의 4집단실험설계는 일정 및 비용 상의 문제로 시장조사에서 본격적으로 적용하기에는 한계가 있습니다.

인과적 추론의 조건을 시간적 선행성, 공변화 및 경쟁가설의 배제라고 한다면 인과관계를 규명하기 위해서는 통계적 실험-설문조사 역시 인과적 추론의 조건에 맞게 계획해야 합니다.

그런데, 모든 실험이 인과적 추론의 조건을 충족한다는 것은 현실적으로 어렵고, 실험설계는 인과적 추론의 조건 충족 정도에 따라 진실험 설계, 준실험 설계, 비실험설계로 분류하게 됩니다.

시장조사에 빈번하게 이루어지는 횡단면 조사는 실험집단과 통제집단의 동질성을 확보하는데 한계가 있는 준실험설계에 근거해 이루어지는 경우가 일반적입니다. 검정의 대상이 되는 실험처리를 한 집단을 실험집단(experiment group)이라고 하고 실험처리를 하지 않고 실험집단과 비교하는 집단을 통제집단(control group)이라고 합니다.

진실험설계는 현실의 시장조사에 적용하기에는 무리가 따르지만 진실험설계에 대한 이해는 무척 중요합니다. 왜냐하면 실무에서 적용하는 다양한 실험설계의 준거가 되기 때문입니다. 마치 경제학에서 완전경쟁시장이 현실에 존재하지는 않지만 다양한 불완전경쟁시장에서의 자원배분의 성과를 판단하는데 기준이 되는 것과 유사하다고 생각하면 될 것 같습니다.

지난 2015년에는 실험설계에 대해 아주 기초적인 문제가 출제되었습니다. 미처 깊이있게 이해하지 못했더라도 기본적인 지식만 있으면 손쉽게 답변할 수 있는 문제였습니다.