2016/08/08 - [야행하는 리서치] - 8. 실험설계의 종류①

2016/08/13 - [야행하는 리서치] - 9.실험설계의 종류②_진실험설계

준실험설계는 무작위배정에 의한 실험집단과 통제집단의 동질성을 확보할 수 없는 실험설계입니다. 준실험설계에는 다시 어느 정도 인과관계를 추론해볼 수 있는 준실험설계와 인과관계 추론이 어려운 준실험설계로 나누어 볼 수 있습니다.

인과관계를 추론해볼 수 있는 준실험설계에는 비동질적 통제집단설계, 회귀-불연속 설계, 단절적 시계열설계, 통제-시계열설계 등의 방법이 있습니다. 이 중 비동질적 통제집단설계를 제외하면 시장조사보다는 공공정책평가에 좀 더 유용한 설계라고 판단되므로 비동질적 통제집단설계를 살펴보겠습니다.

비동질적 통제집단설계는 조사대상 집단을 두 개로 나누어 한 집단에는 실험처리를 하고 한 집단에는 실험처리를 하지 않고 사전·사후측정을 하는 실험설계입니다. 비동질적 통제집단설계는 통제집단 사전사후측정 설계와 유사하지만 무작위배정을 통한 실험집단과 통제집단의 평균적인 동질성 확보가 이루어지지 않는 점에서 차이가 있습니다. 다만 비동질적 통제집단설계는 짝지우기(matching) 등의 방법을 통해 통제집단을 최대한 실험집단과 유사하게 구성하려는 실험설계입니다.

인과적 추론의 요건을 충족하지 못했다는 점에서 인과관계 추론이 어려운 준실험설계를 전실험설계(pre-experimental design)라고 부르기도 합니다. 전실험설계에는 단일집단사후측정설계, 비동질적집단 사후측정설계, 단일집단 사전사후측정설계 등이 있습니다. 이 중에서 실무에서 빈번하게 적용하는 단일집단사후측정설계를 살펴보겠습니다.

단일집단사후측정설계는 일회성사례연구(one-shot case study)로써 하나의 집단에 실험처리를 하고 그 측정값을 실험결과(effect)로 보는 방법입니다. 예를 들어 광고를 본 후 광고효과를 측정하는 조사가 단일집단사후측정설계 방식에 해당합니다. 단일집단사후측정설계는 성숙요인, 역사요인, 선발요인, 상실요인 등의 내적 타당성의 저해요인을 제어할 수 없어서 인과관계 추론의 타당성을 거의 기대할 수 없습니다.

단일집단사후측정설계는 한계가 분명함에도 불구하고 비교적 비용이 저렴하고 조사기간 역시 절감할 수 있다는 점에서 실무에서는 너무나 빈번하게 활용하고 있습니다. 그러나 단일집단사후측정설계를 적용하면서도 실험결과를 평가하려는 시도는 대단히 모순적이고 이상한 시도입니다. 설문지와 조사설계를 표준화하고 결과를 DB化하여 최소한의 기준을 형성하려는 노력이 필요합니다.

2016/08/08 - [야행하는 리서치] - 8. 실험설계의 종류①

실험설계를 살펴보기 전에 실험설계를 묘사하는 기호들의 의미를 정리해 보면 아래와 같습니다.

진실험설계는 무작위배정을 통해 실험집단과 통제집단의 비교가 가능하고 독립변수가 조작가능하며, 경쟁가설의 통제가 가능한 실험설계를 말합니다. 진실험설계 중 현실적으로 많이 사용하는 설계의 유형에는 통제집단 사후측정 설계가 있습니다.

통제집단 사후측정 설계는 인과적 추론의 저해요인인 역사요인과 성숙요인, 그리고 회귀요인을 제거할 수 있습니다. 그러나, 실험처리 전에 실험집단과 통제집단의 관찰값이 동일한지 여부를 점검할 수 없다는 한계가 있습니다.

통제집단 사후측정 설계가 처리 전 실험집단과 통제집단의 관찰값을 알 수 없다는 점을 보완한 것이 통제집단 사전사후측정 설계 혹은 고전적 실험설계입니다.

통제집단 사전사후측정 설계은 사전측정과 사후측정을 실시하게 되므로 검사요인이 유력한 내적 타당성 저해요인으로 작용하게 됩니다. 진실험설계 중 가장 강력한 실험설계의 유형에는 솔로몬의 4집단실험설계가 있습니다. 솔로몬의 4집단실험설계는 일정 및 비용 상의 문제로 시장조사에서 본격적으로 적용하기에는 한계가 있습니다.

서베이몽키 GOLD 계정 이상에서는 응답자를 무작위로 배치하여 각 응답자에게 서로 다른 이미지나 텍스트를 보여 줄 수 있습니다. 서베이몽키 설문 텍스트 유형에서는 동영상 링크 삽입이 가능하므로 동영상 역시 무작위로 할당 가능합니다.

무작위할당(random asignment) 기능은 실험설계에서 중요한 의미를 가집니다. 인과관계를 확정하기 위해서는 공변화와 시간적 선행성 외에 경쟁가설의 배제가 가능해야 하는데 이 무작위할당을 적용함으로써 비교하고자 하는 두 집단은 관심 있는 처리효과 외에 다른 특성은 평균적으로 동일하다고 볼 수 있어 두 집단의 차이를 설명해주는 다른 경쟁가설을 제어할 수 있기 때문입니다. 예를 들어 광고모델이 애니메이션 캐릭터, 교육전문가, 일반인으로 구분하고 모델에 따라 광고에 대한 호감도에 차이가 있는지 알아보고자 한다면 표본의 설문응답자가 각각의 서로 다른 모델을 기용해 제작한 광고를 볼 확률이 동일해야 합니다. 그렇지 않다면 과연 광고에 대한 호감도의 차이가 모델 때문인지 판단하기 어렵게 됩니다.

서베이몽키 설문디자인 작성기에서 이미지 A/B테스트를 선택한 후 무작위 할당할 이미지를 업로드하면 이미지가 동일한 확률로 응답자가 보는 설문에 무작위로 노출하게 됩니다.

아래 서베이몽키 웹링크에서 무작위로 이미지가 노출되는 것을 확인해 보십시오.

https://ko.research.net/r/QLTPVM6

궁금한 점이 있으면 아래 버튼을 클릭해 주세요. 성실하게 답변드리겠습니다!