2013. 7. 29.

메타분석 참고자료

<효과크기의 선정>
1. post, 실험-통제
2. post, 실험-비교
3. post, 실험-baseline group
4. 실험, post-pre
5. post, 실험-baseline group
(Norris & Ortega, 2000 p. 446)

1. post, 실험-통제
2. post, 실험s-통제
3. (사전 동질성 확보가 되지 않았을 경우), 실험, post-pre
4. (pretest data가 제시되지 않았을 경우), post, 실험-통제
5. (실험집단만 있을 경우) 실험, post-pre
(Jeon & Kaya, 2006, p. 178)



"A third option is to include only published studies." (Light & Pillemer, 1984, p. 163)
"3. Is there publication bias?" (Light & Pillemer, 1984, p. 164)


Taking a vote (Light & Pillemer, 1984, p. 74)
Vote Counding - A New Name for an Old Problem (Borenstein et al., 2009, p. 251)


<동질성 검정 통계(Q)>
"Q 검사(Q test, Test of Consistency or homogeneity)는 동질성 검사 또는 효과 크기의 일관성 검사로서, 모든 효과 크기들이 동일한 모집단 평균값을 추정하고 있는가의 여부를 검정한다. 만약 동질성 검정이 실패한다면, 이는 효과 크기들의 분포가 이질적임을 뜻하기 때문에, 이를 해결하기 위해 표집오차 이외에 또 다른 랜덤오차 요인을 첨가한 랜덤효과 모형(random effects model)을 사용할 수 있다(오성삼, 2002). 또한 평균 효과 크기의 비교에 있어 이질 부노의 한계를 보완하기 위하여 ANOVA의 접근 논리와 수정된 가중치를 적용한 회기분석의 논리를 혼합한 혼합효과 모형(mixed effects model)을 활용할 수 있다.
본 연구에서는 위와 같은 Q 검사를 두 가지 용도로 활용하였다. 먼저 전체 평균 효과 크기를 산출하는데 있어 랜덤효과 모형을 채택할 것인가를 결정하는데 사용하였다. 다음으로 각 변인별평균 효과 크기 사이에 통계적 차이가 존재하는지 비교하는 용도로서 Q 검사를 활용하였는데, 이때는 혼합효과 모형을 채택하여 동질적이지 않은 연구 결과에서 발생할 수 있는 오류를 최소화하였다."(이제영, 2012, p. 90)


<역변량 가중치(w)의 활용>
"메타분석은 연구 결과별로 개별 효과 크기를 산출한 후, 효과 크기들을 종합한 평균 효과 크기를 산출하는 방법으로 진행돈다. 효과 크기는 다양한 연구 결과들을 수량적으로 통합하여 분석하고자 할 때, 서로 다른 척도와 통계적 방법을 사용하여 얻어진 개별 연구 결과들을 하나의 공통 척도로 나타내어 주는 표준화된 평균치의 방법이라고 할 수 있다 .본 연구의 대상이 된 개별 연구물들은 기술 통계값이 제시되어 있으므로, 각 연구물들의 효과 크기를 알아보기 위해 비교집단과 실험집단, 또는 사전검사와 사후검사의 평균과 표준편차를 비교하여 개별 효과 크기를 산출하였다.
이때 연구마다 사례수가 다르고 연구의 질 역시 동일하지 않기 때문에 사례수가 큰 연구와 질이 높은 연구에는 가중치를 부여해 주어 메타분석에서 생기는 오류를 완화시켜야 한다. 가중치를 적용하는 방법의 한 가지로 표준오차의 역수를 가중치로 사용하는 역변량 가중치(w)를 활용하는 방법이 보다 안정된 가중치를 제공하는 방법으로 평가되고 있다(오성삼, 2002). 이에 본 연구에서도 평균 효과 크기 산출시 연구의 질을 고려한 역변량 가중치를 적용하였다." (이제영, 2012, p. 90)

<평균 효과 크기의 해석>
"역변량 가중치를 사용해 평균 효과 크기가 산출되면, 그 결과의 해석은 1) 평균 효과 크기의 95% 신뢰구간, 2) z값, 3) U3 지수(비중복 백분위수: percentile of nonoverlap) 등을 통해 검증할 수 있다. 이 때 평균 효과 크기의 95% 신뢰구간에 0이 포함되어 있지 않은 경우, 산출된 z 의 절대값이 1.96보다 큰 경우에 산출된 효과 크기가 통계적으로 유의미한 것으로 판단하게 된다. U3 지수는 효과크기를 z 점수로 보고 표준정규분포표(normal distribution table)에서 누적 면적에 해당하는 값을 찾아, 이 값을 백분위수(percentile)로 나타낸 것이다." (이제영, 2012, p. 91)


Reference

  • 이제영 (2012). 코퍼스 기반 국내 CALL 연구의 동향: 메타분석을 통한 효과 분석. Multimedia-Assisted Language Learning, 15(3), 83-111.
  • Borenstein, m., Hedge, L. V., Higgins, j. P. T., & Rothestein, H. R. (2009). Introduction to meta-analysis. West Sussex, UK: John Wiley & Sons, Ltd.
  • Jeon, E. H., & Kaya, T. (2006). Effects of L2 instruction on interlanguage pragmatic development. In J. M. Norris & L. Ortega (Eds.), Synthesizing research on language learning and teaching (pp. 165-211). Amsterdam: John Benjamins.
  • Light, R. J., & Pillemer, D. B. (1984). Summing up: The science of reviewing research. Cambridge, MA: Harvard University Press.
  • Norris, J. M., & Ortega, L. (2000). Effectiveness of L2 instruction: A research synthesis and quantitative meta-analysis. Language Learning, 50, 417-528.

댓글 없음:

댓글 쓰기