2012/04/04

2012. 4. 4 영어교육연구방법론 note 4

The value and practice of research synthesis for language learning and teaching
John M. Norris and Lourdes Ortega


-우리의 목적/의문은 straightforward 하지만 그 연구는 complex, vast 함.
-다양한 methodologies 가 활용되어 지식이 축적되어가고 있는데, 이젠 어떻게 잘 할 것인가? 답이 뭘까? 에 대해 묻기 시작함.
-Research synthesis : systematic secondary review of accumulated primary research studies


-secondary research : to review the available literature at important watershed points in the progress of a research domain


-종류 : narrative review, authoritative tour, comprehensive bibliographical review, vote-counting review, historiographical review, integrative review, critical review
-각각의 목적과 방식이 있음

-research synthesis : pursues a systematic understanding of the state of accumulated knowledge; its foremost purpose is to integrate available research
-1970s review들의 문제점 때문에 research synthesis 등장

-3특징 : includes an explicit articulation of how the relevant literature was searched and how primary studies were selected for review / focuses on the actual variables, characteristics, annd data reported in primary studies, rather than on the study-specific conclusions offered by primary researchers / compiles findings and seeks generalizations by examining categories of data and methodology that cut across studies, in order to create as systematic a depiction as possible about what we know, what we do not know, and why
-"riview-as-research" perspective

-상황에 따라 다양한 form을 취할 수 있음












(수업)

영어교육계에서 정말 무슨 일이 있었을까?!







narrative review--------------------------------------------------Meta-Analysis



-------------systematic synthesis--------









매타분석이 영어교육쪽에 들어온 지는 정말 얼마 되지 않았음

워딩이 쓰이긴 했지만, 실제 매타 분석이 아니었음 (예전)

아주 새로운 방법론임.











- idiosyncratic methodology! 어떻게 systematic 한가? 어떤 방식으로 연구를 해서 결론에 도달했는지 알 수가 없음. 결론을 내는데 과연 quality 가 확보될랑가.

-증거가 무얼 말하는가? 누구에 의해서? 누가 맞아?

-e.g. Ferris vs. Truscott

-해결책 : Methods for reviewing, making the ‘art’ into a ‘science’







Systematic

More than the sum of the parts 모았을 때 훨씬 더 큰, 다른 무언가를 보여줘야 함

Replicable







Principled selection of studies - Library search + study eligibility criteria (정제된 틀 안에서 들여다봐야함. 기준을 가지고 골라야 함. 기준이 필요)
중요한 이유 : sampling 이니까
딜레마
apples & oranges
garbage in, garbage out : 질을 어찌 판단하지? 출판된거만? 사전에(best evidence)? 사후에()? 퀄러티를 미리 고민하고 설별할 것인가. 다 넣어놓고 나중에 타입에 따라 다른 effect size를 보여줄 것인가.
file drawer problem : statistically significant 하지 않으면... 발표하지 말자라는 문제.
check for publication bias
include fugitive literature
Direct use of the evidence reported (not the interpretations) : Effect sizes, Confidence intervals, etc.
Systematic coding of each study : Coding book (계속 구정됨. )


Synthesis 혼자 할 수가 없음. 혼자 하면 systematicity가 떨어짐.



Effect sizes 두 그룹간의 차이를 봄. standard deviation units 로. 여러가지가 있는데 우리에게 흔하게 쓰는 건 필요한 건 Cohen’s d



Confidence interval. 신뢰구간! 오차의 범위. 오차의 값. 학교까지 10분쯤. 3분쯤 오차. 7분 ~ 13분. 그 구간을 confidence interval. 이런 결론을 몇% 믿을만한가?

e.g. 95% confidence interval. 100번중 95번은 저 구간 (7~13분) 에 들어갈 것이다





step

Problem specification : 문제 인식
알고 있는게 뭐지? 알고싶은게 뭐지? 뭐가 중요할까?
Literature search
electronic searches (ERIC, LLBA, ProQuest학위논문만). search term 을 잘 잡아야 함. exhaustiveness. 꼼꼼하게 잘 짜서 빠져나가지 않도록. 다 건진 다음에 ㅓㄹ러내야지. 가능한 모든 연구를 다 건져내라.
도서관 가서 빠져있는 것 찾기
리뷰를 읽어서 언급되는 페이퍼를 또 찾아가
refer하는 걸 또 찾아가... 그러다보면 그 분야 모든 논의들에 대해 이해가 충분해짐


Analyses
synthesis
meta-analysis... 0을 포함하지 않으면 그 평균값은 statistically significant.
e.g. explicit group, implicit group 비교했을 때 구간이 겹치지 않으면








“statistically significant” “통계적으로 유의미하다”









synthesis !!!! 서로 함께 생각하고 행동할 수 있는 기회를 준다!





What next?

한국의 영어 교육.. 오랜 시간동안 되어왔다. 많은 연구들을 전체적으로 조망할 수 있는 노력이 필요하다.






내 논문의 literature review를 systematically 할 수 있지 않을까.