본문으로 바로가기

연구성과

연구보고서

페이스북으로 이동 트위터로 이동
OECD 학업성취도 국제비교 연구(PISA 2009) : 본검사 시행 보고서(RRE 2009-7-1)
보고서명

OECD 학업성취도 국제비교 연구(PISA 2009) : 본검사 시행 보고서(RRE 2009-7-1)
  • 책임자 김경희
  • 소속기관한국교육과정평가원
  • 내부연구참여자김수진,김미영,김남희
  • 외부연구참여자김선희
  • 발행기관 한국교육과정평가원
  • ISBN
  • 출판년도2009
  • 페이지333
  • 보고서유형 기본연구보고서
  • 연구유형 정책
  • 표준분류 교육 > 초중고교육
  • 자료유형연구보고서
  • 공공누리유형 4유형 (출처표시+상업적이용금지+변경금지)
  • 주제어PISA 2009 본검사, 평가도구, 읽기, 수학, 과학, 교육맥락 변인
  • 조회수

    조회수 반영까지 최대 10분 정도 소요될 수 있습니다.

     14
  • 다운로드

    다운로드 수 반영까지 최대 10분 정도 소요될 수 있습니다.

     0
  • 본 연구에서 수행한 PISA(Programme for International Student Assessment)는 경제협력개발기구(OECD)가 산출하는 교육 지표 체제 중 한 부분인 교육 산출 지표를 조사하기 위해 1998년부터 시작된 국제 성취도 평가 연구이다. 이 보고서는 PISA 2009 본검사 시행과 관련된 제반 사항을 다루고 있으며, 크게 PISA 2009 본검사 평가틀과 평가도구 구성 및 번안, 본검사 시행 과정, 본검사 구성형 문항 채점, 본검사 자료 입력 등 네 부분으로 구성되어 있다.

    평가틀 및 평가도구
    각 영역별 평가틀을 살펴보면, PISA 2009 읽기 영역의 평가틀은 ‘상황’, ‘텍스트’, ‘양상’의 세 범주로 구분되며, 전자 매체 읽기 검사(Electronic Reading Assessment)가 새롭게 도입되어 읽기의 대상이 되는 매체를 인쇄 매체와 전자 매체로 구분하였다. 보조 영역인 수학 영역의 평가틀은 ‘수학적 내용’, ‘수학적 과정’, ‘상황과 맥락’의 세 범주로 구분되고, 과학 영역의 평가틀은 ‘상황과 맥락’, ‘과학 능력’, ‘과학 지식’으로 구분된다.
    평가도구의 구성을 살펴보면, 지필검사는 PISA 2009의 주 영역인 읽기와 보조 영역인 수학, 과학 문항으로 구성된 13종의 검사지로 실시되었다. 주 영역인 읽기 영역은 모두 7개의 문항군에 29개의 단위 문항, 107개의 하위 문항으로 구성되고, 이 중 문항군 R1과 R2는 PISA 2000부터 사용된 추이 문항이며, 나머지 문항군들은 예비검사를 거쳐 본검사용으로 선제된 문항이다. 보조 영역인 수학과 과학 영역은 모두 추이문항으로, 수학 영역은 3개의 문항군 내에 25개의 단위 문항, 36개의 하위 문항으로 구성되고, 과학 영역은 3개의 문항군 내에 18개의 단위 문항, 52개의 하위 문항으로 구성되었다. PISA 2009에서 새롭게 도입된 ERA 검사는 전자 매체 읽기 소양을 측정하는 검사로 6종의 검사지로 실시되었으며, 3개의 문항군, 9개의 단위 문항, 28개의 하위 문항으로 구성되었다.
    PISA 2009에서 새롭게 개발된 문항의 번안과 검증은 다음과 같은 과정으로 이루어졌다. PISA 2009 본검사 문항으로 선제된 21개 단위 문항에 대하여 한국어 번역본을 단위 문항별로 제작, 검토하고, OECD/PISA 본부의 검증을 받았다. 이러한 과정을 통해 확정된 단위 문항별 한국어 번역본은 13종의 검사지로 재편집되었고 시각적 검증을 받은 후 최종 완성되었다. ERA 검사도구의 번안 및 검증 과정은 PISA 2009 예비검사를 거쳐 선제된 9개 단위 문항과 2개의 연습 문제 단위 문항을 대상으로 국제 본부에서 제공한 입력 프로그램상에서 이루어졌다. ERA 번역본도 읽기 영역과 같은 검증 과정을 거쳐 PISA 2009 ERA 본검사 도구를 최종 완성하였다.
    PISA 2009 본검사 설문지는 학교 설문지, 학생 설문지, 학부모 설문지 각 1종씩으로 구성되었다. 우리나라는 국가별 선택 항목인 학부모 설문조사에 참여하였으며, 학생 설문지에는 정보통신기술 관련 설문 문항, 초등학교와 중학교의 교육 경험을 묻는 문항, 국내 독자 변인으로 도서관 활용과 사교육 관련 문항을 포함하였다. 설문지 번역본 역시 OECD/PISA 본부의 시각적 검증을 받은 후 PISA 2009 본검사 설문지로 최종 확정하였다. 이 밖에 학교 책임자 지침서, 지필검사 시험 감독관 지침서, ERA 시험 감독관 지침서, ERA 진단 프로그램 지침서를 한국어로 번역하였으며, 우리나라 상황에 맞게 수정·보완된 부분은 국제 본부와의 조정 과정을 거쳐 최종본을 완성하였다.

    본검사 시행
    PISA 2009 본검사에서는 외층 변인으로 학교급과 학교 계열, 내층 변인으로 도시화 정도와 학교 유형을 지정하여 2단계 층화 표집을 하였다. 그 결과 총 157개교가 표집학교로 선정되었다. 지필검사의 목표 군집 크기는 35명으로 설정하였으며, 만 15세 기준에 따라 1993년 3월에서 1994년 2월 사이에 출생한 남녀 학생 5,123명이 표집되었다. 이들 중 중학교 학생이 약 10% 정도인 343명, 고등학교 학생이 약 90%인 4,780명이었다. 학교별로 지필검사 응시 대상 35명 중 10명을 ERA 검사를 위해 별도로 표집하였으며, ERA에 응시한 총 인원수는 1,549명이다.
    PISA 2009의 본검사를 시행하기에 앞서, 검사의 질을 확보하고 검사 실시 과정에서 발생할 수 있는 문제를 최소화하기 위해 시행 4주 전에 학교 책임자 및 지필검사 시험 감독관 연수와 ERA 시험 감독관 연수를 시행하였다. 본검사 시행을 위해 표집학교별로 지필검사지 13종, ERA 검사가 포함된 USB 및 CD, 학교 설문지, 학생 설문지, 학부모 설문지 등이 담긴 평가도구 상자를 발송하였다.
    PISA 2009 본검사의 지필검사와 설문조사는 2009년 5월 19일에서 29일 사이에 실시하였고, ERA 검사는 2009년 5월 19일에서 30일 사이에 실시하였다. PISA 시행 규정에 따라 선발된 1명의 국제 질 관리자, 5명의 국내 질 관리자, 6명의 본 연구진이 본검사 시행 과정을 점검하였다.

    본검사 채점
    PISA 2009 구성형 문항의 채점에서는 공정성과 신뢰성을 확보하기 위해 채점 기준을 OECD/PISA 본부의 지침에 따라 번역하였다. 또한 우리나라 학생들의 실제 답안을 추출하여 채점 연습 자료집도 마련하였다. 영역별로 위촉된 채점 위원들은 연수를 통해 채점 기준을 숙지하고 채점 연습 자료집을 활용해 채점 연습을 함으로써, 전체 문항 및 학생 답안에 대한 이해도를 높이고 채점 기준을 일관되게 적용할 수 있었다.
    OECD/PISA 본부에서는 구성형 문항 채점의 신뢰도를 높이기 위해, 검사지 종별로 총 1,300권의 검사지를 추출하여 해당 검사지의 첫 번째 문항군에 대해 복수 채점을 하도록 설계하고 있다. 이에 따라 지필검사 구성형 문항의 채점은 크게 3단계로 나누어 진행되었다.
    ERA의 채점을 위해서는 읽기 영역의 지필검사 채점진 중 8명이 재위촉되었다. ERA는 컴퓨터 사용 환경에서 평가가 이루어지므로, 채점 역시 별도로 마련된 온라인 채점 시스템을 통해 진행되었다. ERA의 경우, OECD/PISA 본부에서는 각 문항에 대한 응답의 25%를 복수 채점하도록 설계하였으며, 채점자 2명의 채점 결과가 일치하지 않는 문항에 대해서는 채점 관리자 및 채점 책임자가 결과를 확정하게 된다. 모든 채점 과정 동안 채점 관리자는 채점의 신뢰성 및 일관성을 높이기 위해 모니터링을 실시하였다. 채점 완료 후 연구진에서는 채점자들에게 설문조사를 실시하여, 채점 과정에 대해 전반적으로 평가하고 점검하였다.

    자료 입력
    구성형 문항의 채점이 완료된 후에는 지필검사 및 설문지 응답을 OECD/PISA 본부에서 배부한 KeyQuest 프로그램을 사용하여 입력하였다. 각 검사도구별 응답률을 살펴보면, 지필검사의 경우 13종에 걸쳐 총 4,990명의 응답이 입력되어 97.40%의 참여율을 보였고, 복수 채점 대상자 1,300명의 3,900개의 복수 채점 결과가 입력되었다. 배경변인 설문지는 학교 설문지 157부, 학생 설문지 4,986부, 학부모 설문지 4,937부로 학교 설문지는 100%, 학생 설문지는 97.33%, 학부모 설문지는 96.37%에 해당하는 자료가 입력되었다. 각 검사도구별 자료 입력이 완료된 후에는 본 연구진에서 자체적으로 검사지, 설문지 및 학생 명단 등의 정보 간 일치성 여부를 검토하였다. 또한 자료 입력의 정확성을 기하기 위하여 입력된 자료에 대한 교차 검토 작업을 실시하였으며, 교차 검토가 끝난 뒤에는 KeyQuest 프로그램을 통한 타당성 검증을 실시하였다. 타당성 검증은 크게 표집 정보, 설문지, 검사지, 복수 채점지 타당성 검증으로 구분되며, 이에 대한 타당성 보고서(validity report)가 KeyQuest 프로그램을 통해 산출된다. 이렇게 타당성 검증까지 완료된 데이터를 최종적으로 본부에 송부하였다.
    PISA 2009 본검사 결과에 대한 자료 입력 및 수정까지 모든 과정이 끝난 후에 타당서 보고서 최종본, 입력 및 검토가 완료된 최종 데이터, 자료 제출 점검표와 데이터 수정 과정에서 재작성된 QAS 등의 자료를 본부에 제출하였다. 이후 본부와의 상호 데이터클리닝 과정을 통해 이상 자료를 검토 및 수정하였다.
    본 연구에서는 PISA 2009 본검사 시행 및 연구 과정을 토대로 국어교육, 수학교육, 과학교육과 관련하여 교육과정 개선, 교수·학습 과정의 개선, 학교 현장의 평가, 국내 대규모 성취도 평가 연구, 추후 PISA 평가 등을 위한 제언을 도출하였다.

콘텐츠 큐레이션 : 동일주제 가장 많이 이용된 자료 추천

현재 페이지에서 제공되는 연구보고서에 대하여 평가해 주세요

의견(0)

연구성과에 따른 의견과 무관한 글, 선정적인 글 및 비방글 등의 게시물은 관리자에 의해 언제든 삭제 조치 될 수 있으며, 주민등록번호 형식 및 연속된 숫자 13자리는 입력할 수 없습니다.

입력 가능 Byte : 4000 Byte 현재 입력 Byte : 0 Byte
자동등록방지 숫자를 순서대로 입력하세요.