국가정책연구포털(NKIS)- 내용보기

[KICE 영상보고서] 학생 평가, 타당도를 높이기 위한 방안은 무엇일까?

동영상서비스
자막	교수학습이 잘 이루어지고 있는지 파악하기 위해 다양한 방법으로 학생들의 성취 평가가 이루어지고 있습니다. 하지만, 학생 평가를 위한 문항들은 목적에 맞게 출제되고 있을까요? 선생님들의 의견이 서로 다르다면 어떻게 해야 할까요? 학생 평가, 타당도를 높이기 위한 방안은 무엇일까? ‘문항 특성 분석 기법 활용 방안’ 최근 타당도는 전통적인 관점에서 벗어나 문항 자체의 특성과 검사 내용, 그리고 이에 대한 학생 반응, 평가 결과까지 통합적으로 고려하는 관점으로 전환돼 연구가 이뤄지고 있습니다. 한국교육과정평가원에서는 타당도에 관한 통합적 관점에서 학생 평가 문항의 타당도를 분석할 수 있는 기법과 활용 방안에 대해 연구를 실시했는데요. 먼저, 최신의 문항 특성 분석 기법을 연구 중인 미국 UCLA CRESST(유씨엘에이 크레스트) 연구진과 협동 연구를 수행했습니다. 크레스트는 각종 학생평가 개발과 결과 분석, 교육 프로그램 평가, 교수학습 개선 방안을 연구하는 교육평가연구소입니다. 박지현 박사/연구책임자 CRESST 에서 연구·개발한 문항 특성 분석은 구체적으로 어떤 기법입니까? 최길찬 박사 인터뷰/ CRESST에서는 평가 문항의 질 관리를 위한 방안을 마련하고자 문항 특성 분석 기법을 연구· 개발하였습니다. 문항 특성 기법은 평가 목표를 분석해 평가에서 측정해야 할 특성을 규명한 후 각 문항별 특성에 대한 질적 분석과 문항 특성과 난이도와의 관계 등 양적 분석을 통해 산출된 결과를 바탕으로 평가의 타당도를 점검할 수 있습니다. 한국교육과정평가원에서는 이 기법의 국내 적용 방안을 마련하기 위해 CRESST와 국제 비교 연구를 위한 분석틀을 개발한 후, 문항 특성 기법을 적용해, 미국 SBA의 8학년 문항과 우리나라의 국가수준 학업성취도 평가의 중학교 3학년 문항 특성을 비교 분석했습니다. 그 결과, 우리나라의 교육 내용과 문항 유형에 적합한 문항 특성 ‘분석틀’을 개발할 필요가 있으며 이때, 문항 특성 수의 적정화를 도모하고, 평정자의 주관이 상대적으로 많이 개입될 수 있는 특성들에 대한 명확한 기준을 마련하고, 문항 특성 추출 시 문항 특성 간의 중복성, 차별성에 대한 다각도의 검토가 필요한 것으로 나타났습니다. 이러한 연구 결과를 토대로 한국교육과정평가원에서는 2015 개정 교육과정에 기반해 중고등학교의 국어, 수학 학생 평가에 적용할 수 있는 새로운 ‘문항 특성 분석틀’을 개발했습니다. 문항 특성 분석틀은 국어 교과의 경우, ‘교육과정 연계’, ‘인지 특성’, ‘지문특성’, ‘문항유형과 과제복잡도’ 의 4개 대범주, 75개의 특성으로 이루어져있으며, 수학 교과의 경우 ‘수학 개념’, ‘수학 역량’, ‘표현 형식’, ‘문항 유형 및 점수 체제’의 4개 대범주, 128개의 특성으로 구성하였습니다. 또한, 이번 연구를 통해 개발된 분석틀과 문항 특성 분석 기법을 활용해 국가수준 학업성취도 평가 국어, 수학 문항의 특성을 분석해 보았는데요. 국어와 수학 모두 교육과정에 근거한 출제 목적과 계획에 따라 타당하게 출제가 이루어지고 있는 것으로 나타났습니다. 특히, 2009 개정 교육과정을 적용한 중학교 평가에 비해, 2015 개정 교육과정으로 전환된 고등학교 평가에서 교과 역량 특성이 두드러지는 경향이 있는 것으로 분석됐습니다. 또한 실제로 중, 고등학교에서 실시된 국어 8종, 수학 9종의 학생 평가에 대한 문항 특성을 분석한 결과, 교육과정 내용이나 문항 유형과 같은 특성은 출제 목적과 계획에 근거하여 타당하게 출제가 이루어지고 있었습니다. 다만 국어 교과에서는 지필 평가에서 과제 수행 맥락 특성 중 학문 탐구 맥락의 비중이 높은 경향이 있어 좀 더 다양한 특성을 고려하는 방향으로 출제가 이루어질 필요가 있는 것으로 나타났습니다. 또한 수학 교과에서는 명확한 기준이나 계획이 마련되지 않을 수 있는 수학 역량이나 표현 형식 범주의 문항 특성에 대한 교사들의 인식과 판단의 차이가 커, 문항 출제 시 이러한 특성에 대해 좀 더 면밀하게 검토할 필요가 있는 것으로 나타났습니다. 또한, 이번 연구가 학교 현장에서 더 편리하게 활용될 수 있도록 ‘문항 특성 분석 프로그램’도 개발했는데요. 출제자들이 평가 문항별로 각각의 특성에 대한 포함 여부를 1과 0으로 평정하면, 자동으로 여러 출제자의 평정 결과를 조정해 최종 평정 결과를 산출하고 차트로 제공해주며, 문항별 정답률을 입력하면 문항 특성과 학생 성취도와의 상관 관계를 분석한 결과도 제공합니다. 이 프로그램은 평가 목적에 따라 문항 특성을 추가하거나 삭제할 수 있도록 설계돼 학교의 평가 상황에 맞게 수정해 활용할 수 있습니다. 박지현 박사/연구책임자 이번 연구를 통해 개발된 문항 특성 분석 기법과 분석틀은 학생의 성취도와 역량을 평가할 때, 평가 목적에 따라 의도한 대로 문항이 출제되었는지를 파악함으로써 학생 평가의 타당도를 점검하는 도구로 활용될 수 있습니다. 또한 분석 결과를 통해 선생님들의 문항 출제 경향은 물론, 학생들이 어려움을 겪는 특성이 무엇인지를 파악할 수 있어 평가뿐만 아니라 교수학습의 개선에도 기여할 수 있을 것입니다. 보다 자세한 사항이나 보고서 다운로드는 한국교육과정평가원 홈페이지 자료마당 연구보고서 메뉴에서 확인하실 수 있습니다.
표준분류	교육> 초중고교육
발행기관	한국교육과정평가원	동영상URL	바로가기
키워드	#KICE #영상보고서 #학생평가 #타당도 #문항 특성 분석
등록일		동영상포멧	YouTube
설명	2020년 한국교육과정평가원에서 수행한 "학생 평가의 타당도 제고를 위한 문항 특성 분석(Feature Analysis)기법 활용 방안" 보고서를 기반으로 제작한 영상보고서입니다.