시험 부정행위 방지 시스템 도입 방안에 관한 공청회 개최(12.21)
- 작성자 : 정원상
- 등록일 : 2006.12.21
- 조회수 : 6883
- 수험자별로 각각 다른 답지유형의 시험지로 시험을 치루게 함으로써 시험부정 동기를 원천적으로 차단하는「답지재배열 프로그램」도입방안 제시
□ 국무조정실이 평가 관련 전문가들에 위탁한 “답지재배열 프로그램의 검증 연구” 결과 발표 공청회가 12월 21일 고려대학교 100주년 기념관에서 개최되었다.
* 답지재배열 프로그램 : 컴퓨터 소프트웨어로 답지(선택 보기)를 무작위로 조합·재배열하여 동일한 문항에 대해 수험자별로 각기 다른 문제지로 시험을 치르게 하는 부정행위 방지 시스템
□ 국무조정실은 각종 국가시험에서 부정행위를 방지하기 위한 제도적 장치가 필요하다는 각계의 제안에 따라, 지난 7월 관련 전문가로 위원회를 구성, 답지재배열 프로그램 도입 타당성을 검증하기로 하고
ㅇ 고려대 박도순교수(답지재배열 프로그램 도입방안 연구위원회 연구책임자)에 도입 타당성 검증을 의뢰하였으며,
ㅇ 연구진은 지난 11.21일 표본 2만명 대상으로 검증을 실시한 바 있다
□ 이 날 공청회에서 연구진이 마련·발표(발표자 : 한국교육과정평가원 남명호)한 ‘답지재배열 프로그램의 타당성 및 실행가능성 검증 결과’의 주요내용은 다음과 같다
ㅇ 답지배열 위치가 수험자의 점수에 영향을 미치는지 알아보기 위한 타당성 분석에서 답지재배열 시험이 답지고정 시험과 통계적으로 유의미한 차이가 없었으며,
ㅇ 답지재배열 시험의 제작, POD 방식 인쇄*, 시행, 채점 및 전산처리의 실행가능성 검증에서도 오류가 발견 되지 않았다.
* POD(Print on Demand) 방식 : 윤전 인쇄 방식과 달리, 컴퓨터 프로그램으로 인쇄정보파일을 인쇄언어로 변환하여 시험지별로 각각 다르게 인쇄하는 방식
□ 답지재배열 프로그램은 답지순서를 무작위로 재배열하여 수험자별로 완전히 다른 답지유형의 시험지로 시험을 치르게 함으로써 부정행위가 불가능하며 시험부정의 동기를 원천적으로 차단하는 효과가 있을 것으로 기대된다.
□ 답지재배열 프로그램은 ‘04.11월 대입수학능력시험에서 핸드폰 문자메시지 전송을 통한 대규모시험부정이 발생하자 교육인적자원부에서「시험부정방지종합대책」(‘05.2월발표)을 수립하는 과정에서 검토된 바 있으며, 대통령도 이와 관련하여 시험부정방지를 위한 근본적인 대책수립을 지시한 바 있다.
□ 연구진은 이번 공청회를 통하여 수렴된 다양한 의견을 반영하는 등 연구내용을 보완하여 내년 1월초에 최종 연구결과 보고서를 국무조정실에 제출할 예정이며
ㅇ 국무조정실은 내년 상반기, 관련 위원회 논의 및 관계부처 협의 등을 거쳐 규모가 작은 성인대상 국가시험부터 단계적으로 답지재배열 프로그램을 적용하는 방안을 검토할 계획이다.
〈참고1〉
공청회 개최 계획
□ 행사 개요
ㅇ 일 시 : ’06. 12. 21(목) 14:00～17:00
ㅇ 장 소 : 고려대학교 100주년 기념관 국제원격회의실(지하1층)
ㅇ 참 석 : 공무원채용 및 국가자격 관련 시험관리 담당 실무책임자 등
ㅇ 주 최 : 답지재배열 프로그램 도입방안 연구위원회
ㅇ 후 원 : 국무조정실, 교육인적자원부, 노동부, 한국산업인력공단
□ 행사 내용
시 간진 행 사 항13:30 ~ 14:00 등 록14:00 ~ 14:30 개회식사회 : 김명화(KICE) 국민의례 개회사 박도순(고려대학교, 연구책임자) 격려사 곽영진(국무조정실 교육문화심의관)14:30 ~ 15:20 발 표 Ⅰ사회 : 이규민(연세대) 주제 : 답지재배열 프로그램의 타당성 및 실행가능성 발표자 : 남명호(한국교육과정평가원) 발 표 Ⅱ 주제 : 답지재배열 문제지 제작 및 성적처리 발표자 : 채규국((주)한국시험평가)15:20 ~ 15:30 휴 식15:30 ~ 16:20 토 론 김신영(한국외국어대학교) 윤기봉(서초고등학교) 박종성(한국직업능력개발원) 황철현(한국교육과정평가원) 박영삼(대한상공회의소)16:20 ~ 17:00종 합 토 론사회 : 이규민(연세대)
〈참고2〉
주제발표 자료 요약
- 답지재배열 프로그램의 타당성 및 실행가능성 -
□ 연구 개요
ㅇ 본 연구에서는 답지재배열 프로그램의 타당성과 실행가능성을 검증하기 위하여 약 20,000명의 수험생을 대상으로 실시
* 11월 21일 실시한 고1 전국연합학력평가를 실시한 학교 중에서 서울시 소재 40개 고등학교 1학년 569개 학급 시행
□ 연구 결과
〈시험에 대한 의견조사 결과〉
ㅇ 감독관들은 전반적으로 답지재배열 시험에 대하여 긍정적임
- 많은 업무 부담을 느끼지도 않았고, 부정행위 방지에 효과가 있을 것이라고 응답함
ㅇ 수험생들도 대부분 답지재배열 시험이 부정행위를 줄이는 데 효과가 있을 것이라고 응답함
〈답지재배열 시험 타당서 검증 결과〉
ㅇ 답지재배열 점수에 미치는 영향을 알아보기 위하여 답지재배열시험을 치른 ‘실험집단’과 전통적인 고정 답지 시험을 치른 ‘비교집단’을 구분하여 공분산분석과 상관분석을 실시
- 9월 전국연합학력평가 점수를 공변인으로 설정하여 11월 전국연합학력평가 점수에 대해 공분산분석을 한 결과, 비교집단과 실험집단간의 점수에는 통계적으로 유의한 차이가 없었음
- 상관분석 결과, 비교집단과 실험집단 모두에서 9월 시험과 11월 시험 간의 Pearson 상관계수는 .79로 동일한 값이 산출되었음
ㅇ 고전검사이론, 문항반응이론을 이용한 문항 분석 결과, 실험집단과 비교집단의 문항난이도와 문항변별도의 값이 매우 유사하였음
ㅇ 결론적으로 답지재배열 시험은 수험생의 점수에 영향을 거의 미치지 않는다고 할 수 있음
〈답지재배열 시험의 실행가능성 검증 결과〉
ㅇ 전국연합학력평가 언어 영역 60문항 중 14문항을 제외하고 46문항에 대해 답지재배열 프로그램을 이용하여 이웃하는 8명의 정답 위치가 60% 이상 다르게 배열하여 수험생 수만큼 다른 답지재배열 시험지를 제작하였음
ㅇ POD 인쇄 방식은 인쇄정보 파일(AFP)이 인쇄 언어(IPDS)로 변환되어 인쇄되는데, AFP와 IPDS는 프린터 언어 세계표준 규약으로서 변환 등으로 인한 오류가 없는 것으로 확인되었으나, 지속적인 검증이 필요함
〈채점, 성적 처리의 정확성 검증 결과〉
ㅇ OMR 방식이 아닌 스캐닝 방식으로 답안지 이미지 파일을 생성하여 채점하였음
- 파일 용량은 A4 크기 1개 이미지 당 64kb 정도였음
- 스캔 방식은 OMR 방식에 비해 속도가 2배 정도 빨랐음
- 학교번호, 반번호 등을 잘못 표기하거나 답안에 이중 표기 혹은 무(無)표기로 오류가 발생할 경우, 컴퓨터로 이미지 검색을 하여 보정 작업을 손쉽게 할 수 있었음