2024 근래 가장 잘 출제된 수능입니다. [정확한 통계]

2024 수능이 최고인 부분

이준

좋은 시험이라는 이야기를 하기 전에, 뭐가 좋은 시험인지를 명확하게 정의하고 갈게요. 수능과 같은 대형 입시 시험은 학생으로부터 두 가지를 정확하게 측정해야 합니다. 

■ 타당도

측정 하고자 하는 능력을 정확하게 재는 거죠? 쉽게 말해서 국어 1등급은 2등급보다 확실히 좋은 실력을 가진 학생이어야 합니다. 더 나은 실력을 가진 학생이 2등급이 뜨고, 더 나쁜 실력의 학생이 1등급이 뜬다면 이것은 문제가 있는 시험입니다. 보통 문제 퀄리티를 논할 때 이것을 분석하는데, 저는 오늘 이 얘기는 빼려고 합니다. 왜냐면 제가 오늘 관심 있는 것은 

■ 분포

바로 분포이기 때문이죠. 작은 학교 정도의 단위에서는 큰 문제가 없지만, 수능정도의 사이즈가 되면 분포는 굉장이 중요한 문제가 됩니다. 이를테면, 극단적으로 전국에 만점자 10만명이라고 쳐 보죠. 아주 타당한 시험을 냈다 하더라도, 이 시험은 망한 시험입니다. 1등에서 10만등까지 같은 점수인데 어떻게 원서를 쓰란 말이죠? 

그리고 동시에 굉장히 불공정한 시험이기도 합니다. 같은 점수를 받았지만, 1등한 사람의 성취도가 100이라면, 10만등의 성취도는 50도 안될 수도 있습니다. 공부 절반하고 같은 점수 먹은거죠. 개꿀.

정리하면 수능은 결국 성적에 따른 학생들의 성취도를 정확하게 측정하고, 그것을 세분화해서 원서 쓸 수 있게 잘 줄세워야 하는 시험입니다. 

일단 글 읽기 전에 팁. 

*** 분포 못보는 친구들 위해 설명해줄게요.

가로축에 39라는 숫자있죠? 이게 국어 표점이에요. 전국에서 표점 39받은 학생이 200명 가량인데, 1000명 반의 반도 안되게 막대가 그래프가 그려져 있죠? 즉 각 성적대에 있는 학생 숫자를 표현한 것이라고 읽어주면 될 것 같아요. 가장 왼쪽이 거의 0점, 가장 오른쪽이 가장 고득점. 그러니까 2024학년도 수능에서 가장 최저점은 표점 39점 받은 사람이네요. 이 사람들이 전국에 200명 정도 있구요.

팁2. 

실제 성적 분포는 이상하게 특정 점수에 사람이 엄청 많을 때가 있어요. 

자, 그럼 이제 줄세우면 어떤 분포가 나타나는지를 알려드리겠습니다. 

그래프의 X축 가장 왼쪽이 0점 가장 오른쪽이 100점이라고 생각해봅시다. (실제로 그래요. 원점수 기준)

자, 부적 편포입니다. 명문고나 명문대에서 시험을 치면 나타나는 분포는 이런 분포입니다. 이를 부적 편포라고 하는데, 높은 점수에 애들이 다 몰려 있습니다. 대부분 공부를 열심히 했기 때문에, 내신으로 따지면 평균이 막 92점이라든지, 95점이라든지 이런 경우는 분포라는 측면에서는 망한 시험입니다. 1-2점 차이로 등수가 크게 바뀌고, 실수하면 망하는 종류의 시험이 이런 분포를 가지고 있습니다. 전교생이 100명이면, 만점자가 10명에, 하나 틀린 애들이 20명에 뭐 이런식이죠. 

이런 시험은 공부 못하는 애들 (아예 망한애들) 점수는 기가 막히게 분포가 잘 나옵니다. 즉 40점 밑에는 28점 이런식인 거죠. 왜냐면 못본 애들이 숫자가 적으니까 눈에 확 띄어요. 얘들 등수가 깔끔하게 갈리는데, 상위권 등수는 잘 안갈리는거죠. 시험의 목적이 공부를 잘한 사람들 간의 등수를 정확하게 구별해야 하는 것이기 때문에, 나쁜 분포입니다만, 내신이 빡센 학교의 분포는 거의 이 분포입니다.

뭐 극단적으로는 대부분의 학생이 고득점에 붙어 있는 분포도 가능하죠. 수능이 이 분포로 출제되면 큰일나는게, 극단적으로는 의대 정시 5개 대학 정도는 다 동점이 나올 수도 있습니다. 국어 만점자 1만명 이러면 이런 심각한 분포가 되겠죠? 가위바위보로 뽑을게 아니라면 대형 시험에서는 이런 분포는 안나오게 해야합니다. 그게 시험에서 맨날 노래를 부르는

'변별력 확보'에요. 같은 점수에 몇만명씩 안 몰려있게. 등수 나눌 수 있게.

자, 제가 제일 좋아하는 정적 편포입니다. 공부를 잘할수록 이 편포를 좋아할 수밖에 없습니다. 이런 편포가 깔끔하게 수능에서 출제된다면 1등에서 100등까지도 섬세하게 점수를 가를 수 있습니다. 

원점수 400은 1등 

398점은 2등 

397점은 3등 이런식으로요. 

최상위권 등수 변별에 압도적으로 유리한 분포입니다. 

어떤 분들은, 이런식으로 출제되면 중하위권이 손해보는거 아니냐! 라고 하시던데, 전혀 아닙니다. 어차피 상대적인 등수와 백분율로 등급이 나오기 때문에, 등급은 깔끔하게 나옵니다. 다만 원점수가 낮아서 기분 나쁠 수는 있겠네요. 그리고 5등급 미만은 정시에서는 사실 크게 의미있는 등급이 아니기 때문에 (원서써서 4년제 점수가 안나와요.) 그 등급대 학생들을 줄세우는게 별 의미가 없어요. 

수능이 이런식으로 나온다면, 시험 너무 어려웠다, 사교육 조장한다, 하면서 책임론이 나올지도 모릅니다. 어쨌든 원점수가 너무 낮아서야 대부분 학생 입장에서 기분이 더럽거든요. 그리고 아무래도 원점수에 직관적으로 꽂혀서 수능 리뷰를 원점수 기준으로 말하는 경우가 너무 많구요. 

자, 이제 실제 데이터를 살펴 보실까요?

2022 수능입니다. 

제가 나쁘다고 한 부적편포의 모습을 그대로 가지고 있죠? 보시면 고득점자들은 뭉텅이로 묶여 있는데 반해, 하위권은 아주 섬세하게 줄세우기를 해놨습니다. 대부분의 학생들이 표점 107과 114근처에 다 몰려있어요. 이러면 좀 잘하는 학교는 표점 107과 114사이에 대부분 학생이 들어가는 반도 나옵니다 ㅎㅎ.  분포로만 보면 아주 망한시험입니다. 이걸 좀 보여주기 위해서 전국 꼴찌부터 전국 1등까지 스크롤 내리면서 분포해볼게요. 전국 꼴찌가 보라색입니다. (9등급) 자, 세로로 줄세워 봅시다. 

빨간색이 1등급입니다. 가장 위가 9등급이구요. 1등급은 총 18개의 점수구간으로 나눠서 학생들에게 표준점수를 주었고 (즉, 1등급안에 18개의 계급이 있다고 생각하시면 좋습니다.) 2등급은 7개, 3등급은 8개로 나눠놓고서는, 9등급은 무려 25개의 구간으로 점수를 나눠두었습니다. 9등급이면 하위 4%인데 그 학생들을 무려 25개의 점수로 나눠둔 것입니다. 어 너는 가장 꼴찌, 어 너는 뒤에서 14칸 앞 꼴찌, 어 너는 뒤에서 21번째 칸 꼴찌 이런식으로 표점이 분배된거죠. 제가 부적편포 꼴로 분포가 나오면 망한다는 이유 아시겠죠? 

2등급이 7칸, 3등급이 8칸이에요. 원서 쓰기 좀 까다롭죠. 성적에 2등급 3등 껴 있으면 표점이 다닥다닥 붙어있는 느낌이 날 수밖에 없구요. 

자 대망의 2023, 분포만 보면 나쁜 시험이에요. 2022에서 한발 더 갔어요. 

앞 등수 애들 봅시다. 표점 110에서 120대 구간에 학생들이 잔득 몰려있죠? 어 너 표점 120이야? 나도, 나도, 어 나돈데. 하는 점수 도플갱어들이 상위권에 대량 포진되어 있습니다. 이러면 일년 내내 울어가며 공부만 민지나, 어제 좋은 꿈 꾸고 컨디션 좋아서 운으로 두문제 잘 찍은 영희랑 점수가 동일하게 됩니다. 왜냐면 섬세한 급간이라는게 없거든요. 2등급이 무려 4칸이에요. 같은 표점 받은 사람 전국에 1만명씩 뜨고 이런 시험입니다. 

또 CELING EFFECT라는게 있습니다. 천장효과죠. 이를테면, 제가 영어 내신 시험을 너무 쉽게 내주고 100점자는 1등급이다. 이렇게 말을 한다면, 한 반 학생 전체를 1등급 처리해야할 수 있습니다. 그 중에는 아예 미국인도 있을 것이고, 그중에는 알파벳 작년에 외운 친구도 있다고 칩시다. 둘다 동점이에요. 이런 시험이 의미가 있을까요? 같은 100점이라도 실력차이가 너무 난다면 시험이라는 목적과 안맞는 거겠죠. 

자 얘도 분포를 세워봅시다. 아래로 내려갈수록 1등급, 만점이고 보라색이 9등급입니다. 

1등급(상위4%)는 9개의 표준점수 구간이 있네요? 근데 9등급 (하위 4%)는 21개의 표준점수 구간이 있네요. 2등급은 인원도 많은데 (상위 4%미만 - 상위 11%이상) 4칸이에요. 1%당 1칸을 줘도 7칸이 나오는데, 그걸 4개의 점수로 구분한거죠? 왜? 애들이 너무 많으니까. 동점자가 막 만명씩 있으니까, 1점 실수해도 등급이 바뀌는거에요. 애들을 위해서 시험을 쉽게 내면 다들 재수하게 된다니까요. 최저도 못 맞출 가능성이 너무 높아지죠. 몇개 실수하면 바로 나락가는 시험인데, 이런 시험을 누가 좋아해요. 

만점자나 한 문제 틀린 고수들은 너무 화가 나겠죠? 내가 전국 등수 실력인데, 어디 대-충 문제좀 풀다온애랑 네, 동점입니다. 열심히 공부할 필요가 없어요 이런 시험은, 실수를 안 해야죠.

자, 대망의 올해 수능입니다.

2023보다는 아주 깔끔한 분포를 보여주죠. 상위권은 무려 표점이 150점부터 있습니다. 잘한 학생에게는 높은 표점을 주고, 그보다 살짝 못한 학생과 동점을 만들지 않았어요. 이게 중요합니다. 이제 확실하게 등수가 갈리는거에요. 얘들도 색으로 볼까요?

1등급이 무려 17칸, 2등급이 무려 8칸입니다. 여태까지 시험 중, 1-2등급 분포가 가장 깔끔해요. 3등급도 9칸이라, 같은 등급대라도 표준점수와 백분위에 따라서 대학 원서를 넣을 때 점수차이가 납니다. 제가 시험은 줄을 잘 세워여야 한다고 말씀드렸죠? 이 시험은 줄을 잘 세운 시험이에요. 그러니, 좋은 시험입니다. 2023까지 고질병이었던 2등급 구간에 너무 동점자 많은 상태의 분포를 해결했어요. 잘했죠. 

자, 이렇게 정부 칭찬만 하고 넘어가려고 했는데, 마음에 걸리는게 있더라구요. 

시험은 두 가지가 잘 되어야 한다고 말씀드렸죠. 하나는 타당도, 하나는 분포입니다. 이 시험은 분포를 만들었다는 점에서 공부 지인짜 잘하는 친구부터 적당히 잘하는 친구까지 아주 깔끔하게 줄을 세웠어요. 앞에서는 거의 개인등수를 받았다고 해도 과언이 아니에요. 최상위권은 본인이 전국 몇등인지도 셀 수 있어요.

자, 그런데 이 시험이 타당한 시험이었냐. 

저는 그부분에는 조금 의문이 들어요. 

제가 아까 이 분포 싫다 그랬잖아요. 좌측편포, 부적편포 뭐 이름은 이런데, 대부분 만점 근처에 애들이 몰려있는 형태죠? 왜 이런 분포 나오는지 그 근본 원인을 아세요? 그건 바로, 대부분의 아이들이 공부를 열심히 하기 때문이에요. 이게 되게 슬픈 얘긴데요. 저 성균관대 다닐때, 이런 분포가 아닌 시험 결과 1학년에서 4학년까지 통틀어 딱 한 번 봤어요. 어떻게 아냐고요? 저는 성적 중독자라, 학점 딸때, 엑셀 파일 띄워놓고, 그 수업 듣는애들 등수 전부 체크했거든요. 

그런 딱 한번 있었어요. 부적 편포 아닌시험. 아직도 기억나요. 통계분석원론 시간에 강사님이 실수해서, 정규분포표를 안주고 그냥 시험을 내버렸거든요. (이거 통계학 공부한 학생이면 아 골때리네 하실거에요.) 저는 그래서 아래처럼 가상의 직선 정규분포 함수를 만들어놓고, 면적 1이다 설정한 뒤에 그 위에 겹쳐서 정규분포 그려놓고 오목함수 볼록함수로 면적 대충 부족한 부분 계산해서 정규분포표 값을 추정해서 풀었어요. 

중간고사 결과가 나왔는데 제가 50점 만점에, 45점이었는데, 1등이더라구요. 와 그런 만족감있는 분포는 처음이었어요. 제 밑으로 등수가 통계적 추정(이라고 쓰고 눈치라 읽죠) 능력에 따라서 쫘악- 세워지더라구요.

네, 이런 분포요. 성대에 이건 없는 분포거든요. 교수님이 애들 죽이려고 시험내지 않는 이상. 그런데 애들이 중간고사를 망치고 나니까, 기말고사에는 아주 눈에 불을 키고 공부들을 해서 어떻게 분포가 나왔는지 아세요? 

혹시, 무슨 말씀인지 이해가세요?

이 부적 편포는, 전국에 고득점자가 그렇게 많다는 얘기에요. 왜? 대부분의 애들이 수능 공부 진짜 열심히 하니까. 대부분의 학생들이 어려운 상황에서도 100점 근처의 점수로 떨어질만큼, 한국 학생들의 노력 수준이 엄청 나다는거죠.

그런데 이번엔 이런식으로 분포가 나왔어요. 이건, 올해 애들이 공부를 안한 탓인가요 아니면 정부가 진짜 어렵게 낸 건가요? 저는 정부가 이번에 출제의 근간을 뒤흔들었다고 생각해요. 한번 X 먹어 봐라, 같은 못된 마음은 아니었겠지만, 아니 대체 어떻게 9월 모의고사를 보고 수능을 예측할 수 있죠? 국어과 출제 비슷했다고 자꾸 말씀하시던데, 이 인원수로 치는 시험은 출제가 비슷하면 분포도 비슷해야돼요. 오히려 더 부적편포에 가까워질순 있어도 왼쪽으로 그래프가 땡겨지진 않아요. (익숙해지니까)

학생이 공부를 해서 시험에 대비를 하게 해줘야 할 거 아니에요? 편포가 좀 망가지더라도. 9월을 바탕으로 유추할 수 있는 상태였어야죠.

또, 시험이 타당도가 있어야죠. 대체 왜 그런 문항을 물어보는 지, 내적 정당성이 있어야 될거 아니에요. 선생님 맘대로 흥대로 내는 기준 없는 내신시험에 시달린 기억 없으세요?

대표적으로 이 문제요. 

45번에 답이 5번인 이유가, 조건 검색을 넣어서 검색 방법에는 변화가 있었지만, 검색 자료의 변화는 없었기 때문이에요. 무슨 말인지는 알겠어요. 근데 그걸 왜 맞춰서 대학에 가야하죠? 저는 이 문제가 노리는 어떤 지적 능력이 뭐, 섬세하게 사실관계를 판단한다던가, 그런 종류의 것이라고 생각하지 않아요. 이 문제는, 오히려 언매 문항을 많이 푼 학생들이, 아니 ** 이 문제는 대체 뭘 묻는거야? 싶어서 오랜 시간을 낭비하게 하는 기능 말고는 다른 어떤 기능도 못하는 문항이라고 생각하거든요. 

그러니까 제가 원하는 분포가 나오긴 했지만, 시험 자체가 학생들이 공부를 열심히 해 온 근간을 흔들어서, 그냥 분포만 깔끔하게 떨어지게 만든 시험이었다면 이것은 분포는 잡았지만 타당성이라는 가장 중요한 시험의 목적을 흔든 시험이라고 생각해요.

주사위를 랜덤하게 던져도, 깔끔한 분포는 나와요. 오히려 수리적 분포에 가까우니까 무진장 깔끔하게 나오겠죠. 그런데 우리가 주사위를 던져서 그 값으로 대학을 가자고 하면 어떤 생각이 드세요? 공정한 시험일까요?

정말, 깔끔한 분포 하나로, 정부 말대로 킬러 없이 변별력을 잡았다고 자화자찬 할 수 있는 시험일까요?

저는 국어에 있어서는 아니었다고 생각해요. 호옥시 특정한 원칙이 있으시거나, 여태까지 수능 국어를 바라봤던 사람들은 놓친, 무언가 특별한 어떤 능력을 학생들에게 교과에서 집중적으로 요구하고 있었다면, 그리고 그것이 간과되어서 이번 수능에서 복구했는데 그걸 학생들이 그리고 제가 놓쳤다면 그것은 제가 잘못 판단한 거겠죠. 

여러분은 어떻게 생각하세요?

- 이준.