지난 13일 한국산업인력공단은 보도설명자료 한 장을 냈다. 올해 제63회 세무사 시험 수석 합격자에게 제기된 AI 안경 의혹을 살펴봤지만 지금까지 부정행위를 의심할 만한 정황은 찾지 못했다는 내용이었다. 그가 1차와 2차 시험을 치른 교실의 감독위원 4명은 모두 특이사항이 없었다고 답했고 2차 시험 때 그는 감독관 바로 앞인 첫째 줄 한가운데에 앉아 있었다고 했다. 이튿날 그는 한국경제신문 인터뷰에서 의혹을 말도 안 되는 이야기라고 일축하며 높은 점수는 찍기와 소거법 덕분이라고 말했다. 2차는 논술형이라 AI 안경 같은 걸로는 설명이 안 된다는 반박도 덧붙였다. 그리고 15일 그는 법률대리인의 유튜브 방송에 나와 세무사 1·2차 시험과 공인회계사 1차 시험에서 전자기기와 생성형 AI로 부정행위를 했다고 털어놓았다. 초소형 카메라로 문제를 찍어 AI에 보내고 답은 스마트폰으로 확인했다고 한다. 하루 만에 말을 뒤집은 그 자백이 양심에서 나왔는지 아니면 수사가 시작되면 어차피 드러날 일이라는 계산에서 나왔는지는 알 수 없다. 나는 후자에 가깝다고 본다.
그의 성적은 처음부터 말이 되지 않았다. 4월 1차 시험에서 160문항 가운데 하나만 틀려 400점 만점에 397.5점을 받았다. 응시자 1만 6,856명의 평균이 30.18점이었고 74퍼센트가 과락한 세법학개론에서 그는 100점을 받았는데 이 과목에서 90점을 넘긴 사람은 그 혼자였다. 7월 논술형 2차 시험에서도 800점 만점에 663점으로 수석을 차지했다. 의혹은 현직 세무사들 사이에서 먼저 터져 나왔다. 시험장에는 CCTV가 없었고 감독관 4명은 아무것도 보지 못했다. 결국 그를 드러낸 것은 시험장의 감독 체계보다 그 자신의 성적표였던 셈이다.
이 방식이 새로운 것도 아니다. 2024년 2월 일본 와세다대 입시에서 한 수험생이 카메라 달린 스마트안경으로 화학 문제를 찍어 X(옛 트위터)에 올리고 답을 구했다. 그를 잡은 것도 감독관이 아니었다. 답을 달아 주다 이상하다고 느낀 X 사용자가 대학에 제보했다. 같은 해 가을 국내 한 업계 행사에서는 세법을 학습한 AI가 세무사 시험 문제를 풀어 합격 점수를 받아내는 시연이 열렸다. 기술로는 2년 전부터 가능했던 일이다. 그 2년 동안 치러진 국가시험에서 몇 장의 자격증이 그렇게 발급됐는지는 아무도 모른다. 자백이 나온 뒤 익명 커뮤니티에는 자기도 같은 방식으로 다른 국가시험에 붙었다는 글이 고백인지 조롱인지 모를 말투로 올라온다. 사실인지 확인할 길은 없다. 주변에서는 초소형 카메라가 동났다는 이야기까지 들린다. 그리고 이번 주 목요일 55만 1,864명이 지원한 2027학년도 수능이 치러진다.
잡힌 사람과 잡히지 않은 사람
자백 소식을 접하고 나는 페이스북에 짧은 글을 올렸다. 내가 만약 국가시험에서 AI를 부정하게 쓰기로 마음먹었다면 만점을 노리지 않았을 것이다. 합격선을 살짝 넘길 만큼만 AI를 쓰고 눈에 띄지 않는 데 훨씬 더 공을 들였을 것이다. 지금 뉴스에 오르내리는 가짜 만점자들은 그저 어리석었거나 국가시험 제도에 온몸으로 경고를 보내고 싶었던 사람들일지도 모른다. 조금만 따져 봐도 만점을 받겠다고 AI를 최대치로 돌릴 이유는 없다.
이 계산이 무서운 까닭은 지금 우리가 가진 적발 수단 대부분이 튀는 사람을 잡도록 짜여 있다는 데 있다. 평균 30점짜리 과목에서 나온 100점은 누구 눈에나 보인다. 합격선 근처의 점수는 사정이 다르다. 그 구간에는 늘 수많은 응시자가 몰려 있고 그 안에 섞인 점수 하나는 통계로도 감독관의 눈으로도 가려낼 수 없다. 우리가 지금 보고 있는 것은 빙산에서 유난히 높이 솟은 꼭대기 하나일 가능성이 크다.
그렇다고 그 피해가 작아지지는 않는다. 세무사 2차 시험은 최소합격인원을 700명으로 정해 두고 해마다 그 인원에 맞춰 합격선을 조정해 왔다. 이런 구조에서 부정행위자 한 명이 합격자 명단에 들어가면 정직하게 시험을 본 누군가 한 명이 바로 아래로 밀려난다. 수능의 상대평가 과목도 마찬가지다. 1등급은 상위 4퍼센트까지인데 그 안에 부정행위자가 끼어들면 1등급을 받았어야 할 학생이 2등급으로 내려앉는다. 밀려난 사람은 자기가 왜 밀려났는지 끝내 알지 못한다.
잡히지 않은 사람들은 평범한 합격자들 틈에 섞여 자격증을 받고 어딘가에서 전문가로 일한다. 국내에서 AI 안경 부정행위가 처음으로 형사 처벌로 이어진 것은 올해 5월 소방설비기사 시험이었다. 40대 응시자가 감독관에게 적발돼 국가기술자격법 위반으로 약식기소됐다. 그가 들키지 않았다면 어느 건물의 소방 설비를 다루는 자리에 앉았을 것이다. 그 분야의 지식이 머릿속에 한 줄도 없는 사람이 전문가라는 이름으로 일하고 그 사실이 드러나기까지는 아주 오래 걸리거나 끝내 드러나지 않는다. 나는 그들 상당수가 큰 죄책감을 느끼지 않을 거라고 본다. 어차피 실무는 AI가 할 테니 시험은 통과 의례에 불과하다는 논리가 그들 머릿속에서는 꽤 그럴듯하게 들릴 것이다.
둘 다 맞는 두 목소리
이번 일을 두고 전문가들의 목소리는 두 갈래로 갈린다. 한쪽은 AI가 즉답할 수 있는 시험이 과연 아직 필요하냐고 묻는다. 한국AI교육협회 문형남 회장은 AI를 쓸 수 있다는 전제 위에서 사고력과 문제해결력과 창의성을 평가하도록 시험 제도를 바꿔야 한다고 말한다. 계산기가 등장한 뒤 수학 교육이 달라졌듯 평가도 달라져야 한다는 것이다. 다른 한쪽은 AI가 끼어들어서는 안 되는 영역만큼은 철저하게 확인하는 체계가 먼저라고 말한다. 20년 동안 수능 사회탐구를 가르쳐 온 이지영 강사는 수능을 코앞에 두고 카메라 앞에 앉아 교육부와 한국교육과정평가원에 AI와 초소형 전자 장비를 겨냥한 긴급 보안 지침을 공개하고 전국 시험장의 보안 체계를 점검하며 최근 1년간 치러진 국가시험 전반을 재점검해 달라고 요구했다.
나는 둘 다 맞다고 본다. 다만 두 목소리 사이에는 불편한 겹침이 하나 있다. AI가 다 아는 것을 왜 머리에 넣어야 하느냐는 문장은 시험 제도를 바꾸자는 쪽에서 나오는데 같은 문장이 부정행위자의 머릿속에서는 자기 합리화의 도구로 쓰인다. 이 둘을 가르지 않은 채 시험 무용론부터 꺼내면 지금 자격증을 들고 있는 부정행위자들에게 면죄부를 쥐여 주는 꼴이 된다.
그래도 지금 무엇이 먼저냐고 묻는다면 나는 부정행위를 찾아내는 일이라고 답하겠다. 시험을 바꾸는 데에는 시간이 너무 오래 걸린다. 대입제도는 고등교육법의 4년 예고제를 따르고 2028학년도 수능 개편안이 2023년 12월에 확정된 것도 그 때문이다. 오늘 당장 수능의 틀을 바꾸기로 결정해도 그 시험은 빨라야 2030년 11월에 치러진다. 그 사이에도 시험은 해마다 열리고 자격증은 계속 발급된다. 형식을 바꾼다고 막힌다는 보장도 없다. 앞서 말했듯 그는 2차가 논술형이라 AI 안경으로는 설명이 안 된다고 반박했지만 바로 그 논술형 시험에서 800점 만점에 663점을 받았다. 문제는 그 찾아내는 방법이 지금 우리 손에 거의 없다는 데 있다.
안경을 쫓는 단속의 한계
정부도 손을 놓고 있지는 않다. 교육부는 지난 7월 스마트안경을 수능 반입 금지 물품으로 명시했고 시험 중 착용만 해도 그해 시험을 무효로 하고 다음 해 응시 자격을 정지하기로 했다. 10월 29일 내놓은 대응 계획에서는 형사 고발과 수사 의뢰에 적극 나서겠다고 밝혔고 응시 자격 정지 기간을 1년에서 3년으로 늘리는 법 개정도 추진하기로 했다. 올해부터 전국 1,312개 시험장마다 스마트안경 여부를 판별하는 전담 인력을 1명씩 둔다. 시험장용 전파탐지기는 아직 개발과 시험 단계여서 내년부터 도입을 검토한다고 한다. 현장에서 잡히는 경우도 있다. 지난 7월 법학적성시험(LEET)에서는 추리논증 시간에 스마트안경을 쓴 20대 응시자가 감독관에게 적발돼 점수 취소와 4년 응시 제한 처분을 받았다.
그래도 현장의 표정은 밝지 않다. 지난달 공개된 한 조사에서 교원의 82퍼센트가 지금의 수능 감독 절차로는 스마트안경을 가려내기 어렵다고 답했다. 금속탐지기를 써 보자는 말도 나오지만 티타늄이나 플라스틱 소재는 잡아내지 못한다는 것이 교사들의 걱정이다. 올해 수능을 지키는 가장 큰 방패는 결국 감독관의 눈과 규정이다.
이번 세무사 사건에서 더 눈여겨볼 대목은 따로 있다. 온 나라가 AI 안경을 붙들고 씨름하는 동안 정작 가장 유명한 부정행위자는 안경을 쓰지 않았다. 그가 쓴 것은 초소형 카메라와 스마트폰이었다. 카메라는 볼펜에도 시계에도 단추에도 들어간다. 금지 물품 목록에 이름을 하나 올릴 때마다 시장에는 그 목록에 없는 물건이 새로 나온다. 기기를 쫓는 단속은 처음부터 한 걸음 늦을 수밖에 없다.
AI를 쓰는 부정행위가 흔적을 남기지 않는 것은 아니다. 문제를 찍어 바깥으로 내보내고 AI가 만든 답을 다시 받으려면 카메라와 휴대전화 사이에도 휴대전화와 AI 서버 사이에도 신호가 오가야 하고 그 신호는 어딘가에 기록으로 남는다. 그런데 그 기록은 누군가 의심을 받은 뒤에야 들여다볼 수 있다. 이번 수석 합격자도 성적이 튀어 의심을 샀고 스스로 입을 연 뒤에야 남은 자료와 기기를 수사기관에 내겠다고 했다. 합격선 근처에 조용히 앉은 사람에게는 애초에 의심이 닿지 않으니 그 기록이 열릴 일도 없다. 그나마 남는 흔적마저 옅어지고 있다. 휴대전화 안에서 인터넷 연결 없이 돌아가는 작은 AI 모델은 하루가 다르게 좋아지고 있고 바깥 서버를 거치지 않는 부정행위는 남기는 기록도 그만큼 적다. 중국은 대입 시험인 가오카오 기간이면 알리바바(Alibaba)와 텐센트(Tencent) 같은 회사의 주요 AI 서비스에서 시험 문제 사진에 답하는 기능을 막아 세운다. 시험 하나를 지키려고 그 정도까지 하는데도 우회로는 남는다.
단속이 강해질수록 생기는 비용도 있다. 이지영 강사는 무분별한 신체 수색이나 과도한 의심으로 선량한 수험생이 피해를 입어서는 안 된다고 했다. 수능 당일에는 일반 안경을 쓴 수험생도 감독관의 확인 절차에 협조해야 하고 성실하게 감독한 교사가 책임을 떠안지 않도록 하겠다는 대책까지 따로 나왔다. 이번 사건 이후 실력으로 높은 점수를 받은 사람들까지 곱지 않은 눈길을 받게 될 것이다. 숨은 부정행위자는 그대로 두고 정직한 수험생과 감독관이 그 부담을 나눠 지는 시험장이 되어 가고 있다.
정답만 묻는 시험이 오래 버틴 이유
그렇다면 시험 자체를 바꾸면 되지 않느냐는 질문이 남는다. AI가 즉답하기 어려운 시험, 정말로 그 사람 머릿속의 이해를 확인하는 시험이 필요하다는 데에는 나도 동의한다. 문제는 그런 시험이 만들기도 어렵고 채점하기는 더 어렵다는 데 있다. 세무사 시험이 이미 한 번 겪은 일이다. 2021년 제58회 2차 시험에서 응시자가 대거 과락하자 감사가 이어졌고 고용노동부는 이듬해 4월 한 채점위원이 같은 답안에 서로 다른 점수를 줬다고 밝혔다. 감사원은 또 다른 채점위원이 정해진 회의를 거치지 않고 채점 기준을 임의로 바꿨다고 지적했다. 수험생들이 낸 손해배상 소송은 5년 가까이 이어졌고 지난 10월 30일 대법원은 국가배상책임을 인정하기 어렵다며 사건을 고등법원으로 돌려보냈다.
의사 국가시험의 실기시험도 비슷한 길을 걸었다. 2009년 처음 도입될 때 3,549명이 50여 일에 걸쳐 표준화 환자를 상대로 시험을 치렀다. 올해 1월에도 실기시험 채점 기준을 공개하라는 소송이 있었고 법원은 기준이 공개되면 시험의 공정성과 변별력이 훼손된다며 받아들이지 않았다. 합격선이 있는 시험에서 채점이 애매한 문항 하나는 곧 소송 하나가 된다. 정답만 맞히는 시험이 수십 년을 버틴 데에는 시비가 붙었을 때 가장 방어하기 쉬운 형식이라는 이유가 컸다고 나는 본다.
기획자이자 개발자로 일하면서 나는 문제를 풀 때 도메인 지식과 경험칙이 작동하는 순간을 수없이 겪는다. 그 감각이 내가 남들보다 좋은 제품을 만드는 큰 힘이라는 것도 안다. 그런데 우리의 시험 제도는 그 감각을 검증하도록 설계되어 있지 않다. 국가공인 영어시험에서 만점을 받고도 영어로 한마디도 못 하는 사람이 드물지 않은 것도 같은 이유일 것이다.
흥미로운 것은 세무사 업계가 스스로 내놓은 답이다. 한국세무사회는 지난 9월 AI세무회계활용능력이라는 자격을 민간자격으로 등록했다. AI를 세무 업무에 활용하는 능력과 함께 AI가 내놓은 결과를 검증해 실제 업무에 적용하는 능력을 평가하겠다는 것이다. 업계가 걱정하는 지점도 같은 곳을 가리킨다. 택스워치가 세무 전문가 31명에게 AI를 쓰면서 가장 우려되는 점을 물었더니 45.2퍼센트가 잘못된 세법과 세무 정보를 꼽았다. 존재하지 않는 판례와 법조문을 그럴듯하게 지어내는 AI 때문에 낭패를 본 사례도 이어진다. AI의 답을 검증하는 일은 결국 AI 없이도 무엇이 맞는지 아는 사람만 할 수 있다. AI를 잘 쓰는 능력을 평가하는 시험의 바닥에도 AI 없이 아는 능력이 깔려 있어야 한다는 뜻이다.
그렇게 보면 시험이 필요 없다는 쪽과 철저히 확인하자는 쪽은 생각보다 가까이 서 있다. 어느 쪽이든 그 사람이 AI 없이 무엇을 아는지가 먼저 확인되어야 성립한다. 이번 사건은 우리가 그 확인을 얼마나 허술하게 해 왔는지를 보여 줬다. 감독관 4명 앞에서 치른 시험의 결과가 그 사람이 무엇을 아는지에 대해 아무것도 말해 주지 못했다.
목요일 아침의 시험장
내 페이스북 글에 이런 댓글이 달렸다. 모레가 수능인데 08년생들은 내년부터 과목까지 바뀌어 재수도 마음대로 못 하는 처지라 너무 가혹하다는 것이다. 올해 수능은 지금 체제로 치르는 마지막 시험이다. 2028학년도부터는 국어와 수학의 선택과목이 사라지고 탐구 영역은 통합사회와 통합과학으로 바뀐다. 올해를 마지막 기회로 여긴 졸업생들이 몰리면서 N수생은 19만 6,473명으로 23년 만에 가장 많다. 어느 해보다 물러설 곳이 좁은 시험장에 이번 주 목요일 아침 수험생들이 들어간다.
이지영 강사는 영상에서 자신은 열심히 노력하면 보상받을 수 있다고 가르쳐 왔다고 했다. 자신도 좋은 집에서 태어나거나 좋은 환경에서 공부하지 못했지만 공정성과 노력에 대한 보상이라는 믿음이 지금까지 세상을 만들어 온 신뢰였다는 것이다. 나는 그 신뢰가 무너지는 방식이 생각보다 조용할 거라고 본다.
목요일 저녁이면 수험생들은 올해 처음 수험표 뒷면에 인쇄된 가채점표를 꺼내 답을 맞춰 볼 것이다. 누군가는 1등급 컷에 한 문제가 모자라 2등급을 받는다. 그 한 칸을 정직하지 않은 누군가가 차지했는지 그 학생은 끝내 알 수 없다. 지금의 제도로는 우리도 알 수 없다. 이번 자백은 수석 자리에 오른 사람이 스스로 입을 열어서 나왔다. 합격선 바로 위에 조용히 앉은 사람들에게는 입을 열 이유가 없다. 그들을 찾아낼 방법을 갖지 못한다면 우리가 지키고 있다고 믿는 공정은 앞으로도 누군가의 자백이 있어야만 확인되는 공정으로 남을 것이다. 우리는 언제까지 다음 자백을 기다릴 생각인가.
이 칼럼은 [AI와 인간 사이] 시리즈의 25번째 글입니다.
김탄휴(Pablo Kim) l 하비탄AI 대표이사
이미지 출처: AI 생성 콘텐츠
AI Matters 뉴스레터 구독하기




쌀
에