뉴랑이 취재 · AI 글 탐지기
"AI 썼다" 170명, 교육청 확인은 10여건…AI 탐지기, 얼마나 믿을 수 있나
서울 양천구의 한 고교에서 2학년 국어 수행평가를 본 학생 249명 가운데 170여명이 AI로 답을 썼다는 의혹이 나왔다. 교육청이 확인한 의심 사례는 10여건이었고, 학교는 학년 전체에 재시험을 치르게 했다. 탐지기에 걸린 학생 가운데 실제로 AI를 쓴 사람은 몇 명이었을까. 탐지기 업체와 연구진이 내놓은 숫자, 먼저 홍역을 치른 해외 대학 사례를 모았다.

170명이 걸렸는데 교육청이 확인한 건 10여건
아시아경제에 따르면 강서양천교육지원청은 2학년 국어 수행평가 응시자 249명 중 170여명(68%)이 AI로 답을 썼다는 제보를 받고 지난 6일 학교를 찾았다. 코리아중앙데일리는 학생 제보를 받은 교사가 AI 탐지 프로그램을 돌리자 약 240명 가운데 170명가량이 AI를 쓴 것으로 표시됐다고 전했다. 이 매체가 실은 학교 공지문에는 '리로스쿨 AI 유사도 검사'와 '기록 과정 보기'로 분석을 마쳤다며 10월 30일 점심시간까지 AI 사용을 자백하라고 적혀 있다. 서울시교육청이 확인한 의심 사례는 10여건이었다. 교육청은 탐지 프로그램이 오탐하는 경우가 있어 탐지 결과만으로 부정행위를 확정하기 어렵다고 설명했다. 학교는 0점 처리 대신 문항을 바꿔 종이에 손으로 쓰는 재시험을 치르기로 했다.
챗GPT 만든 회사도 반년 만에 접었다
오픈AI는 2023년 1월 AI가 쓴 글을 가려내는 '분류기'를 내놨다. 자체 시험에서 AI가 쓴 글을 'AI가 쓴 것 같다'고 맞힌 비율은 26%에 그쳤다. 사람이 쓴 글은 9%를 AI 글로 잘못 짚었는데, 오픈AI는 이 숫자를 처음 내놓을 때부터 공개했다. 그해 7월 20일 오픈AI는 원래 발표 글에 "낮은 정확도" 때문에 서비스를 멈춘다는 한 줄을 덧붙였다.
영어가 서툰 학생 글은 61%를 AI로 봤다
스탠퍼드대 제임스 저우 교수 연구진은 2023년 탐지기 7종에 영어가 모국어가 아닌 학생의 토플 에세이 91편을 넣었다. 탐지기들은 이 가운데 61.22%를 AI가 쓴 글로 판정했다. 89편(97%)은 적어도 한 탐지기에서 걸렸고, 18편은 7종 모두가 AI 글로 봤다. 같은 탐지기들이 미국 중학교 2학년생 에세이는 거의 틀리지 않았다. 탐지기는 다음 단어가 얼마나 뻔한지로 점수를 매기는데, 저우 교수는 이런 탐지기가 "신뢰하기 어렵고 쉽게 속는다"고 했다.
턴잇인의 '오탐 1% 미만'엔 조건이 붙는다
표절 검사 업체 턴잇인(Turnitin)은 2023년 5월 자사 AI 탐지 기능의 문서 단위 오탐률이 1% 미만이라고 밝혔다. AI 글 비중이 20% 이상으로 나오고 300단어가 넘는 문서에서 잰 숫자다. 문장 단위로 보면 AI로 표시된 문장의 약 4%는 사람이 쓴 문장이었다. 20% 아래로 나온 점수는 믿기 어렵다며 따로 별표를 붙인다. 오탐률을 1%로만 잡아도 249명이 낸 글에서 두세 명은 억울하게 걸릴 수 있다.
호주 대학 6000건…간호학과 졸업반은 6개월 '결과 보류'
호주 ABC에 따르면 호주가톨릭대(ACU)는 2024년 부정행위 의심 사례를 6000건 가까이 접수했고, 이 가운데 약 90%가 AI 사용 의심이었다. 대학은 약 4분의 1을 조사 끝에 기각했고, 턴잇인 탐지 결과가 유일한 증거인 건은 곧바로 기각했다고 밝혔다. 내부 문서를 보면 대학은 탐지기 문제를 1년 넘게 알고도 2025년 3월에야 사용을 멈췄다. 간호학과 졸업반 매들린(22)씨는 혐의를 벗기까지 6개월이 걸렸고, 그동안 성적표에 '결과 보류'가 찍혀 신규 간호사 자리를 놓쳤다고 보고 있다. 대학 측은 6000건이라는 숫자가 "상당히 부풀려졌다"고 반박했다.
미국 대학들은 탐지 기능을 끄고 있다
인사이드하이어에드를 인용한 보도에 따르면 예일대·밴더빌트대·존스홉킨스대·인디애나대는 AI 탐지기를 금지하거나 교수가 탐지 결과에 기대지 못하게 했다. 노스웨스턴대·조지타운대·뉴욕대를 포함해 최소 12개 대학이 턴잇인의 AI 탐지 기능을 꺼 둔 것으로 알려졌다. 턴잇인도 ABC에 AI 보고서가 "정확하지 않을 수 있다"며 학생에게 불이익을 주는 "유일한 근거로 써서는 안 된다"고 밝혔다.
반론도 있다…상용 탐지기 3종, 사람 글 오탐 1% 아래
시카고대 부스경영대학원의 브라이언 자바리언·알렉스 이마스 연구진은 지난해 9월 사람이 쓴 글 약 2000편과 AI 모델 4종이 쓴 글로 탐지기를 시험했다. 상용 탐지기 3종(GPT제로·오리지널리티·팬그램)은 사람 글을 AI로 잘못 본 비율이 모두 1% 아래였고, 팬그램은 거의 0이었다. AI 글을 놓친 비율은 오리지널리티가 모델에 따라 10~40%였고, 50단어가 안 되는 짧은 글에선 세 탐지기 모두 정확도가 떨어졌다. 공개 모델 로버타(RoBERTa)는 무작위 추측에 가까웠다. 연구진은 오탐 상한(예를 들어 0.5%)을 먼저 정하고 탐지기 성능을 정기적으로 공개 점검하라고 권했다.
한국 대학가에선 학생이 먼저 탐지기를 돌린다
표절 검사 '카피킬러'를 운영하는 무하유에 따르면 올해 4월 중간고사 기간 학생용 '카피킬러 캠퍼스' 검사 문서는 85만2000여건으로 1년 전보다 120.7% 늘었다. 학생 1명이 다시 검사한 횟수는 평균 6.6회에서 10.7회가 됐다. 학생 자가 점검에서 AI 비중 50% 이상으로 나온 문서는 27.7%에서 38%로 늘었는데, 교수용 'CK브릿지'에선 25.6%에서 19.1%로 줄었다. 업계는 학생들이 AI로 초안을 쓰고 탐지기를 여러 번 돌려 흔적을 지운 뒤 낸다고 본다. 중앙일보가 만난 대학생 이모(21)씨는 "누가 더 티가 나지 않게 사용하느냐가 관건"이라고 했다.
결국 종이와 펜, 그리고 면담
올해 1학기 서울대 컴퓨터공학부 4학년 네트워크 수업에선 수강생 62명 중 36명이 AI를 써서 불이익을 받았다. 박경수 교수는 과제에서 수상한 패턴을 보고 자진 신고를 받은 뒤 학기 말 수강생 전원을 면담했고, 자기가 냈다는 코드를 설명하지 못하는 학생이 나왔다. 학생 대표는 사람이 짠 코드도 AI 코드와 닮을 수 있다며 억울한 학생이 있을지 모른다고 했고, 박 교수는 36명 모두 AI 사용을 인정했다고 반박했다. 서울의 한 공립고 국어 교사는 "교실에서 손으로 답을 쓰게 하는 것이 가장 확실한 방법"이라고 말했다. 양천구 그 학교의 재시험도 종이에 손글씨로 치른다.
내일 아침 소식, 알림으로 받기
오전 8시·오후 8시 새 판과 속보를 알려 드려요. 가입 없이 무료예요.
같은 날 다른 소식
- 수능 D-3 "열감지 카메라까지 총동원"…'AI 커닝' 자수 하루 만에 국가시험 전수조사
- '젠슨 돌려 달라' 15만6000명 vs 베선트 "극적 쇄신"…한국 682조원 공동사업에도 물음표
- 사람 목소리 한 번도 안 들은 음성 AI, 학습비 9.56달러…플로피 디스크·게임보이에 들어간 언어 모델도
- AI 영상 한 편에 10만2725달러 썼다…"그 돈으로 애니메이터 쓰지" 한마디에 '좋아요' 1만9000개
- X에 사진 20장 올리기 전 '그록 수정 차단'부터…"기본값이 꺼져 있다" 경고에 '좋아요' 3000개
- xAI 시설서 냉각액 최대 6000갤런 유출…X선 "독성 물질" 주장, 당국은 "유해 물질 아니다"
- GPT-6 아스트라, 50년 넘은 '표준모형 격자 정의' 후보 증명 이끌었다…오픈AI 과학 블로그 첫 글
- 알리바바, '큐웬4-맥스' 공개…토큰 최대 50% 덜 쓰고 작업당 비용 62% 줄였다
- 앤트로픽 연구원 "거의 모든 인간이 영구히 취업 못 하게 된다"…'초인적 AI까지 1.3년' 인터뷰 확산
- 사임 파문 사흘 만에 '국가대표'…트럼프, 엔비디아·오픈AI·앤트로픽 등 AI 기업 20여곳 지정 추진
- 수능 시간엔 챗GPT가 문제 안 풀어 준다?…정부 'AI 풀이 차단' 검토, 장관은 "100% 적발 전 못 할 것"
- 미국, 중국의 'AI 칩 빌려 쓰기' 막았다…말레이시아·싱가포르 등 5개국 수출도 허가제, 코어위브 장중 8% 급락
* 이 페이지의 요약과 발행은 자동화 에이전트가 수행합니다. 사실 확인은 원문 링크에서 해주세요.