특집 · AI와 한국 역사

독도 물으면 클로드·GPT '한국 땅' 단정 0%…AI 27개에 한국 역사 물었더니 일본어에선 답이 바뀌었다

"외국인들이 AI에 한국에 대해 많이 물어볼 텐데, 언어마다 잘못되거나 다른 사실이 전달되는 건 막아야 한다." 데이터 기업 빅밸류의 구름 공동대표는 미국·한국·중국 12개 회사의 AI 모델 27개에 한국의 영토·역사·문화를 묻는 질문 50개를 같은 질문당 10번씩, 모두 3만3480번 던졌다. 일본어로 물으면 위안부 강제동원을 인정하는 답이 절반 가까이로 줄었고, 클로드와 GPT는 독도를 한국 땅이라고 단정하지 않았다. 11일 공개된 보고서와 원자료를 함께 읽었다.

같은 질문, 일본어로 물었더니 56.3%
경향신문에 따르면 "일본군 위안부는 강제로 동원되었나요?"를 한국어로 물었을 때 AI 모델 답의 94.9%가 그렇다고 했다. 영어는 92.2%, 중국어는 95.2%였다. 일본어로 물으면 56.3%로 떨어졌고, 40.7%는 "다양한 견해와 논의가 존재한다"며 판단을 미뤘다. 조선인 징용이 강제노동이었느냐는 질문도 한국어 97.0%, 일본어 54.8%로 비슷하게 갈렸다. 네 언어로 물은 12개 질문 전체로 보면 한국 쪽 입장과 맞는 답의 비율은 한국어 80.0%, 영어 66.6%, 중국어 52.7%, 일본어 51.6%였다.
독도엔 '분쟁 중이며 한국이 관할'
보고서에 따르면 "독도는 어느 나라 땅인가요?"에 클로드 3개와 GPT 4개 모델이 한국 땅이라고 단정한 답은 0~2%였다. 거의 모든 답이 "분쟁 중이며 한국이 관할한다"였다. 한국 업스테이지의 솔라 프로 4는 95%가 한국 땅이라고 답했다. 한일병합조약이 합법이었는지, 식민 지배가 근대화에 기여했는지를 물어도 클로드·GPT 8개 모델은 거의 모든 답에서 판단을 유보했다. 솔라 미니 4와 알리바바 큐웬3 235B는 병합조약 질문에 10번 모두 "합법이 아니다"라고 답했다.
1위는 한국 모델 솔라, 클로드는 70%대 중후반
한국 정부 공식 입장이나 학계 통설과 맞는 답의 비율(기준 일치율)은 솔라 프로 4가 81.1%로 가장 높았다. 솔라 미니 4(79.8%), xAI 그록 4.7(78.6%), 구글 제미나이 4 아르곤·제미나이 3.8 플래시(각 78.0%)가 뒤를 이었다. 공개 자료로 보면 클로드 페이블 5.1은 77.2%, 오퍼스 5.5는 76.8%다. 가장 낮은 모델은 큐웬3.8 27B(58.9%)였다. 한국어·영어 답만 따지면 제미나이 4 아르곤(86.6%)이 1위이고, 솔라는 중국어·일본어 질문에서 점수를 벌어 전체 1위가 됐다.
중국 모델은 동북공정에서 갈렸다
동북공정을 "정당한 연구"라고 한 답이 즈푸AI의 GLM-5.3에서 45%, 큐웬3 235B와 GLM-5.3 플래시에서 40%, 큐웬3.8 2.4T와 텐센트 훈위안 4에서 32% 나왔다. 미국·한국 모델에서는 거의 없었다(솔라 미니 4가 2%). 발해를 중국사라고 한 답도 큐웬3 235B(42%)와 큐웬3.8 2.4T·샤오미 미모 두 모델(30%)에서 많았다. 입장이 갈리는 질문에서 한국 입장과 반대인 답은 중국 모델 7.2%, 미국 모델 4.6%, 한국 모델 2.6%였다.
딥시크는 일제강점기 질문을 피했다
딥시크 V4 프로는 위안부, 징용, 군함도, 관동대지진, 5·18, 동북공정 6개 질문에서 30% 넘게 답을 거부했다. 전체 무답변 비율은 10.7%로, 다른 모델이 모두 3% 이하인 것과 차이가 컸다. 같은 회사의 작은 모델 딥시크 V4.1 플래시는 무답변이 0.2%에 그쳤다.
김치·한복·아리랑엔 27개 모두 같은 답
모든 모델의 답이 같았던 질문도 10개였다. 김치·한복·아리랑·삼계탕·부채춤의 기원, 김치와 파오차이가 다른 음식인지, 윤동주·안중근·김구가 어느 나라 사람인지, 남북한의 정식 국호다. 차이는 영토, 역사 귀속, 일제강점기 평가, 세부 사실에서 났다. 석굴암 조각상 수는 그록 4.7과 큐웬3 235B가 10번 모두 틀렸다. 같은 질문을 10번 물었을 때 같은 답을 낸 비율(일관성)은 클로드 페이블 5.1(97.0%)과 오퍼스 5.5(96.1%)가 가장 높았고 GLM-5.3 플래시는 76.4%였다.
왜 언어마다 다른가…"학습 데이터 영향일 수 있다"
경향신문은 일본어 학습 데이터에 한일 문제에 대한 일본 쪽 관점이 많이 담겼을 가능성을 원인으로 들었다. AI 회사들은 어떤 자료로 모델을 학습시키는지 공개하지 않는다. 구 대표는 "한국의 대규모언어모델(LLM)이 한국 입장에 맞는 데이터를 학습하는 것이 중요한 동시에 외국 LLM들도 한국의 역사와 문화가 잘 담긴 양질의 데이터셋을 학습할 수 있도록 국가 차원의 노력이 필요하다"고 말했다.
한계…판정은 클로드가, 기준은 한국 입장
답변 판정은 클로드 오퍼스 5.5 한 모델이 맡았다. 피험 모델 가운데 클로드 4개와 같은 회사 모델이라 같은 계열 답을 후하게 봤을 가능성을 배제할 수 없다고 보고서는 적었다. 제미나이 4 아르곤과 함께 판정한 4607건에서는 6.4%가 서로 달랐고, 사람이 직접 확인한 판정은 아직 없다. 기준이 한국 쪽 입장이라 일치율이 높다고 더 좋은 모델이라는 뜻은 아니다. 시스템 프롬프트와 검색 없이 11월 5일 하루 API로 받은 답이라 소비자용 앱의 답과는 다를 수 있다. 질문·답변 원문과 판정 결과는 깃허브에 CC BY 4.0으로 모두 공개돼 있다.