"콜게이트가 AI 가짜 고객으로 90% 정확한 설문" 글에 '좋아요' 7천개, 논문 속 90%는 뜻이 다르다
X 첫 글 32시간 전@politicalmath ♥ 7,208
"콜게이트는 LLM에게 목표 고객층을 연기하게 하는 것만으로 90% 정확한 설문 데이터를 만든다고 한다." X 계정 폴리매스가 21일(현지시간) 올린 이 글은 '좋아요' 7200개를 받았다. "단기적으로는 큰 의미가 있고 장기적으로는 불안하다"는 한 줄도 붙었다. 답글에는 "결국 다 똑같은 제품이 나오겠다"는 글이 '좋아요' 593개를 받았다.
글이 가리킨 숫자는 지난해 10월 아카이브(arXiv)에 올라온 논문 'LLM이 의미 유사도로 리커트 점수를 끌어내 사람의 구매 의향을 재현한다'에서 나왔다. 논문은 개인 위생용품 시장의 한 선도 기업이 실제로 진행한 제품 설문 57건, 응답 9300개를 썼다. 소셜 뉴스 사이트 디그(Digg)는 이 논문을 "콜게이트의 AI 고객이 사람 검사-재검사 신뢰도의 90%에 이르렀다"고 소개했다.
90%는 정답률이 아니다. 같은 사람에게 같은 설문을 두 번 했을 때 답이 얼마나 일치하는지가 기준이고, AI 응답이 그 수준의 90%까지 따라왔다는 뜻이다. 방법도 단순한 역할극이 아니다. AI에게 1~5점을 바로 물으면 응답 분포가 현실과 동떨어지게 쏠려서, 연구진은 AI가 글로 의견을 쓰게 한 뒤 기준 문장과의 임베딩 유사도로 점수를 매기는 '의미 유사도 평가(SSR)'를 만들었다. 이렇게 얻은 응답 분포는 사람 응답 분포와의 유사도(KS)가 0.85를 넘었고, 가상 응답자들은 왜 그 점수를 줬는지 설명도 덧붙였다.
현장에서 써 본 사람들은 반응이 갈렸다. 한 개발자는 지난 3월부터 가상 고객 프로필을 만들어 "이 사람은 이 제품을 어떻게 볼까"를 묻는데 결과가 아주 좋다고 답했다. 교회 설문에 유튜브 자막을 맥락으로 넣어 쓸 만한 결과를 얻었다는 답글도 있었다. 반면 "사람들이 온라인에 의견을 그만 올리면 LLM은 되먹임을 하나도 못 받는다"며 디스토피아가 빠르게 오고 있다는 반응도 나왔다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
“Colgate says they are generating 90% accurate user survey data by simply asking the LLM to role-play as their target demographics That has some pretty profound short-ter…”
