새로 들어온 소식
AI 서비스에 미끼 프롬프트 200만개 보냈더니 3곳은 이미 털려 있었다
X 첫 글 35시간 전@hdmoore ♥ 1,357조회 2
해킹 도구 메타스플로잇을 만든 보안 연구자 HD 무어가 AI 서비스에 추적용 가짜 비밀을 넣은 프롬프트 약 200만개를 보내 어디서 새는지 지켜본 결과, AI 제공업체 최소 3곳이 해킹당해 고객 프롬프트가 빠져나가고 있었다고 밝혔다.
보안업체 드라고스의 최고연구책임자인 무어는 19일(현지시간) 회사 블로그에 7월부터 11월까지 다섯 달 동안 한 실험을 공개했다. 프롬프트마다 다른 곳에서는 쓰인 적 없는 URL과 AWS 키 같은 '카나리 토큰'을 넣고, 누가 그 주소를 열거나 키를 쓰는지 추적하는 방식이다. 가장 큰 사고에서는 10월 말 한 업체에 보낸 AWS 키 수백 개가 전부 도난당했다. 업체가 모델을 돌리기도 전에 거절한 요청의 키까지 쓰였다. 공격자가 요청 접수 단계에서 통째로 복사하고 있었다는 뜻이다. 세 업체 모두 드라고스가 알리기 전까지 침해를 몰랐다.
해킹 없이 새는 길도 있었다. 여러 모델을 API 하나로 묶어 파는 추론 마켓플레이스에서는 가장 싼값에 모델을 올린 재판매자가 기본 로그 기능만으로 고객 프롬프트를 들여다봤고, 하루 반 뒤 가정용 인터넷 회선에서 누군가 미끼 주소를 열어 로그인 계정을 하나씩 넣어 봤다. '데이터 무보존(ZDR)' 설정도 지켜지지 않았다. 중국의 한 AI 연구소 시스템은 자사 모델로 간 프롬프트 절반 이상에서 미끼 주소를 긁어 갔고, ZDR이나 '수집 안 함'으로 표시한 요청도 약 3분의 2가 긁혔다. 미국 호스팅 업체를 거쳐 이 모델을 써도 결과는 같았다. ZDR 표시를 달아 미국 업체에 보낸 프롬프트 속 링크가 24일 뒤 중국 사내 메신저 페이슈 채팅방에 올라와 2분 만에 베이징·상하이의 PC 3대와 휴대폰 3대에서 열린 일도 있었다.
무어는 요청이 버셀에서 오픈라우터를 거쳐 다른 업체로 넘어가듯 여러 라우터를 지나는 일이 흔하고, 거치는 곳마다 프롬프트와 응답 전체를 볼 수 있다고 설명했다. 공격자 한 명은 11월 1일부터 AI 침투 테스트 도구 아르텍스(ARTEX)를 썼고, 무어는 `artex-agent`와 `artex-judge-r121` 사용자 에이전트를 탐지 목록에 넣으라고 권했다. 무어의 X 글은 '좋아요' 1300개를 받았다. 업체 이름을 밝히지 않은 것을 두고는 "한 곳도 이름을 대지 않아 실망스럽다"('좋아요' 192개), "ZDR을 내세우는 곳만이라도 왜 공개하지 않느냐"는 답글이 달렸다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
“We seeded 2m canaries into popular AI services and tracked where they were stolen and abused.”
