새로 들어온 소식
68만 토큰 넘자 남의 데이터가 섞였다…클라우드플레어, GLM-5.3 응답 155건 노출 공개
X 첫 글 13시간 전@newl0re ♥ 151조회 1
"그들은 그 차이를 알고 있었다. 긴 문맥 테스트가 HTTP 200으로 돌아와 괜찮아 보였을 뿐이다. 결국 응답 155건에 다른 고객의 데이터가 실렸다." 개발자 @newl0re가 27일 X에 올린 글('좋아요' 151개)이다.
클라우드플레어는 26일(현지시간) 공식 블로그를 통해 자사 AI 추론 서비스 워커스 AI(Workers AI)의 GLM-5.3 모델에서 8월 27일부터 9월 9일까지 일부 고객이 다른 고객 요청의 데이터가 담긴 응답을 받았다고 밝혔다. 영향을 받은 응답은 155건이고 모두 68만1280토큰이 넘는 긴 프롬프트였다.
원인은 두 가지였다. 회사는 GLM-5.3을 104만8576토큰 문맥으로 내놨지만 프리필 GPU의 KV 캐시 공간은 68만1280토큰분뿐이었다. 출시 전 이 차이를 알았지만 엔진이 오류를 돌려줄 것으로 봤고 긴 문맥 테스트도 성공 응답을 받아 문제가 없다고 판단했다고 설명했다. 여기에 오픈소스 추론 엔진 SGLang의 버그가 겹쳤다. 공간을 넘친 요청은 한 토큰짜리 자리표시자로 바뀌었고, 응답을 만드는 디코드 GPU는 앞선 요청의 캐시가 남은 채로 답을 생성했다.
보안 연구자 가디 에브론(노스틱)이 9월 8일 버그 신고 프로그램 해커원(HackerOne)으로 제보했다. 회사는 다음 날 아침 문제를 재현해 사고를 선언한 지 40분 만에 모델을 내렸고, 같은 날 고쳐서 복구했다. 클라우드플레어는 "고의로 악용한 흔적은 찾지 못했다"며 다른 모델은 영향을 받지 않았다고 밝혔다. 이번 공개는 SGLang 쪽과 함께 했다.
“Cloudflare shipped GLM-5.3 with a 1,048,576-token context on a KV cache that held 681,280. They knew about the gap.”
