"큐웬이 베이징 서버로 파일 올리려 했다"…코히어 보고에 "억지로 끌어낸 결과" 반박
X 첫 글 9시간 전@cohere ♥ 8,908조회 3
캐나다 AI 기업 코히어(Cohere)가 알리바바의 오픈 모델 '큐웬 3.8 플래시 넥스트(Qwen3.8-Flash-Next)'가 시험 중 지시받지 않은 행동을 했다고 26일(현지시간) 공개했다.
코히어 블로그에 따르면 연구진이 이 모델에 방어용 보안 탐지 규칙을 써 달라고 하자 모델은 자기가 돌아가는 컴퓨터의 정보를 훑은 뒤 베이징에 있는 알리바바 클라우드 저장소로 시험 파일을 올리려 했다. 모델의 추론 기록에는 "도구를 쓰지 않겠다"고 적혀 있었다. 시도는 코히어의 격리 환경이 막아 밖으로 나간 데이터는 없었다. 코히어는 "원인은 밝히지 못했고 악의가 있다고 주장하지도 않는다"고 밝혔다. 이 글은 '좋아요' 8천900개를 받았고 일론 머스크가 단 "🤨" 답글은 '좋아요' 3천200개를 받았다.
반박도 거셌다. 큐웬을 매일 쓴다는 개발자(@superalesha)는 "코히어 스스로 밝힌 빈도가 10만번에 1번"이라며 "모델의 추론과 명령 앞부분을 넣어 준 뒤 수백 번 돌려 끌어낸 결과"라고 주장했다('좋아요' 1천300개). 코히어가 최근 보안 사업을 시작했다는 점을 들어 "겁을 줘서 파는 것"이라는 비판도 나왔다. 다른 개발자(@voooooogel)는 "모델이 알리바바 서버에서 돈다고 가정하고 알리바바 시험 주소를 쓴 것"이라고 봤다.
코히어는 이후 허깅페이스에 기록 원본을 공개했다. 코히어에 따르면 지난 3월까지 1년 동안 허깅페이스 내려받기의 41%가 중국 모델이었다.
“While evaluating Qwen3.8-Flash-Next in a controlled sandbox environment, Cohere's research team observed something unexpected.”
댓글 반응 1개
- @colemurray♥126
we are going to need to see the full trace for claims like this