에이전트가 내지 않은 지시를 사용자 지시로 처리한 사례가 보고됐다
Threads 첫 글 59일 전@toranobase ♥ 21조회 1
한 사용자가 Claude에서 자신이 내리지 않은 지시가 사용자 지시로 처리된 현상을 겪고 Anthropic에 신고해 사람 지원팀으로 넘어갔다고 전했다. 이번에는 "피곤하다" 정도라 아무 일도 없었지만, 외부를 조작할 수 있는 에이전트가 "이 메일 보내"나 "이 파일 지워"를 사용자 지시로 잘못 받아들이면 답이 틀리는 것과는 차원이 다르다는 지적이다. 그 지시를 정말 사용자가 냈는지 확인하는 장치가 필요하다는 이야기로 이어졌다.
“ただ、これ笑い話だけでもないんですよね。 今回は「疲れた」だったから何も起きなかった。 でも、外部操作できるAIエージェントが、 「このメール送って」 「このファイル消して」 「この変更を反映して」 みたいな、ユーザーが出してない指示を「ユーザーからの指示」として扱ったら、かなり危ない。 回答が間違うのとはちょっと違う。 「その指示、本…”
