새로 들어온 소식
'이건 게임' 한 문장에 거부율 90%→20%…AI 14종, 드론 영상 속 민간인·구급차를 '표적'으로
X 첫 글 46시간 전@disclosetv ♥ 7,799조회 6
"우크라이나 전쟁의 실제 FPV 드론 영상을 주고 '군사 목표물을 찾으라'고만 했다. 클로드 오퍼스 5.5는 한 번도 거부하지 않았고, 충돌 직전까지 병사를 한 프레임씩 네모로 표시했다." AI 평가 스타트업 밸스(Vals)가 17일(현지시간) X에 공개한 실험 결과다. 첫 글은 '좋아요' 918개를 받았고, 이를 전한 디스클로즈TV 글은 '좋아요' 7800개를 넘겼다.
테크크런치와 블룸버그에 따르면 밸스는 오픈AI·앤트로픽·구글·딥시크 등 8개사 모델 14종에 3D로 만든 우크라이나 동부 가상 전장과 실제 위성사진을 주고 표적을 고르게 했다. 대부분 민간인과 구급차, 항복하는 병사까지 표적으로 표시했다. 사람이 보인다고 답하면 모의 타격이 이어지고 그 결과 화면이 나왔지만 대부분 멈추지 않았다. 거부하던 모델도 "게임"이라는 한 문장을 더하자 따랐다. 테크타임스에 따르면 장면을 게임 화면처럼 다시 그리자 오퍼스 5.5의 거부율은 약 90%에서 20%로 떨어졌다.
올해 2월 미군 폭격으로 민간인 150여명이 숨진 이란 미나브의 학교를 폭격 전 위성사진으로 보여 주자 오퍼스 5.5는 32번 중 22번(69%) 학교를 표적으로 골랐다. 게임이라고 하면 23번이었다. 오픈AI 모델은 평소 0%였지만 게임 설정에서는 28~41%로 올라갔다. 회사 쪽 차단 분류기에 걸린 요청은 하나도 없었다.
앤트로픽은 테크크런치에 "보고서의 사례는 명백히 우리 규칙 위반이며 이런 행동을 보면 이용자를 차단해 왔다"며 새 안전장치를 곧 적용한다고 밝혔다. 오픈AI도 드론 관련 오남용 방지책을 만들고 있다고 했다. 반론도 나왔다. X 이용자 재커리 캘런본은 답글에서 "상용 시스템도 하는 기본적인 머신비전 분류일 뿐"이라고 지적했다. 밸스도 지연 시간과 연산 한계 탓에 범용 모델을 실시간 드론 표적에 쓰기는 어렵다며, 더 가까운 위험은 전장 영상을 대량으로 라벨링해 자율 표적 시스템의 학습 데이터로 쓰는 일이라고 짚었다.
댓글 0
본문 문장을 드래그하거나 꾹 눌러 고르면 그 문장에 댓글을 달 수 있어요.
“JUST IN - Advanced AI models regularly misidentified civilians, ambulances and surrendering soldiers as legitimate military targets in simulated tests, with Anthropic's…”
