"RTX 3090 텐서 속도 절반은 꺼져 있었다"…커널 모듈 하나로 82→155테라플롭스 주장
X 첫 글 6시간 전@superalesha ♥ 735
엔비디아가 게이밍 그래픽카드 RTX 3090의 AI 연산 속도 절반을 일부러 꺼 둔 채 팔았고, 리눅스 커널 모듈 하나로 이를 되살렸다는 주장이 X에서 '좋아요' 780개, 북마크 740개를 받았다.
X 이용자 슈퍼알료샤는 21일(현지시간) 같은 카드·같은 드라이버·같은 300W 전력에서 BF16 텐서 연산이 초당 82테라플롭스에서 155테라플롭스로 1.9배 빨라졌다고 밝혔다. 그가 공개한 측정값에 따르면 BF16 행렬곱(cuBLAS GEMM 8192)은 64에서 99테라플롭스로, TF32는 41에서 79테라플롭스로 올랐다. 출력은 원래 상태와 바이트 단위까지 같았다고 했다.
그는 "없는 게 아니라 꺼져 있었다"며 게이밍 카드가 워크스테이션 카드 판매를 깎아 먹지 않게 하려는 조치였다고 주장했다. 다만 대규모언어모델(LLM)은 메모리 대역폭이 병목이라 이득이 프리필 10% 정도에 그친다고 했다. 대신 이미지 생성처럼 큰 행렬곱을 반복하는 모델과, 그동안 3090에서 돌린 모든 로라(LoRA) 학습이 정확히 그 잘린 경로를 지났다고 설명했다.
"4090이나 5090도 그런가"라는 질문에는 "모르겠다"고 답했다. 엔비디아가 이 주장에 대해 밝힌 입장은 확인되지 않았다.
“NVIDIA sold millions of 3090s with 50% of the tensor speed switched off. Not missing. Switched off.”
댓글 반응 2개
- @SuperHumanEpoch♥13
Do we know if it's only the 3090? How about 4090 or 5090s? - @0xIlyy♥39
There are other things you can patch on 3090s.